公司動態(tài) · 行業(yè)動態(tài) · 技術(shù)交流

行業(yè)動態(tài)

詳解Hadoop配置文件

發(fā)布時間:2019-05-06 瀏覽:2442次

1. hadoop-env.sh

在運(yùn)行Hadoop的腳本中使用的環(huán)境變量。只需要export JAVA_HOME即可,JAVA_HOME的目錄因人而異。

export JAVA_HOME=/home/project/jdk1.8.0_181


2. core-site.xml

Hadoop的核心配置,例如HDFS和MapReduce中很普遍的I/O設(shè)置。需要配置fs.default.name,指定namenode的IP地址和端口。配置hadoop.tmp.dir,hadoop.tmp.dir是Hadoop文件系統(tǒng)以來的基本配置,很多配置路徑都依賴他,他的默認(rèn)位置每次系統(tǒng)重啟都會更新,所以要指向到一個持久化目錄中。

<configuration>

<property>

        <name>hadoop.tmp.dir</name>

        <value>/home/project/hadoop-2.9.1/tmp</value>

        <description>Abase for other temporary directories.</description>

    </property>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://ccrfox140:9000</value>

        <final>true</final>

    </property>

</configuration>


3. hdfs-site.xml

HDFS后臺設(shè)置的配置:名稱節(jié)點(diǎn),輔助名稱節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)。需要配置dfs.data.dir,指定數(shù)據(jù)節(jié)點(diǎn)存放集群數(shù)據(jù)的路徑,配置dfs.replication,指定數(shù)據(jù)的副本數(shù)量,配置dfs.name.dir,指定名稱節(jié)點(diǎn)元數(shù)據(jù)存儲目錄。

<configuration>

<property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

    <property>

        <name>dfs.name.dir</name>

        <value>/home/project/hadoop-2.9.1/name</value>

    </property>

    <property>

        <name>dfs.data.dir</name>

        <value>/home/project/hadoop-2.9.1/data</value>

    </property>

</configuration>


4. mapred-site.xml

MapReduce后臺設(shè)置的配置(jobtracker和tasktracker)MapReduce后臺設(shè)置的配置(jobtracker和tasktracker)。配置mapred.job.tracker,指定作業(yè)工作器的位置,配置為master:9001

<configuration>

 <property>

      <name>mapred.job.tracker</name>

      <value>http://ccrfox140:9001</value>

  </property>

</configuration>


5. masters

記錄運(yùn)行輔助名稱節(jié)點(diǎn)的機(jī)器,一行一個


6. slaves

記錄運(yùn)行數(shù)據(jù)節(jié)點(diǎn)的機(jī)器,一行一個記錄運(yùn)行數(shù)據(jù)節(jié)點(diǎn)的機(jī)器,一行一個

點(diǎn)