在Hadoop生态系统中，YARN（Yet Another Resource Negotiator）负责集群资源的管理与调度，而JobHistory Server则用于记录和展示作业的历史信息。开启YARN的JobHistory Server能够帮助您更好地监控和分析Hadoop集群中的作业执行情况。以下是详细的操作步骤及其解释，确保您能够顺利地启动并配置JobHistory Server。??
一、前期准备
在开始之前，请确保您已具备以下条件：

Hadoop已正确安装并配置在您的系统中。
具备命令行操作的基本知识。
具有Hadoop配置文件的编辑权限。

二、配置JobHistory Server
步骤1：打开终端或命令行界面
在您的操作系统中，打开终端（Linux或macOS）或命令提示符（Windows）。?️
步骤2：导航到Hadoop的安装目录
使用 cd命令进入Hadoop的安装目录。例如：
cd /usr/local/hadoop
​
解释：

cd：改变当前目录到指定路径。
/usr/local/hadoop：Hadoop的安装目录，根据实际情况调整路径。

步骤3：进入 etc/hadoop目录
cd etc/hadoop
​
解释：

etc/hadoop目录包含了Hadoop的所有配置文件，如 mapred-site.xml和 yarn-site.xml。

步骤4：配置 mapred-site.xml
使用您喜欢的文本编辑器打开 mapred-site.xml文件。如果文件不存在，可以复制模板文件创建一个新的配置文件：
cp mapred-site.xml.template mapred-site.xml
​
然后，编辑 mapred-site.xml：
nano mapred-site.xml
​
添加以下配置项：
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value>
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value>
</property>
​
解释：

<name>mapreduce.jobhistory.address</name>：指定JobHistory Server的监听地址和端口。
<value>localhost:10020</value>：设置JobHistory Server的主机为 localhost，端口为 10020。
<name>mapreduce.jobhistory.webapp.address</name>：指定JobHistory Server的Web界面地址和端口。
<value>localhost:19888</value>：设置Web界面访问地址为 http://localhost:19888。

保存并关闭文件。
步骤5：配置 yarn-site.xml
同样，编辑 yarn-site.xml文件：
nano yarn-site.xml
​
添加以下配置项：
<property>
  <name>yarn.log.server.url</name>
  <value>http://localhost:19888/jobhistory/logs</value>
</property>
​
解释：

<name>yarn.log.server.url</name>：指定JobHistory Server的日志URL。
<value>http://localhost:19888/jobhistory/logs</value>：设置日志访问地址。

保存并关闭文件。
步骤6：确认配置无误
确保所有配置项正确无误，尤其是地址和端口设置，以避免启动时出现冲突或错误。
三、启动YARN和JobHistory Server
步骤1：启动YARN服务
在终端中，导航回Hadoop的安装目录，并运行以下命令启动YARN资源管理器和节点管理器：
cd /usr/local/hadoop
sbin/start-yarn.sh
​
解释：

sbin/start-yarn.sh：启动YARN的核心组件，包括ResourceManager和NodeManager。

步骤2：启动JobHistory Server
运行以下命令启动JobHistory Server：
sbin/mr-jobhistory-daemon.sh start historyserver
​
解释：

mr-jobhistory-daemon.sh：Hadoop提供的脚本，用于管理JobHistory Server。
start historyserver：启动JobHistory Server守护进程。

示例输出：
starting historyserver, logging to /usr/local/hadoop/logs/hadoop-username-historyserver-localhost.log
​
步骤3：验证服务是否启动成功
您可以通过访问以下URL来验证JobHistory Server是否正常运行：
http://localhost:19888
​
在浏览器中打开上述地址，您应该能够看到JobHistory Server的Web界面，展示作业历史信息和日志。??
四、常见问题及解决方案
问题1：JobHistory Server无法启动

                                    
標簽: 

                                    

                                        

                                            

                                                                                                
yarn
                                                                                                
jobhistoryserver