yarn开启jobhistoryserver教程
yarn开启jobhistoryserver教程
2025-01-10 00:07
在Hadoop生态系统中,YARN(Yet Another Resource Negotiator)负责集群资源的管理与调度,而JobHistory Server则用于记录和展示作业的历史信息。开启YARN的JobHistory Server能够帮助您更好地监控和分析Hadoop集群中的作业执行情况。以下是详细的操作步骤及其解释,确保您能够顺利地启动并配置JobHistory Server。??
在Hadoop生态系统中,YARN(Yet Another Resource Negotiator)负责集群资源的管理与调度,而JobHistory Server则用于记录和展示作业的历史信息。开启YARN的JobHistory Server能够帮助您更好地监控和分析Hadoop集群中的作业执行情况。以下是详细的操作步骤及其解释,确保您能够顺利地启动并配置JobHistory Server。??
一、前期准备
在开始之前,请确保您已具备以下条件:
- Hadoop已正确安装并配置在您的系统中。
- 具备命令行操作的基本知识。
- 具有Hadoop配置文件的编辑权限。
二、配置JobHistory Server
步骤1:打开终端或命令行界面
在您的操作系统中,打开终端(Linux或macOS)或命令提示符(Windows)。?️
步骤2:导航到Hadoop的安装目录
使用 cd
命令进入Hadoop的安装目录。例如:
cd /usr/local/hadoop
解释:
cd
:改变当前目录到指定路径。/usr/local/hadoop
:Hadoop的安装目录,根据实际情况调整路径。
步骤3:进入 etc/hadoop
目录
cd etc/hadoop
解释:
etc/hadoop
目录包含了Hadoop的所有配置文件,如mapred-site.xml
和yarn-site.xml
。
步骤4:配置 mapred-site.xml
使用您喜欢的文本编辑器打开 mapred-site.xml
文件。如果文件不存在,可以复制模板文件创建一个新的配置文件:
cp mapred-site.xml.template mapred-site.xml
然后,编辑 mapred-site.xml
:
nano mapred-site.xml
添加以下配置项:
<property>
<name>mapreduce.jobhistory.address</name>
<value>localhost:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>localhost:19888</value>
</property>
解释:
<name>mapreduce.jobhistory.address</name>
:指定JobHistory Server的监听地址和端口。<value>localhost:10020</value>
:设置JobHistory Server的主机为localhost
,端口为10020
。<name>mapreduce.jobhistory.webapp.address</name>
:指定JobHistory Server的Web界面地址和端口。<value>localhost:19888</value>
:设置Web界面访问地址为http://localhost:19888
。
保存并关闭文件。
步骤5:配置 yarn-site.xml
同样,编辑 yarn-site.xml
文件:
nano yarn-site.xml
添加以下配置项:
<property>
<name>yarn.log.server.url</name>
<value>http://localhost:19888/jobhistory/logs</value>
</property>
解释:
<name>yarn.log.server.url</name>
:指定JobHistory Server的日志URL。<value>http://localhost:19888/jobhistory/logs</value>
:设置日志访问地址。
保存并关闭文件。
步骤6:确认配置无误
确保所有配置项正确无误,尤其是地址和端口设置,以避免启动时出现冲突或错误。
三、启动YARN和JobHistory Server
步骤1:启动YARN服务
在终端中,导航回Hadoop的安装目录,并运行以下命令启动YARN资源管理器和节点管理器:
cd /usr/local/hadoop
sbin/start-yarn.sh
解释:
sbin/start-yarn.sh
:启动YARN的核心组件,包括ResourceManager和NodeManager。
步骤2:启动JobHistory Server
运行以下命令启动JobHistory Server:
sbin/mr-jobhistory-daemon.sh start historyserver
解释:
mr-jobhistory-daemon.sh
:Hadoop提供的脚本,用于管理JobHistory Server。start historyserver
:启动JobHistory Server守护进程。
示例输出:
starting historyserver, logging to /usr/local/hadoop/logs/hadoop-username-historyserver-localhost.log
步骤3:验证服务是否启动成功
您可以通过访问以下URL来验证JobHistory Server是否正常运行:
http://localhost:19888
在浏览器中打开上述地址,您应该能够看到JobHistory Server的Web界面,展示作业历史信息和日志。??
四、常见问题及解决方案
问题1:JobHistory Server无法启动
label :
- yarn
- jobhistoryserver