当前位置：首页 > 软件开放 > 正文内容

怎么看hadoop环境配置成功没（怎么看hadoop是否安装成功）

软件开放1年前 (2023-04-04)992

本篇文章给大家谈谈怎么看hadoop环境配置成功没，以及怎么看hadoop是否安装成功对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

1、初次启动Hadoop
2、如何查看hadoop集群是否安装成功（用jps命令
3、如何查看hadoop
4、hadoop双节点配置完成后，显示这个表示成功了吗？

初次启动Hadoop

首先把Hadoop安装包解压到系统中

查看其目录结构

要修改hadoop的一些配置，在etc/hadoop/目录下，修改hadoop-env.sh

配置jdk的路径

修改core-site.xml

在configuration中添加

fs.defaultFS 表示hadoop默认的文件系统是什么

hadoop.tmp.dir 表示其他datanode产生的要放在namenode上的文件的存放路径

在/etc/profile中添加Hadoop的环境变量配置，之后source

此时已经可以启动hadoop了

启动前先初始化hadoop 也就是创建那个临时目录

表示成功

启动hadoop的命令是hadoop-daemon.sh start namenode

查看一下 pid=4778即为hadoop的进程 9000是刚才在配置文件中配置的内部端口 50070是外部窗口

打开电脑上的浏览器输入nn-01:50070(nn-01是hostname)即可出现如下界面证明hadoop启动成功并可访问

如何查看hadoop集群是否安装成功（用jps命令

1、用jps命令

（1）master节点

启动集群：

cy@master:~$ start-all.sh

starting namenode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-namenode-master.out

slave2: starting datanode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-datanode-slave2.out

slave1: starting datanode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-datanode-slave1.out

master: starting secondarynamenode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-secondarynamenode-master.out

starting jobtracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-jobtracker-master.out

slave1: starting tasktracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-tasktracker-slave1.out

slave2: starting tasktracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-tasktracker-slave2.out

用jps命令查看Java进程：

cy@master:~$ jps

6670 NameNode

7141 Jps

7057 JobTracker

（2）slave1节点

用jps命令查看Java进程：

cy@slave1:~$ jps

3218 Jps

2805 DataNode

2995 TaskTracker

（3）slave2节点

用jps命令查看Java进程：

cy@slave2:~$ jps

2913 TaskTracker

2731 DataNode

3147 Jps

如果三台虚拟机用jps命令查询时如上面显示的那样子，就说明hadoop安装和配置成功了。

2、hadoop集群的测试，用hadoop-examples-1.2.1.jar中自带的wordcount程序进行测试，该程序的作用是统计单词的个数。

（1）我们现在桌面上创建一个新的文件test.txt，里面总共有10行，每行都是hello world

（2）在HDFS系统里创建一个input文件夹，使用命令如下：

hadoop fs -mkdir input

或 hadoop fs -mkdir /user/你的用户名/input

（3）把创建好的test.txt上传到HDFS系统的input文件夹下，使用命令如下所示。

hadoop fs -put /home/你的用户名/桌面/test.txt input

或 hadoop fs -put /home/你的用户名/桌面/test.txt /user/你的用户名/input

（4）我们可以查看test.txt是否在HDFS的input文件夹下，如下所示：

hadoop fs -ls input

如果显示如下就说明上传成功：

Found 1 items

-rw-r--r-- 3 cy supergroup 120 2015-05-08 20:26 /user/cy/input/test.txt

（5）执行hadoop-examples-1.2.1.jar中自带的wordcount程序，如下：（提示：在执行下面的命令之前，你要在终端用cd命令进入到/home/cy/Hadoop/hadoop-1.2.1目录）

hadoop jar hadoop-examples-1.2.1.jar wordcount /user/你的用户名/input/test.txt /user/你的用户名/output

如果显示如下结果就说明运行成功：

15/05/08 20:31:29 INFO input.FileInputFormat: Total input paths to process : 1

15/05/08 20:31:29 INFO util.NativeCodeLoader: Loaded the native-hadoop library

15/05/08 20:31:29 WARN snappy.LoadSnappy: Snappy native library not loaded

15/05/08 20:31:30 INFO mapred.JobClient: Running job: job_201505082010_0001

15/05/08 20:31:31 INFO mapred.JobClient: map 0% reduce 0%

15/05/08 20:31:35 INFO mapred.JobClient: map 100% reduce 0%

15/05/08 20:31:42 INFO mapred.JobClient: map 100% reduce 33%

15/05/08 20:31:43 INFO mapred.JobClient: map 100% reduce 100%

15/05/08 20:31:43 INFO mapred.JobClient: Job complete: job_201505082010_0001

15/05/08 20:31:43 INFO mapred.JobClient: Counters: 29

15/05/08 20:31:43 INFO mapred.JobClient: Job Counters

15/05/08 20:31:43 INFO mapred.JobClient: Launched reduce tasks=1

15/05/08 20:31:43 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=3117

15/05/08 20:31:43 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0

15/05/08 20:31:43 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0

15/05/08 20:31:43 INFO mapred.JobClient: Launched map tasks=1

15/05/08 20:31:43 INFO mapred.JobClient: Data-local map tasks=1

15/05/08 20:31:43 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=8014

15/05/08 20:31:43 INFO mapred.JobClient: File Output Format Counters

15/05/08 20:31:43 INFO mapred.JobClient: Bytes Written=18

15/05/08 20:31:43 INFO mapred.JobClient: FileSystemCounters

15/05/08 20:31:43 INFO mapred.JobClient: FILE_BYTES_READ=30

15/05/08 20:31:43 INFO mapred.JobClient: HDFS_BYTES_READ=226

15/05/08 20:31:43 INFO mapred.JobClient: FILE_BYTES_WRITTEN=116774

15/05/08 20:31:43 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=18

15/05/08 20:31:43 INFO mapred.JobClient: File Input Format Counters

15/05/08 20:31:43 INFO mapred.JobClient: Bytes Read=120

15/05/08 20:31:43 INFO mapred.JobClient: Map-Reduce Framework

15/05/08 20:31:43 INFO mapred.JobClient: Map output materialized bytes=30

15/05/08 20:31:43 INFO mapred.JobClient: Map input records=10

15/05/08 20:31:43 INFO mapred.JobClient: Reduce shuffle bytes=30

15/05/08 20:31:43 INFO mapred.JobClient: Spilled Records=4

15/05/08 20:31:43 INFO mapred.JobClient: Map output bytes=200

15/05/08 20:31:43 INFO mapred.JobClient: CPU time spent (ms)=610

15/05/08 20:31:43 INFO mapred.JobClient: Total committed heap usage (bytes)=176427008

15/05/08 20:31:43 INFO mapred.JobClient: Combine input records=20

15/05/08 20:31:43 INFO mapred.JobClient: SPLIT_RAW_BYTES=106

15/05/08 20:31:43 INFO mapred.JobClient: Reduce input records=2

15/05/08 20:31:43 INFO mapred.JobClient: Reduce input groups=2

15/05/08 20:31:43 INFO mapred.JobClient: Combine output records=2

15/05/08 20:31:43 INFO mapred.JobClient: Physical memory (bytes) snapshot=182902784

15/05/08 20:31:43 INFO mapred.JobClient: Reduce output records=2

15/05/08 20:31:43 INFO mapred.JobClient: Virtual memory (bytes) snapshot=756301824

15/05/08 20:31:43 INFO mapred.JobClient: Map output records=20

（6）我们可以使用下面的命令还查看运行后的结果：

hadoop fs -ls output

hadoop fs -text /user/你的用户名/output/part-r-00000

如果显示如下就说明hadoop三个节点安装和配置成功，测试也成功了，就可以继续更深入地使用和研究hadoop了

hello 10

world 10

如何查看hadoop

Hadoop HDFS只有服务日志，与Hadoop MapReduce的服务日志类似；

Hadoop MapReduce日志分为两部分，一部分是服务日志，一部分是作业日志，具体介绍如下：

1. Hadoop 1.x版本

Hadoop 1.x中MapReduce的服务日志包括JobTracker日志和各个TaskTracker日志，他们的日志位置如下（Web界面也可查看其日志，地址http://主节点IP:50030）：

JobTracker：在JobTracker安装节点上，默认位置是

${hadoop.log.dir}/logs/*-jobtracker-*.log，该文件每天生成一个，旧的日志后缀是日期，当天的日志文件后缀是“.log”，其中${hadoop.log.dir}默认值是hadoop安装目录，即${HADOOP_HOME}。

TaskTracker：在各个TaskTracker安装节点上，默认位置是

$HADOOP_HOME/logs/*-tasktracker-*.log，该文件每天生成一个，旧的日志后面会跟一个日志，当天的日志文件后缀是“.log”

作业日志包括jobhistory日志和task日志两部分，其中，jobhistory日志是作业运行日志，包括作业启动时间、结束时间，每个任务的启动时间、结束时间，各种counter信息等，用户可以从这个日志中解析出作业运行的各种信息，是非常有价值的信息。默认存放位置是JobTracker所在节点的${hadoop.log.dir}/history目录下，可通过参数hadoop.job.history.location配置。每个task日志存放在task运行节点上，存放位置是${hadoop.log.dir}/userlogs/jobid/attempt-id目录下，每个task包含三个日志文件，分别是stdout、stderr和syslog，其中，stdout是通过标准输出打印出来的日志，比如System.out.println，注意，程序中通过标准输出打印的日志并不会直接显示在终端上，而是保存在这个文件中，syslog是通过log4j打印的日志，通常这个日志中包含的有用信息最多，也是错误调试中最关键的参考日志。

2. Hadoop 2.x版本

Hadoop 2.x中YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志，他们的日志位置如下：

ResourceManager日志存放位置是Hadoop安装目录下的logs目录下的yarn-*-resourcemanager-*.log

NodeManager日志存放位置是各个NodeManager节点上hadoop安装目录下的logs目录下的yarn-*-nodemanager-*.log

应用程序日志包括jobhistory日志和Container日志，其中，jobhistory日志是应用程序运行日志，包括应用程序启动时间、结束时间，每个任务的启动时间、结束时间，各种counter信息等。

Container日志包含ApplicationMaster日志和普通Task日志，它们均存放在Hadoop安装目录下的userlogs目录中的application_xxx目录下，其中ApplicationMaster日志目录名称为container_xxx_000001，普通task日志目录名称则为container_xxx_000002，container_xxx_000003，….，同Hadoop 1.x一样，每个目录下包含三个日志文件：stdout、stderr和syslog，且具体含义是一样的。