2024年11月Win10安装Hadoop3.1.2教程图文

发布时间:

  ⑴由于工作学习需要很多用户需要在Win系统下安装Hadoop,今天小编就详细分享下Win中安装Hadoop的教程图文详细资料。

  ⑵Hadoop..

  ⑶需要注意的是jdk版本不要过高,否则可能会带来问题

  ⑷一安装Hadoop步骤

  ⑸官网下载Hadoop.. :下载地址

  ⑹解压到自定义的文件夹,我这里选择我的路径

  ⑺F:Environmenthadoop-..hadoop

  ⑻JAVA_HOME : F:Environmentjavajdk.._

  ⑼HADOOP_HOME : F:Environmenthadoop-..hadoop

  ⑽path添加 :

  ⑾%JAVA_HOME%bin

  ⑿%JAVA_HOME%jrebin

  ⒀%HADOOP_HOME%bin

  ⒁检测是否安装成功

  ⒂java -version

  ⒃hadoop - version

  ⒄出现以上信息说明安装成功 !

  ⒅二修改配置文件

  ⒆需要修改的文件在解压后的目录下,F:Environmenthadoop-..hadoopetchadoop

  ⒇hadoop-env.cmd

  ⒈用Notepad++ 打开hadoop-env.cmd文件

  ⒉找到**set JAVA_HOME=%JAVA_HOME%**一行,将其值修改为jdk所在目录

  ⒊如果目录带有空格,可以通过下面两种方式处理:

  ⒋这里以安装目录为C:Program FilesJavajdk.._为例

  ⒌因为Program Files中存在空格,若是直接使用会出现错误,可以下面两种方式之一进行处理:

  ⒍只需要用PROGRA~ 代替Program Files,即改为C:PROGRA~Javajdk.._

  ⒎或是使用双引号改为 “C:Program Files”Javajdk.._

  ⒏core-site.xml

  ⒐

  ⒑

  ⒒fs.defaultFS

  ⒓

  ⒔

  ⒕

  ⒖mapred-site.xml

  ⒗

  ⒘

  ⒙mapreduce.framework.name

  ⒚yarn

  ⒛

  ①

  ②yarn-site.xml

  ③

  ④

  ⑤yarn.nodemanager.aux-services

  ⑥mapreduce_shuffle

  ⑦

  ⑧

  ⑨yarn.nodemanager.aux-services.mapreduce.shuffle.class

  ⑩.apache.hahoop.mapred.ShuffleHandler

  Ⅰ

  Ⅱ

  Ⅲhdfs-site.xml

  Ⅳ需要再hadoop解压的根目录下创建一个data文件夹,并在data下创建namenode和datanode两个子文件夹;

  Ⅴ然后添加配置文件 :

  Ⅵ

  Ⅶ

  Ⅷ

  Ⅸdfs.replication

  Ⅹ

  ㈠

  ㈡

  ㈢dfs.permissions

  ㈣false

  ㈤

  ㈥

  ㈦dfs.namenode.name.dir

  ㈧/F:/Environment/hadoop-../hadoop/data/namenode

  ㈨

  ㈩

  fs.checkpoint.dir

  /F:/Environment/hadoop-../hadoop/data/snn

  

  

  fs.checkpoint.edits.dir

  /F:/Environment/hadoop-../hadoop/data/snn

  

  

  dfs.datanode.data.dir

  /F:/Environment/hadoop-../hadoop/data/datanode

  

  

  配置文件修改完毕 !

  三替换bin文件

  下载的Hadoop不支持Windows系统,需要替换bin目录下的文件方便在Windows上运行。这也是掉坑来的地方了!!!!

  在网上下载到的hadooponwindows-master.zip 以及winutils中应该是只适合hadoop ..及其以下,尝试过hadooponwindows-master.zip以及winutils中最高的版本..,启动hadoop都会出现下面的错误:Error starting NodeManagerUnsatisfiedError

  折腾了好久(低版本的hadoop还没下载完毕,终于找到..版本winutils,下载后直接替换掉hadoop目录下bin文件即可:

  复制yarn的jar包

  可以看到resourcemanager.ResourceManager: Error starting ResourceManager启动失败的日志

  报了类TimelineCollectorManager找不到的错误。

  F:Environmenthadoop-..hadoopsharehadoopyarn imelineservice

  将这个文件夹下的hadoop-yarn-server-timelineservice-...jar 包

  复制到这个路径下 F:Environmenthadoop-..hadoopsharehadoopyarn 即可解决。

  四格式化HDFS文件系统

  hdfs namenode -format

  如果这一步没有什么异常基本没有问题了。

  进入hadoop的sbin目录

  我这里在 : F:Environmenthadoop-..hadoopsbin

  # 会自动开启四个新的命令行窗口,窗口没打印异常即启动成功

  start-all

  stop-all

  # 查看正在运行的实例进程及端口

  这四个窗口不能关闭 , 否则进程会结束

  五访问管理GUI

  启动成功后,可以访问GUI页面

  最后我们停止一下所有进程

  运行结束后你会发现hadoop安装的磁盘根目录下多了一个tmp临时文件目录

  里面有一些 Hadoop的缓存文件 ,不需要的话可以清理一下的。

  以上就是这次Winwin小编关于在Win系统下安装Hadoop详细部分分享了,希望大家能喜欢哦。