⑴由于工作学习需要很多用户需要在Win系统下安装Hadoop,今天小编就详细分享下Win中安装Hadoop的教程图文详细资料。
⑵Hadoop..
⑶需要注意的是jdk版本不要过高,否则可能会带来问题
⑷一安装Hadoop步骤
⑸官网下载Hadoop.. :下载地址
⑹解压到自定义的文件夹,我这里选择我的路径
⑺F:Environmenthadoop-..hadoop
⑻JAVA_HOME : F:Environmentjavajdk.._
⑼HADOOP_HOME : F:Environmenthadoop-..hadoop
⑽path添加 :
⑾%JAVA_HOME%bin
⑿%JAVA_HOME%jrebin
⒀%HADOOP_HOME%bin
⒁检测是否安装成功
⒂java -version
⒃hadoop - version
⒄出现以上信息说明安装成功 !
⒅二修改配置文件
⒆需要修改的文件在解压后的目录下,F:Environmenthadoop-..hadoopetchadoop
⒇hadoop-env.cmd
⒈用Notepad++ 打开hadoop-env.cmd文件
⒉找到**set JAVA_HOME=%JAVA_HOME%**一行,将其值修改为jdk所在目录
⒊如果目录带有空格,可以通过下面两种方式处理:
⒋这里以安装目录为C:Program FilesJavajdk.._为例
⒌因为Program Files中存在空格,若是直接使用会出现错误,可以下面两种方式之一进行处理:
⒍只需要用PROGRA~ 代替Program Files,即改为C:PROGRA~Javajdk.._
⒎或是使用双引号改为 “C:Program Files”Javajdk.._
⒏core-site.xml
⒐
⒑
⒒
⒓
⒔
⒕
⒖mapred-site.xml
⒗
⒘
⒙
⒚
⒛
①
②yarn-site.xml
③
④
⑤
⑥
⑦
⑧
⑨
⑩
Ⅰ
Ⅱ
Ⅲhdfs-site.xml
Ⅳ需要再hadoop解压的根目录下创建一个data文件夹,并在data下创建namenode和datanode两个子文件夹;
Ⅴ然后添加配置文件 :
Ⅵ
Ⅶ
Ⅷ
Ⅸ
Ⅹ
㈠
㈡
㈢
㈣
㈤
㈥
㈦
㈧
㈨
㈩
配置文件修改完毕 !
三替换bin文件
下载的Hadoop不支持Windows系统,需要替换bin目录下的文件方便在Windows上运行。这也是掉坑来的地方了!!!!
在网上下载到的hadooponwindows-master.zip 以及winutils中应该是只适合hadoop ..及其以下,尝试过hadooponwindows-master.zip以及winutils中最高的版本..,启动hadoop都会出现下面的错误:Error starting NodeManagerUnsatisfiedError
折腾了好久(低版本的hadoop还没下载完毕,终于找到..版本winutils,下载后直接替换掉hadoop目录下bin文件即可:
复制yarn的jar包
可以看到resourcemanager.ResourceManager: Error starting ResourceManager启动失败的日志
报了类TimelineCollectorManager找不到的错误。
F:Environmenthadoop-..hadoopsharehadoopyarn imelineservice
将这个文件夹下的hadoop-yarn-server-timelineservice-...jar 包
复制到这个路径下 F:Environmenthadoop-..hadoopsharehadoopyarn 即可解决。
四格式化HDFS文件系统
hdfs namenode -format
如果这一步没有什么异常基本没有问题了。
进入hadoop的sbin目录
我这里在 : F:Environmenthadoop-..hadoopsbin
# 会自动开启四个新的命令行窗口,窗口没打印异常即启动成功
start-all
stop-all
# 查看正在运行的实例进程及端口
这四个窗口不能关闭 , 否则进程会结束
五访问管理GUI
启动成功后,可以访问GUI页面
最后我们停止一下所有进程
运行结束后你会发现hadoop安装的磁盘根目录下多了一个tmp临时文件目录
里面有一些 Hadoop的缓存文件 ,不需要的话可以清理一下的。
以上就是这次Winwin小编关于在Win系统下安装Hadoop详细部分分享了,希望大家能喜欢哦。