亚博app下载地址 – 最新官网app下载

十分钟学会hadoop史上最详细安装教程!

Published By on 8月 26, 2022

OracleJDK安装找到下载好的JDK安装包,我们知道,Linux系统万物皆是文件,所以所谓的安装过程其实就是文件的解压。

文件**slaves**,将作为DataNode的主机名写入该文件,每行一个,默认为localhost,所以在伪分布式配置时,节点即作为NameNode也作为DataNode。

之后执行如下命令查看hadoop版本:hadoopversion//检查安装cd/usr/local/hadoop./bin/hadoopversion!在这里插入图片描述(https://img-blog.csdnimg.cn/20210321093315988.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1Rvbnk2NjY2Xw==,size_16,color_FFFFFF,t_70)4、运行案例WordCount//新建路径sonny@IdeaPad-S210:/usr/local/hadoop$mkdirwcinput//新建文件后在文件中输入内容”hadoopyarnhadoopmapreduceatguiguatguigu”:wq保存退出sonny@IdeaPad-S210:/usr/local/hadoop$touchwcinput/wc.input//执行jar命令sonny@IdeaPad-S210:/usr/local/hadoop$bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jarwordcountwcinputwcoutput//执行命令查看统计结果sonny@IdeaPad-S210:/usr/local/hadoop$catwcoutput/part-r-00000,我现在是在阿里一台服务器。

之后我们就可以看到解压好的JDK文件,我们可以将其移动到我们希望安装的位置。

观察job是否可以顺利完成。

例如:我这里已经安装了slave0和slave1,并且计划将它们全部投入Hadoop集群运行。

简述hadoop安装步骤安装步骤:1、安装虚拟机系统,并进行准备工作(可安装-一个然后克隆)2.修改各个虚拟机的hostname和host3.创建用户组和用户4、配置虚拟机网络,使虚拟机系统之间以及和host主机之间可以通过相互ping通。

OpenJDK安装后就可以直接使用java、javac等命令了。

生成秘钥过程中可一直回车将Master中生成的密钥加入授权(authorized_keys)catid_rsa.pub>>authorized_keys加入授权chmod600authorized_keys修改文件权限,如果不修改文件权限,那么其它用户就能查看该授权完成后,直接键入sshlocalhost,能无密码登录即可,

键入exit退出,到此SSH无密码登录配置就成功了。

这里Leader角色就存在单点故障的隐患,高可用就是解决单点故障隐患的。

.HDFS作用是什么Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统(DistributedFileSystem。

**接着需要配置一下JAVA_HOME环境变量,为方便,我们在~/.bashrc中进行设置.****在文件最后面添加如下单独一行(指向JDK的安装位置),并保存:**exportJAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.171-2.6.13.0.el7_4.x86_64$source~/.bashrc使变量设置生效设置好后我们来检验一下是否设置正确:$echo$JAVA_HOME检验变量值$java-version$$JAVA_HOME/bin/java-version与直接执行java-version一样如果设置正确的话,`$JAVA_HOME/bin/java-version`会输出java的版本信息,且和`java-version`的输出结果一样4安装Hadoop2.6.5下载hadoop-2.6.5.tar.gz解压到$sudotar-zxf~/下载/hadoop-2.6.5.tar.gz-C/usr/local解压到/usr/local中$cd/usr/local/$sudomv./hadoop-2.6.5/./hadoop将文件夹名改为hadoop$sudochown-Rhadoop:hadoop./hadoop修改文件权限Hadoop解压后即可使用。

vimslaveslinux121linux122linux123

2).MapReduce集群配置指定MapReduce使用的jdk路径(修改mapred-env.sh)vimmapred-env.shexportJAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

指定MapReduce计算框架运行Yarn资源调度框架(修改mapred-site.xml)注意:因为mapred-s是模板名故需要改下名字mvmapred-site.xml.templatemapred-site.xmlvimmapred-site.xmlmapreduce.framework.nameyarn

Yarn集群配置指定JDK路径vimyarn-env.shexportJAVA_HOME=/opt/lagou/servers/jdk1.8.0_231指定ResourceMnager的master节点信息(修改yarn-site.xml)vimyarn-site.xmlyarn.resourcemanager.hostnamelinux123yarn.nodemanager.aux-servicesmapreduce_shuffle注意:Hadoop安装目录所属用户和所属用户组信息,默认是501dialout,而我们操作Hadoop集群的用户使用的是虚拟机的root用户,所以为了避免出现信息混乱,修改Hadoop安装目录所属用户和用户组chown-Rroot:root/opt/lagou/servers/hadoop-2.9.2九.分发配置:编写集群分发脚本rsync-script(rsync远程同步工具)rsync主要用于备份和镜像。

zookeeperk客户端读取数据时,可以读取集群中的任何一个机器。

终端输入`touchhadoop_autoinstall.sh`,把代码复制到里面,按提示运行就行。

修改用户的密码为用户增加管理员权限如下图,找到`rootALL=(ALL)ALL`这行(应该在第98行,可以先按一下键盘上的`ESC`键,然后输入`:98`(按一下冒号,接着输入98,再按回车键),可以直接跳到第98行),然后在这行下面增加一行内容:`hadoopALL=(ALL)ALL`(当中的间隔为tab),如下图所示:

添加好内容后,先按一下键盘上的`ESC`键,然后输入`:wq`(输入冒号还有wq,这是vi/vim编辑器的保存方法),再按回车键保存退出就可以了。

stop-yarn.shstop-dfs.shmr-jobhistory-daemon.shstophistoryserver以上是关闭命令。

本文用到的软件!在这里插入图片描述(https://img-blog.csdnimg.cn/4ab7e0e2ff7b4a3ebda82f8e96e3ffb0.pngpic_center)设置固定IP(1)(2)修改配置文件`/etc/sysconfig/network-scripts/ifcfg-ens33`修改:ONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=static\\添加以下内容IPADDR=192.168.128.130(根据自身情况)NETMASK=255.255.255.0GATEWAY=192.168.128.2DNS1=192.168.128.2重启服务,输入`servicenetworkrestart`(3)再次重启服务并查看IP。

*解决方法*对于保证NameNode元数据的一致性和编辑日志的安全性,采用Zookeeper来存储编辑日志文件。

java-version!在这里插入图片描述(https://img-blog.csdnimg.cn/20201013162113493.pngpic_center)SSH免密登录玩过GitHub的人应该都配置过免密登录。

Leave a Reply