亚博app下载地址 – 最新官网app下载

hadoop的安装

Published By on 8月 26, 2022

执行编辑yarn-site.xml文件的命令:vi/opt/hadoop/hadoop/etc/hadoop/yarn-site.xml需要在之间加入的代码:yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.addressmaster:18040yarn.resourcemanager.scheduler.addressmaster:18030yarn.resourcemanager.resource-tracker.addressmaster:18025yarn.resourcemanager.admin.addressmaster:18141yarn.resourcemanager.webapp.addressmaster:18088配置MapReduce计算框架文件(只在master做)在/opt/hadoop/hadoop/etc/hadoop子目录下,系统已经有一个mapred-site.xml.template文件,我们需要将其复制并改名,位置不变。

第二部分:Hadoop本地模式安装Hadoop本地模式只是用于本地开发调试,或者快速安装体验Hadoop,这部分做简单的介绍。

分布式配置可以保留localhost,也可以删掉,让Master节点仅作为NameNode使用。

我是下载的一个大快搜索的DKhadoop发行版,三个节点的标准版本,个人研究或者学习hadoop三节点完全够用。

zookeeper很像一个小型的文件系统,/是根目录,下面的所有节点都叫zNode。

因为水平有限,如果在你的的电脑上不能正常安装也请见谅。

Znode是个临时的节点,临时节点特征是客户端的连接断了后就会把znode删除,所以当ZKFC失效时,也会导致切换NameNode。

如果使用的是虚拟机安装的系统,那么需要更改网络连接方式为桥接(Bridge)模式,才能实现多个节点互连,例如在VirturalBox中的设置如下图。

HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。

如果没有安装Java,那么应该什么也看不到。

du命令语法:hadoopfs-duURIURI…-显示目录中所有文件的大小例子:hadoopfs-du/input2-在HDFS中显示input2文件夹的大小,如果是目录则列出所有文件及其大小hadoopfs-du/input2/file1.txt-在HDFS中显示input2文件夹下fil1.txt文件的大小,如果是目录则统计总大小3.expunge命令语法:hadoopfs-expunge-清空回收站以上只介绍了部分常用命令,更多命令可查阅Hadoop帮助文档,获取位置:$Hadoop_HOME/share/doc/hadoop/hadoop-project-dist/hadoop-common/FileSystemShell.html,Hadoop安装步骤1.安装JDK2.下载并解压hadoop安装包,免密通信,/etc/hosts文件3.修改配置文件hadoop-env.shexportJAVA_HOME=/home/buyabs.corp/biadmin/java/jdk8exportHADOOP_PID_DIR=/home/buyabs.corp/biadmin/hadoop/tmpmapred-env.sh:进程号保存地址exportHADOOP_MAPRED_PID_DIR=/home/buyabs.corp/biadmin/hadoop/tmpyarn-env.sh:进程号保存地址exportYARN_PID_DIR=/home/buyabs.corp/biadmin/hadoop/tmpslaves:hadoop-env.sh:Thejavaimplementationtouse.exportJAVA_HOME=/home/buyabs.corp/biadmin/java/jdk8hdfs-site.xml:dfs.replication1dis.namenode.name.dir/home/buyabs.corp/biadmin/hadoop/namedis.datanode.data.dir/home/buyabs.corp/biadmin/hadoop/datadfs.secondary.http.address127.0.0.1:50090core-site.xml:fs.default.namehdfs://scc1bi02:9000hadoop.temp.dir/home/buyabs.corp/biadmin/hadoop/tmpyarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.log-aggregation-enabletrueyarn.resourcemanager.webapp.addressscc1bi02:18088yarn.resourcemanager.hostnamescc1bi02mapred-site.xml:mapreduce.framework.nameyarn环境变量vi/etc/profile:exportJAVA_HOME=/home/buyabs.corp/biadmin/java/jdk8exportHADOOP_HOME=/home/buyabs.corp/biadmin/hadoop/hadoop277exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexportHADOOP_PREFIX=$HADOOP_HOMEexportHADOOP_COMMON_HOME=$HADOOP_PREFIXexportHADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoopexportHADOOP_HDFS_HOME=$HADOOP_PREFIXexportHADOOP_MAPRED_HOME=$HADOOP_PREFIXexportHADOOP_YARN_HOME=$HADOOP_PREFIX,安装Hadoopfilezilla上传hadoop安装包,配置文档(hadoop2.2.0伪分布式搭建.txt)解压hadoop安装包解压tar-zxvfhadoop-2.2.0-64bit.tar.gz修改配置文件(5个)路径:/opt/hadoop-2.2.0/etc/hadoop第一个:hadoop-env.sh在27行修改exportJAVA_HOME=/opt/jdk1.7.0_76第二个:core-site.xmlfs.defaultFShdfs://localhost:9000hadoop.tmp.dir/opt/hadoop-2.2.0/tmp第三个:hdfs-site.xmldfs.replication1第四个:mapred-site.xml.template需要重命名:mvmapred-site.xml.templatemapred-site.xmlmapreduce.framework.nameyarn第五个:yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffle将hadoop添加到环境变量vim/etc/profileexportJAVA_HOME=/opt/jdk1.7.0_55exportHADOOP_HOME=/opt/hadoop-2.2.0exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource/etc/profile格式化HDFS(namenode)第一次使用时要格式化hadoopnamenode-format启动hadoop先启动HDFSstart-dfs.sh再启动YARNstart-yarn.sh3.7验证是否启动成功使用jps命令验证27408NameNode28218Jps27643SecondaryNameNode28066NodeManager27803ResourceManager27512DataNode查看java的版本java-version,简述hadoop安装步骤安装步骤:1、安装虚拟机系统,并进行准备工作(可安装-一个然后克隆)2.修改各个虚拟机的hostname和host3.创建用户组和用户4、配置虚拟机网络,使虚拟机系统之间以及和host主机之间可以通过相互ping通。

在Master节点上执行:$cd/usr/local$sudorm-r./hadoop/tmp删除Hadoop临时文件$sudorm-r./hadoop/logs/*删除日志文件$tar-zcf~/hadoop.master.tar.gz./hadoop先压缩再复制$cd~$scp./hadoop.master.tar.gzSlave1:/home/hadoop在Slave1节点上执行:$sudorm-r/usr/local/hadoop删掉旧的(如果存在)$sudotar-zxf~/hadoop.master.tar.gz-C/usr/local$sudochown-Rhadop/usr/local/hadoop同样,如果有其他Slave节点,也要执行将hadoop.master.tar.gz传输到Slave节点、在Slave节点解压文件的操作。

.HDFS作用是什么Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统(DistributedFileSystem。

读取高可用。

注意:开启日志聚集功能,需要重新启动NodeManager、ResourceManager和HistoryManager。

基本语法rsync-rvl$pdir/$fname$user@$host:$pdir/rsync-rvl$pdir/$fname$user@$host:$pdir/–选项参数说明选项|功能—|—-r|递归-v|显示复制过程-l|拷贝符号连接三台虚拟机安装rsync(执行安装需要保证机器联网)yuminstall-yrsync集群分发脚本编写!/bin/bash1获取命令输入参数的个数,如果个数为0,直接退出命令paramnum=$if((paramnum==0));thenechonoparams;exit;fi2根据传入参数获取文件名称p1=$1file_name=`basename$p1`echofname=$file_name3获取输入参数的绝对路径pdir=`cd-P$(dirname$p1);pwd`echopdir=$pdir4获取用户名称user=`whoami`5循环执行rsyncfor((host=121;host<124;host++));doecho-------------------linux$host--------------rsync-rvl$pdir/$file_name$user@linux$host:$pdirdone修改脚本rsync-script具有执行权限chmod777rsync-script用脚本分发Hadoop安装目录到其它节点:rsync-script/opt/lagou/servers/hadoop-2.9.2十.集群启动:1.首次启动需要格式化:hadoopnamenode-format2.启动HDFS:sbin/start-dfs.sh3.jps查看java进程,看进程是否起来了4.启动YARN:sbin/start-yarn.sh访问路径:证明启动成功:

注意:NameNode和ResourceManger不是在同一台机器,不能在NameNode上启动YARN,应该在ResouceManager所在的机器上启动YARN。

java-version使用这个命令会看到当前系统的Java版本,如果系统存在Java,那么可以直接看到Java版本信息。

在这里插入图片描述(https://img-blog.csdnimg.cn/20201013162100403.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE5NDc4MQ==,size_16,color_FFFFFF,t_70pic_center)这样Java就安装完成了。

我们进入安装目录,查看一下安装文件,如果显示如图文件列表,说明压缩成功!在这里插入图片描述(https://img-blog.csdnimg.cn/20190427163756423.?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE5ODk2NQ==,size_16,color_FFFFFF,t_70)配置env文件(只在master做)~~请先看如下命令(并且记住它们,后续操作大量用到,并且不再赘述):~~**A.进入编辑状态:insertB.删除:deleteC.退出编辑状态:ctrl+D.进入保存状态:ctrl+E.保存并退出:”:wq”注意先输入英文状态下冒号F.不保存退出:”:q!”同上**大概执行顺序:A→B→C→D→E配置jdk文件执行命令:vi/opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh找到exportJAVA_HOME这行,用来配置jdk路径修改为:exportJAVA_HOME=/usr/local/java/jdk1.8.0_162/!在这里插入图片描述(https://img-blog.csdnimg.cn/20190427164616993.)配置核心组件文件(只在master做)Hadoop的核心组件文件是core-site.xml,位于/opt/hadoop/hadoop/etc/hadoop子目录下,用vi编辑core-site.xml文件,需要将下面的配置代码放在文件的之间。

Leave a Reply