亚博app下载地址 – 最新官网app下载

Hadoop安装及配置

Published By on 8月 26, 2022

廉价硬件,HDFS可以应用在普通PC机上,这种机制能够让给一些公司用几十台廉价的计算机就可以撑起一个大数据集群。

>root@bogon~dockerpullsequenceiq/hadoop-docker:2.7.0>>2.7.0:Pullingfromsequenceiq/hadoop-docker860d0823bcab:Pullingfslayer>e592c61b2522:Pullingfslayer>>>**下载成功输出**>>Digest:sha256:a40761746eca036fee6aafdf9fdbd6878ac3dd9a7cd83c0f3f5d8a0e6350c76a>>Status:Downloadednewerimageforsequenceiq/hadoop-docker:2.7.0启动>root@bogon~dockerrun-itsequenceiq/hadoop-docker:2.7.0>/etc/bootstrap.sh-bash–privileged=true>>Startingsshd:OK>>Startingnamenodesonb7a42f79339c>>b7a42f79339c:startingnamenode,loggingto/usr/local/hadoop/logs/hadoop->root-namenode-b7a42f79339c.out>>localhost:startingdatanode,loggingto/usr/local/hadoop/logs/hadoop-root->datanode-b7a42f79339c.out>>Startingsecondarynamenodes0.0.0.0>>0.0.0.0:startingsecondarynamenode,loggingto>/usr/local/hadoop/logs/hadoop-root-secondarynamenode-b7a42f79339c.out>>startingyarndaemons>>startingresourcemanager,loggingto/usr/local/hadoop/logs/yarn–>resourcemanager-b7a42f79339c.out>>localhost:startingnodemanager,loggingto/usr/local/hadoop/logs/yarn->root-nodemanager-b7a42f79339c.out启动成功后命令行shell会自动进入Hadoop的容器环境,不需要执行dockerexec。

**在此之前有必要做一个简单的说明:**分享的所有内容是以个人的操作经验为基础,有的人看完可能会说跟他做过的不一样。

HDFS能提供高吞吐量的数据访问,适合那些有着超大数据集(largedataset)的应用程序**HDFS的设计特点是:**1、大数据文件,非常适合上T级别的大文件或者一堆大数据文件的存储,如果文件只有几个G甚至更小就没啥意思了。

mv文件名javamvjava/usr/之后就可以配置环境变量了。

然后修改文件夹名称为hadoop,即hadoop安装目录,执行修改文件夹名称命令:mvhadoop-2.7.5hadoop1注意:也可用Xftp查看相应目录是否存在,确保正确完成。

阿里的内网:172.17.91.0hadoop1百度的公网:182.61.21.163hadoop2编辑百度的/etc/hosts阿里的公网:39.106.147.52hadoop1百度的公网:172.16.0.4hadoop2解压hadoop放到一个目录。

>localhost:50070查看**NameNode**节点,localhost:50030查看**JobTracker**节点>停止命令。

用root用户登录后,执行查看防火墙状态。

同理,DataNode上也能使用SSH无密码登录到NameNode。

hadoop@bigdata-senior01modules$mkdir/opt/modules/hadoopha3、新解压Hadoop2.5.0hadoop@bigdata-senior01~$tar-zxf/opt/sofeware/hadoop-2.5.0.tar.gz-C/opt/modules/hadoopha/4、配置HadoopJDK路径修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径exportJAVA_HOME=”/opt/modules/jdk1.7.0_67″5、配置hdfs-site.xml*1*2*3*4*5*6*7*8*9*10*11*12*13*14*15*16*17*18*19*20*21*22*23*24*25*26*27*28*29*30*31*32*33*34*35*36*37*38*39*40*41*42*43*44*45*46*47*48*49*50*51*52*53*54*55*56*57*586、配置core-site.xml*1*2*3*4*5*6*7*8*9*10*11*12*13*14`hadoop.tmp.dir`设置hadoop临时目录地址,默认时,NameNode和DataNode的数据存在这个路径下。

我测试过Ubutun、Centos和WSL,都可以正常安装Hadoop的所有版本。

Win32平台是作为开发平台支持的。

切换第一台为active状态:hadoop@bigdata-senior01hadoop-2.5.0$bin/hdfshaadmin-transitionToActivenn1可以添加上forcemanual参数,强制将一个NameNode转换为Active状态。

在master节点,执行:1|jps如果显示:SecondaryNameNode、ResourceManager、Jps和NameNode这四个进程,则表明主节点master启动成功_

然后分别在slave0和slave1节点下执行命令:1|jps如果成功显示:NodeManager、Jps和DataNode,这三个进程,则表明从节点(slave0和slave1)启动成功

结束如有问题请留言,如成功则留下您宝贵的一个赞。

这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。

Leave a Reply