Installige Hadoop Multinode Cluster, kasutades CDH4 RHEL/CentOS 6.5 -s

instagram story viewer

Hadoop on avatud lähtekoodiga programmeerimisraamistik, mille on välja töötanud apache suurandmete töötlemiseks. See kasutab HDFS (Hadoopi hajutatud failisüsteem), et salvestada andmed klastri kõigi andmekoodide vahel jaotavalt ja kaardistada andmete töötlemiseks.

Installige Hadoopi mitme sõlme klaster CentOS -i
Installige Hadoop Multinode Cluster

Namenode (NN) on peamine deemon, mis juhib HDFS ja Tööotsija (JT) on mapreduce mootori peamine deemon.

Nõuded

Selles õpetuses kasutan kahte CentOS 6.3 VM -idmeister'Ja'sõlm'Nimelt. (kapten ja sõlm on minu hostinimed). Peamine IP on 172.21.17.175 ja sõlme IP on "172.21.17.188‘. Järgmised juhised toimivad samuti RHEL/CentOS 6.x versioonid.

Meistri peal
[[e -post kaitstud] ~]# hostinimi meister
[[e -post kaitstud] ~]# ifconfig | grep 'inet addr' | head -1 inet addr:172.21.17.175 Bcast: 172.21.19.255 Mask: 255.255.252.0
Sõlmes
[[e -post kaitstud] ~]# hostinimi sõlm
[[e -post kaitstud] ~]# ifconfig | grep 'inet addr' | head -1 inet addr:172.21.17.188 Bcast: 172.21.19.255 Mask: 255.255.252.0

Esmalt veenduge, et kõik klastri hostid oleksid seal „/Etc/hosts"Fail (igal sõlmel), kui teil pole DNS -i seadistatud.

Meistri peal
[[e -post kaitstud] ~]# kass /etc /hosts 172.21.17.175 master. 172.21.17.188 sõlm
Sõlmes
[[e -post kaitstud] ~]# kass /etc /hosts 172.21.17.197 qabox. 172.21.17.176 ansible-ground

Hadoopi mitme sõlme klastri installimine CentOS -i

Kasutame ametlikku CDH hoidla installimiseks CDH4 klastri kõikidel hostidel (Master ja Node).

Samm: laadige alla Installi CDH hoidla

Mine ametniku juurde CDH allalaadimine lehele ja haarake CDH4 (s.t. 4.6) versiooni või saate kasutada järgmist wget käsk hoidla allalaadimiseks ja installimiseks.

RHEL/CentOS 32-bitine
# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm. # yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm
RHEL/CentOS 64-bitine
# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm. # yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

Enne Hadoop Multinode klastri installimist lisage oma hoidlasse Cloudera avalik GPG -võti, käivitades vastavalt oma süsteemi arhitektuurile ühe järgmistest käskudest.

## 32-bitises süsteemis ## # p / min -import http://archive.cloudera.com/cdh4/redhat/6/i386/cdh/RPM-GPG-KEY-cloudera
## 64-bitises süsteemis ## # p / min -import http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera

Samm: seadistage JobTracker ja NameNode

Järgmisena käivitage järgmine käsk, et installida ja seadistada JobTracker ja NameNode peaserverisse.

[[e -post kaitstud] ~]# yum puhas kõik [[e -post kaitstud] ~]# yum install hadoop-0.20-mapreduce-jobtracker
[[e -post kaitstud] ~]# yum puhas kõik. [[e -post kaitstud] ~]# yum install hadoop-hdfs-namenode

3. samm: seadistage teisese nimesõlme

Jällegi käivitage põhiserveris järgmised käsud teisese nimesõlme seadistamiseks.

[[e -post kaitstud] ~]# yum puhas kõik [[e -post kaitstud] ~]# yum install hadoop-hdfs-Secondnam

Samm: seadistage Tasktracker ja Datanode

Järgmisena seadistage tegumijälgija ja datanood kõikidele klastri hostidele (sõlme), välja arvatud JobTracker, NameNode ja Secondary (või Standby) NameNode hostid (antud juhul sõlmes).

[[e -post kaitstud] ~]# yum puhas kõik. [[e -post kaitstud] ~]# yum install hadoop-0.20-mapreduce-tasktracker hadoop-hdfs-datanode

Samm: seadistage Hadoopi klient

Saate Hadoopi kliendi installida eraldi masinasse (sel juhul olen selle installinud datanoodile, saate selle installida mis tahes masinasse).

[[e -post kaitstud] ~]# yum install hadoop-klient

6. toiming: HDFS -i juurutamine sõlmedesse

Nüüd, kui ülaltoodud sammud on tehtud, liigume edasi hdf -de juurutamiseks (seda tuleb teha kõigil sõlmedel).

Kopeerige vaikekonfiguratsioon asukohta /etc/hadoop kataloog (klastri igas sõlmes).

[[e -post kaitstud] ~]# cp -r /etc/hadoop/conf.dist /etc/hadoop/conf.my_cluster
[[e -post kaitstud] ~]# cp -r /etc/hadoop/conf.dist /etc/hadoop/conf.my_cluster

Kasutamine alternatiive käsku kohandatud kataloogi seadistamiseks järgmiselt (klastri igas sõlmes).

[[e -post kaitstud] ~]# alternatiivi-verbose --install/etc/hadoop/conf hadoop-conf /etc/hadoop/conf.my_cluster 50. reading/var/lib/alternatives/hadoop-conf [[e -post kaitstud] ~]# alternatiivi-set hadoop-conf /etc/hadoop/conf.my_cluster
[[e -post kaitstud] ~]# alternatiivi-verbose --install/etc/hadoop/conf hadoop-conf /etc/hadoop/conf.my_cluster 50. reading/var/lib/alternatives/hadoop-conf [[e -post kaitstud] ~]# alternatiivi-set hadoop-conf /etc/hadoop/conf.my_cluster

Samm: konfiguratsioonifailide kohandamine

Nüüd avatud 'core-site.xml"Fail ja värskendus"fs.defaultFS”Klastri iga sõlme kohta.

[[e -post kaitstud] conf]# kass /etc/hadoop/conf/core-site.xml
1.0tekst/xslkonfiguratsioon.xslfs.defaultFShdfs: // master/
[[e -post kaitstud] conf]# kass /etc/hadoop/conf/core-site.xml
1.0tekst/xslkonfiguratsioon.xslfs.defaultFShdfs: // master/

Järgmine värskendus "dfs.permissions.superusergroup”Sisse hdfs-site.xml klastri iga sõlme kohta.

[[e -post kaitstud] conf]# kass /etc/hadoop/conf/hdfs-site.xml
1.0tekst/xslkonfiguratsioon.xsldfs.name.dir/var/lib/hadoop-hdfs/cache/hdfs/dfs/namedfs.permissions.superusergrouphadoop
[[e -post kaitstud] conf]# kass /etc/hadoop/conf/hdfs-site.xml
1.0tekst/xslkonfiguratsioon.xsldfs.name.dir/var/lib/hadoop-hdfs/cache/hdfs/dfs/namedfs.permissions.superusergrouphadoop

Märge: Palun veenduge, et ülaltoodud konfiguratsioon oleks kõigil sõlmedel olemas (tehke seda ühel sõlmel ja käivitage scp kopeerida ülejäänud sõlmedesse).

Samm: kohalike salvestuskataloogide seadistamine

Värskendage „dfs.name.dir või dfs.namenode.name.dir” jaotises „hdfs-site.xml” jaotises NameNode (põhi- ja sõlmes). Palun muutke esiletõstetud väärtust.

[[e -post kaitstud] conf]# kass /etc/hadoop/conf/hdfs-site.xml
dfs.namenode.name.dirfail: /// data/1/dfs/nn,/nfsmount/dfs/nn
[[e -post kaitstud] conf]# kass /etc/hadoop/conf/hdfs-site.xml
dfs.datanode.data.dirfail: /// data/1/dfs/dn,/data/2/dfs/dn,/data/3/dfs/dn

9. samm: kataloogide loomine ja lubade haldamine

Kataloogistruktuuri loomiseks ja kasutajalubade haldamiseks Namenode (Master) ja Datanode (Node) masinal täitke alltoodud käsud.

[[e -post kaitstud]]# mkdir -p/data/1/dfs/nn/nfsmount/dfs/nn. [[e -post kaitstud]]# chmod 700/data/1/dfs/nn/nfsmount/dfs/nn
[[e -post kaitstud]]# mkdir -p/data/1/dfs/dn/data/2/dfs/dn/data/3/dfs/dn/data/4/dfs/dn. [[e -post kaitstud]]# chown -R hdfs: hdfs/data/1/dfs/nn/nfsmount/dfs/nn/data/1/dfs/dn/data/2/dfs/dn/data/3/dfs/dn/data/4 /dfs/dn

Vormindage Namenode (Masteris), väljastades järgmise käsu.

[[e -post kaitstud] conf]# sudo -u hdfs hdfs namenode -format

10. toiming: teisese nimesõlme seadistamine

Lisage objektile järgmine atribuut hdfs-site.xml fail ja asendage väärtus, nagu on näidatud Masteris.

dfs.namenode.http-aadress172.21.17.175:50070 Aadress ja port, mida NameNode UI kuulab. 

Märge: Meie puhul peaks väärtus olema kapteni VM ip -aadress.

Võtame nüüd kasutusele MRv1 (kaardi vähendamise versioon 1). Ava 'mapred-site.xml"Fail järgib väärtusi, nagu näidatud.

[[e -post kaitstud] conf]# cp hdfs-site.xml mapred-site.xml. [[e -post kaitstud] conf]# vi mapred-site.xml. [[e -post kaitstud] conf]# kass mapred-site.xml
1.0tekst/xslkonfiguratsioon.xslmapred.job.trackerMeister: 8021

Järgmisena kopeerige "mapred-site.xml"Fail sõlme masinasse, kasutades järgmist käsku scp.

[[e -post kaitstud]conf]# scp /etc/hadoop/conf/mapred-site.xml sõlm:/etc/hadoop/conf/ mapred-site.xml 100% 200 0.2KB/s 00:00

Nüüd seadistage kohalikud salvestuskataloogid MRv1 deemonite kasutamiseks. Jälle avatud 'mapred-site.xml"Fail ja tehke iga TaskTrackeri jaoks muudatusi, nagu allpool näidatud.


 mapred.local.dir
 /data/1/mapred/local,/data/2/mapred/local,/data/3/mapred/local

Pärast nende kataloogide täpsustamistmapred-site.xml"Faili, peate looma kataloogid ja määrama neile õiged faililubad oma klastri igas sõlmes.

mkdir -p/data/1/mapred/local/data/2/mapred/local/data/3/mapred/local/data/4/mapred/local. chown -R mapred: hadoop/data/1/mapred/local/data/2/mapred/local/data/3/mapred/local/data/4/mapred/local

Samm: käivitage HDFS

Nüüd käivitage järgmine käsk HDFS -i käivitamiseks klastri igas sõlmes.

[[e -post kaitstud] conf]# x jaoks failis `cd /etc/init.d; ls hadoop-hdfs-*`; tee sudoteenust $ x start; tehtud
[[e -post kaitstud] conf]# x jaoks failis `cd /etc/init.d; ls hadoop-hdfs-*`; tee sudoteenust $ x start; tehtud

Samm: looge kataloogid HDFS /tmp ja MapReduce /var

See on vajalik loomiseks /tmp nõuetekohaste õigustega, nagu allpool mainitud.

[[e -post kaitstud] conf]# sudo -u hdfs hadoop fs -mkdir /tmp. [[e -post kaitstud] conf]# sudo -u hdfs hadoop fs -chmod -R 1777 /tmp
[[e -post kaitstud] conf]# sudo -u hdfs hadoop fs -mkdir -p/var/lib/hadoop -hdfs/cache/mapred/mapred/staging. [[e -post kaitstud] conf]# sudo -u hdfs hadoop fs -chmod 1777/var/lib/hadoop -hdfs/cache/mapred/mapred/staging. [[e -post kaitstud] conf]# sudo -u hdfs hadoop fs -chown -R mapred/var/lib/hadoop -hdfs/cache/mapred

Nüüd kontrollige HDFS -faili struktuuri.

[[e -post kaitstud] conf]# sudo -u hdfs hadoop fs -ls -R / drwxrwxrwt -hdfs hadoop 0 29.05.2014 09:58 / tmp. drwxr-xr-x-hdfs hadoop 0 29.05.2014 09:59 /var. drwxr-xr-x-hdfs hadoop 0 29.05.2014 09:59 /var /lib. drwxr-xr-x-hdfs hadoop 0 29.05.2014 09:59/var/lib/hadoop-hdfs. drwxr-xr-x-hdfs hadoop 0 29.05.2014 09:59/var/lib/hadoop-hdfs/cache. drwxr-xr-x-mapred hadoop 0 29.05.2014 09:59/var/lib/hadoop-hdfs/cache/mapred. drwxr-xr-x-mapred hadoop 0 29.05.2014 09:59/var/lib/hadoop-hdfs/cache/mapred/mapred. drwxrwxrwt-mapred hadoop 0 2014-05-29 09:59/var/lib/hadoop-hdfs/cache/mapred/mapred/staging

Pärast HDFS -i käivitamist ja "/tmp", Kuid enne JobTrackeri käivitamist looge parameetriga„ mapred.system.dir "määratud HDFS -kataloog (vaikimisi $ {hadoop.tmp.dir}/mapred/system ja muutke omanik kaardistatuks.

[[e -post kaitstud] conf]# sudo -u hdfs hadoop fs -mkdir/tmp/mapred/system. [[e -post kaitstud] conf]# sudo -u hdfs hadoop fs -kaardiga kaardistatud: hadoop/tmp/mapred/system

12. samm: käivitage MapReduce

MapReduce'i käivitamiseks: palun käivitage TT ja JT teenused.

Igas TaskTrackeri süsteemis
[[e -post kaitstud]conf]# teenus hadoop-0.20-mapreduce-tasktracker Start Tasktracker käivitamine: [OK] Tasktracker käivitamine, logimine aadressile /var/log/hadoop-0.20-mapreduce/hadoop-hadoop-tasktracker-node.out
JobTrackeri süsteemis
[[e -post kaitstud] conf]# service hadoop-0.20-mapreduce-jobtracker start Jobtrackeri käivitamine: [OK] tööülesannete käivitamine, logimine aadressile /var/log/hadoop-0.20-mapreduce/hadoop-hadoop-jobtracker-master.out

Seejärel looge iga hadoopi kasutaja jaoks kodukataloog. seda on soovitatav teha NameNode'is; näiteks.

[[e -post kaitstud] conf]# sudo -u hdfs hadoop fs -mkdir /user /
[[e -post kaitstud] conf]# sudo -u hdfs hadoop fs -wown  /user/

Märge: kus on iga kasutaja Linuxi kasutajanimi.

Teise võimalusena saate kodukataloogi luua järgmiselt.

[[e -post kaitstud] conf]# sudo -u hdfs hadoop fs -mkdir /user /$ USER. [[e -post kaitstud] conf]# sudo -u hdfs hadoop fs -sait $ USER /user /$ USER

Samm: avage brauseris JT, NN UI

Avage oma brauser ja tippige URL http://ip_address_of_namenode: 50070 juurdepääsu Namenode'ile.

Hadoop NameNode liides
Hadoop NameNode liides

Avage oma brauseris teine ​​vaheleht ja tippige URLhttp://ip_address_of_jobtracker: 50030 pääseda juurde JobTrackerile.

Hadoopi kaart/halduse vähendamine
Hadoopi kaart/halduse vähendamine

Seda protseduuri on edukalt testitud RHEL/CentOS 5.X/6.X. Palun kommenteerige allpool, kui teil tekib installimisega probleeme, aitan teid lahendustega.

Teachs.ru