Apache Hadoop on avatud lähtekoodiga raamistik, mis on ette nähtud hajutatud suurandmete salvestamiseks ja andmete töötlemiseks arvutiklastrites. Projekt põhineb järgmistel komponentidel:
- Hadoop tavaline - see sisaldab teiste Hadoopi moodulite jaoks vajalikke Java teeke ja utiliite.
- HDFS - Hadoopi hajutatud failisüsteem - Java -põhine skaleeritav failisüsteem, mis on jaotatud mitme sõlme vahel.
- MapReduce - lõngaraamistik paralleelselt suurandmete töötlemiseks.
- Hadoop LÕNG: Klastri ressursside haldamise raamistik.
See artikkel juhendab teid, kuidas installida Apache Hadoop ühe sõlme klastrisse CentOS 7 (töötab ka RHEL 7 ja Fedora 23+ versioonid). Seda tüüpi konfiguratsioonile viidatakse ka kui Hadoop pseudo-hajutatud režiim.
Samm: installige Java CentOS 7 -sse
1. Enne Java installimisega jätkamist logige esmalt sisse root -kasutajaga või root -õigustega kasutajaga, seadistades oma masina hostinime järgmise käsuga.
# hostnamectl set-hostname master.
Lisaks lisage oma arvuti FQDN -iga uus kirje hosts -faili, et osutada oma süsteemi IP -aadressile.
# vi /etc /hosts.
Lisage allolev rida:
192.168.1.41 master.hadoop.lan.
Asendage ülaltoodud hostinime ja FQDN -kirjed oma seadetega.
2. Järgmisena minge aadressile Oracle Java allalaadimine lehele ja haarake selle uusim versioon Java SE arenduskomplekt 8 abil oma süsteemis lokkida käsk:
# curl -LO -H "Küpsis: oraclelicense = nõustu turvalise varukoopiaga" " http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”
3. Pärast Java binaarse allalaadimise lõppu installige pakett, väljastades järgmise käsu:
# rpm -Uvh jdk-8u92-linux-x64.rpm.
Samm: installige Hadoop Frameworki CentOS 7 -sse
4. Seejärel looge oma süsteemile uus juurkontoga kasutajakonto, mida kasutame Hadoopi installitee ja töökeskkonna jaoks. Uue konto kodukataloog asub /opt/hadoop kataloogi.
# useradd -d /opt /hadoop hadoop. # passwd hadoop.
5. Külastage järgmist sammu Apache Hadoop lehele, et hankida uusima stabiilse versiooni link ja laadida oma süsteemi arhiiv alla.
# curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
6. Väljavõte arhiivist kopeerige kataloogi sisu hadoopi konto koduteele. Veenduge ka, et muudate vastavalt kopeeritud failide õigusi.
# tar xfz hadoop-2.7.2.tar.gz. # cp -rf hadoop -2.7.2/*/opt/hadoop/ # chown -R hadoop: hadoop/opt/hadoop/
7. Järgmisena logige sisse hadoop kasutaja ja seadistada Hadoop ja Java keskkonna muutujad oma süsteemis, redigeerides .bash_profile faili.
# su - hadoop. $ vi .bash_profile.
Lisage faili lõppu järgmised read:
## JAVA env muutujad eksport JAVA_HOME =/usr/java/default. eksport PATH = $ PATH: $ JAVA_HOME/bin. eksport CLASSPATH =.: $ JAVA_HOME/jre/lib: $ JAVA_HOME/lib: $ JAVA_HOME/lib/tools.jar ## HADOOP env muutujadeksport HADOOP_HOME =/opt/hadoop. eksport HADOOP_COMMON_HOME = $ HADOOP_HOME. eksport HADOOP_HDFS_HOME = $ HADOOP_HOME. eksport HADOOP_MAPRED_HOME = $ HADOOP_HOME. eksport HADOOP_YARN_HOME = $ HADOOP_HOME. eksport HADOOP_OPTS = "-Djava.library.path = $ HADOOP_HOME/lib/native" eksport HADOOP_COMMON_LIB_NATIVE_DIR = $ HADOOP_HOME/lib/native. eksport PATH = $ PATH: $ HADOOP_HOME/sbin: $ HADOOP_HOME/bin.
8. Nüüd lähtestage keskkonnamuutujad ja kontrollige nende olekut, väljastades alltoodud käsud:
$ source .bash_profile. $ echo $ HADOOP_HOME. $ echo $ JAVA_HOME.
9. Lõpuks konfigureerige ssh -võtmepõhine autentimine hadoop kontole, käivitades alltoodud käsud (asendage hostinimi või FQDN vastu ssh-copy-id käsku vastavalt).
Samuti jätke parool esitati tühjaks, et automaatselt sisse logida ssh kaudu.
$ ssh -keygen -t rsa. $ ssh-copy-id master.hadoop.lan.
