Kuidas installida ja konfigureerida Apache Hadoop ühes sõlmes CentOS 7 -s

instagram story viewer

Apache Hadoop on avatud lähtekoodiga raamistik, mis on ette nähtud hajutatud suurandmete salvestamiseks ja andmete töötlemiseks arvutiklastrites. Projekt põhineb järgmistel komponentidel:

  1. Hadoop tavaline - see sisaldab teiste Hadoopi moodulite jaoks vajalikke Java teeke ja utiliite.
  2. HDFS - Hadoopi hajutatud failisüsteem - Java -põhine skaleeritav failisüsteem, mis on jaotatud mitme sõlme vahel.
  3. MapReduce - lõngaraamistik paralleelselt suurandmete töötlemiseks.
  4. Hadoop LÕNG: Klastri ressursside haldamise raamistik.
Installige Hadoop CentOS 7 -sse
Installige Hadoop CentOS 7 -sse

See artikkel juhendab teid, kuidas installida Apache Hadoop ühe sõlme klastrisse CentOS 7 (töötab ka RHEL 7 ja Fedora 23+ versioonid). Seda tüüpi konfiguratsioonile viidatakse ka kui Hadoop pseudo-hajutatud režiim.

Samm: installige Java CentOS 7 -sse

1. Enne Java installimisega jätkamist logige esmalt sisse root -kasutajaga või root -õigustega kasutajaga, seadistades oma masina hostinime järgmise käsuga.

# hostnamectl set-hostname master. 
Määrake hostinimi CentOS 7 -s
Määrake hostinimi CentOS 7 -s

Lisaks lisage oma arvuti FQDN -iga uus kirje hosts -faili, et osutada oma süsteemi IP -aadressile.

# vi /etc /hosts. 

Lisage allolev rida:

192.168.1.41 master.hadoop.lan. 
Määrake hostinimi failis /etc /hosts
Määrake hostinimi failis /etc /hosts

Asendage ülaltoodud hostinime ja FQDN -kirjed oma seadetega.

2. Järgmisena minge aadressile Oracle Java allalaadimine lehele ja haarake selle uusim versioon Java SE arenduskomplekt 8 abil oma süsteemis lokkida käsk:

# curl -LO -H "Küpsis: oraclelicense = nõustu turvalise varukoopiaga" " http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”
Laadige alla Java SE arenduskomplekt 8
Laadige alla Java SE arenduskomplekt 8

3. Pärast Java binaarse allalaadimise lõppu installige pakett, väljastades järgmise käsu:

# rpm -Uvh jdk-8u92-linux-x64.rpm. 
Installige Java CentOS 7 -sse
Installige Java CentOS 7 -sse

Samm: installige Hadoop Frameworki CentOS 7 -sse

4. Seejärel looge oma süsteemile uus juurkontoga kasutajakonto, mida kasutame Hadoopi installitee ja töökeskkonna jaoks. Uue konto kodukataloog asub /opt/hadoop kataloogi.

# useradd -d /opt /hadoop hadoop. # passwd hadoop. 

5. Külastage järgmist sammu Apache Hadoop lehele, et hankida uusima stabiilse versiooni link ja laadida oma süsteemi arhiiv alla.

# curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 
Laadige alla Hadoopi pakett
Laadige alla Hadoopi pakett

6. Väljavõte arhiivist kopeerige kataloogi sisu hadoopi konto koduteele. Veenduge ka, et muudate vastavalt kopeeritud failide õigusi.

# tar xfz hadoop-2.7.2.tar.gz. # cp -rf hadoop -2.7.2/*/opt/hadoop/ # chown -R hadoop: hadoop/opt/hadoop/
Väljavõte ja määrake Hadoopi õigused
Väljavõte ja määrake Hadoopi õigused

7. Järgmisena logige sisse hadoop kasutaja ja seadistada Hadoop ja Java keskkonna muutujad oma süsteemis, redigeerides .bash_profile faili.

# su - hadoop. $ vi .bash_profile. 

Lisage faili lõppu järgmised read:

## JAVA env muutujad
eksport JAVA_HOME =/usr/java/default. eksport PATH = $ PATH: $ JAVA_HOME/bin. eksport CLASSPATH =.: $ JAVA_HOME/jre/lib: $ JAVA_HOME/lib: $ JAVA_HOME/lib/tools.jar ## HADOOP env muutujadeksport HADOOP_HOME =/opt/hadoop. eksport HADOOP_COMMON_HOME = $ HADOOP_HOME. eksport HADOOP_HDFS_HOME = $ HADOOP_HOME. eksport HADOOP_MAPRED_HOME = $ HADOOP_HOME. eksport HADOOP_YARN_HOME = $ HADOOP_HOME. eksport HADOOP_OPTS = "-Djava.library.path = $ HADOOP_HOME/lib/native" eksport HADOOP_COMMON_LIB_NATIVE_DIR = $ HADOOP_HOME/lib/native. eksport PATH = $ PATH: $ HADOOP_HOME/sbin: $ HADOOP_HOME/bin.
Seadistage Hadoopi ja Java keskkonnamuutujad
Seadistage Hadoopi ja Java keskkonnamuutujad

8. Nüüd lähtestage keskkonnamuutujad ja kontrollige nende olekut, väljastades alltoodud käsud:

$ source .bash_profile. $ echo $ HADOOP_HOME. $ echo $ JAVA_HOME. 
Initsialiseeri Linuxi keskkonnamuutujad
Initsialiseeri Linuxi keskkonnamuutujad

9. Lõpuks konfigureerige ssh -võtmepõhine autentimine hadoop kontole, käivitades alltoodud käsud (asendage hostinimi või FQDN vastu ssh-copy-id käsku vastavalt).

Samuti jätke parool esitati tühjaks, et automaatselt sisse logida ssh kaudu.

$ ssh -keygen -t rsa. $ ssh-copy-id master.hadoop.lan. 
SSH võtmepõhise autentimise seadistamine
SSH võtmepõhise autentimise seadistamine
Lehed: 123
Teachs.ru