Jak nainstalovat a konfigurovat Apache Hadoop na jeden uzel v CentOS 7

Apache Hadoop je open source framework sestavený pro distribuovaná úložiště velkých dat a zpracování dat napříč počítačovými klastry. Projekt je založen na následujících komponentách:

  1. Hadoop Common - obsahuje knihovny a nástroje Java potřebné pro jiné moduly Hadoop.
  2. HDFS - Hadoop Distributed File System - Škálovatelný souborový systém založený na Javě distribuovaný do více uzlů.
  3. MapReduce - Rámec YARN pro paralelní zpracování velkých dat.
  4. Hadoop PŘÍZE: Rámec pro správu klastrových prostředků.
Nainstalujte si Hadoop do CentOS 7
Nainstalujte si Hadoop do CentOS 7

Tento článek vás provede tím, jak můžete nainstalovat Apache Hadoop na cluster jednoho uzlu CentOS 7 (funguje také pro RHEL 7 a Fedora 23+ verze). Tento typ konfigurace je také označován jako Pado distribuovaný režim Hadoop.

Krok 1: Nainstalujte si Javu na CentOS 7

1. Než budete pokračovat v instalaci Javy, nejprve se přihlaste s uživatelem root nebo uživatelem s oprávněním root nastavit název hostitele počítače pomocí následujícího příkazu.

# hostnamectl set-hostname master. 
Nastavte název hostitele v CentOS 7
Nastavte název hostitele v CentOS 7

Také přidejte nový záznam do souboru hostitelů s FQDN vašeho počítače, aby ukazoval na vaši IP adresu systému.

# vi /etc /hosts. 

Přidejte následující řádek:

192.168.1.41 master.hadoop.lan. 
Název hostitele nastavte v souboru /etc /hosts
Název hostitele nastavte v souboru /etc /hosts

Nahraďte výše uvedené názvy hostitelů a FQDN svými vlastními nastaveními.

2. Dále přejděte na Oracle Java ke stažení stránku a uchopte nejnovější verzi Vývojová sada Java SE 8 ve vašem systému pomocí kučera příkaz:

# curl -LO -H "Cookie: oraclelicense = receive -securebackup -cookie" " http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”
Stáhněte si Java SE Development Kit 8
Stáhněte si Java SE Development Kit 8

3. Po dokončení binárního stahování Java nainstalujte balíček zadáním níže uvedeného příkazu:

# rpm -Uvh jdk-8u92-linux-x64.rpm. 
Nainstalujte si Javu do CentOS 7
Nainstalujte si Javu do CentOS 7

Krok 2: Nainstalujte Hadoop Framework do CentOS 7

4. Dále vytvořte ve svém systému nový uživatelský účet bez oprávnění root, který použijeme pro instalační cestu a pracovní prostředí Hadoop. Nový domovský adresář účtu bude umístěn v /opt/hadoop adresář.

# useradd -d /opt /hadoop hadoop. # passwd hadoop. 

5. V dalším kroku navštivte Apache Hadoop stránku, abyste získali odkaz na nejnovější stabilní verzi a stáhli archiv do svého systému.

# curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 
Stáhněte si balíček Hadoop
Stáhněte si balíček Hadoop

6. Rozbalte archiv a zkopírujte obsah adresáře na domovskou cestu účtu hadoop. Nezapomeňte také odpovídajícím způsobem změnit oprávnění ke kopírovaným souborům.

# tar xfz hadoop-2.7.2.tar.gz. # cp -rf hadoop -2.7.2/*/opt/hadoop/ # chown -R hadoop: hadoop/opt/hadoop/
Extrahujte a nastavte oprávnění na Hadoop
Extrahujte a nastavte oprávnění na Hadoop

7. Dále se přihlaste pomocí hadoop uživatele a konfigurovat Hadoop a Proměnné prostředí Java ve vašem systému úpravou .bash_profile soubor.

# su - hadoop. $ vi .bash_profile. 

Na konec souboru připojte následující řádky:

## JAVA env proměnné
export JAVA_HOME =/usr/java/výchozí. export PATH = $ PATH: $ JAVA_HOME/bin. export CLASSPATH =.: $ JAVA_HOME/jre/lib: $ JAVA_HOME/lib: $ JAVA_HOME/lib/tools.jar ## HADOOP proměnné envexport HADOOP_HOME =/opt/hadoop. export HADOOP_COMMON_HOME = $ HADOOP_HOME. export HADOOP_HDFS_HOME = $ HADOOP_HOME. export HADOOP_MAPRED_HOME = $ HADOOP_HOME. export HADOOP_YARN_HOME = $ HADOOP_HOME. export HADOOP_OPTS = "-Djava.library.path = $ HADOOP_HOME/lib/native" export HADOOP_COMMON_LIB_NATIVE_DIR = $ HADOOP_HOME/lib/native. export PATH = $ PATH: $ HADOOP_HOME/sbin: $ HADOOP_HOME/bin.
Konfigurujte proměnné prostředí Hadoop a Java
Konfigurujte proměnné prostředí Hadoop a Java

8. Nyní inicializujte proměnné prostředí a zkontrolujte jejich stav zadáním následujících příkazů:

$ source .bash_profile. $ echo $ HADOOP_HOME. $ echo $ JAVA_HOME. 
Inicializujte proměnné prostředí Linux
Inicializujte proměnné prostředí Linux

9. Nakonec nakonfigurujte autentizaci pomocí klíče ssh pro hadoop účet spuštěním níže uvedených příkazů (nahraďte jméno hostitele nebo FQDN proti ssh-copy-id odpovídajícím způsobem).

Také nechte heslo vyplněno prázdně, aby se automaticky přihlásilo pomocí ssh.

$ ssh -keygen -t rsa. $ ssh-copy-id master.hadoop.lan. 
Konfigurace ověřování na základě klíče SSH
Konfigurace ověřování na základě klíče SSH
Stránky: 123
Teachs.ru