Jak nainstalovat a konfigurovat Apache Hadoop na jeden uzel v CentOS 7

Krok 4: Formátujte Hadoop Namenode

17. Jakmile je klastr s jedním uzlem hadoop nastaven, je čas inicializovat systém souborů HDFS formátováním /opt/volume/namenode adresář úložiště s následujícím příkazem:

$ hdfs -formát názvu. 
Formátujte Hadoop Namenode
Formátujte Hadoop Namenode
Proces formátování Hadoop Namenode
Proces formátování Hadoop Namenode

Krok 5: Spusťte a otestujte klastr Hadoop

18. Příkazy Hadoop jsou umístěny v $ HADOOP_HOME/sbin adresář. Chcete -li spustit služby Hadoop, spusťte na konzole níže uvedené příkazy:

$ start-dfs.sh. $ start-yarn.sh. 

Zkontrolujte stav služeb pomocí následujícího příkazu.

$ jps. 
Spusťte a otestujte klastr Hadoop
Spusťte a otestujte klastr Hadoop

Alternativně si můžete zobrazit seznam všech otevřených soketů pro Apache Hadoop ve vašem systému pomocí ss příkaz.

$ ss -tul. $ ss -tuln # Numerický výstup. 
Zkontrolujte zásuvky Apache Hadoop
Zkontrolujte zásuvky Apache Hadoop

19. Chcete -li otestovat klastr systému souborů hadoop, vytvořte v systému souborů HDFS náhodný adresář a zkopírujte soubor z místního systému souborů do HDFS úložiště (vložte data do HDFS).

$ hdfs dfs -mkdir /my_storage. $ hdfs dfs -put LICENSE.txt /my_storage. 
Zkontrolujte klastr Hadoop Filesystem
Zkontrolujte klastr Hadoop Filesystem

Chcete -li zobrazit obsah souboru nebo zobrazit seznam adresářů v systému souborů HDFS, zadejte následující příkazy:

$ hdfs dfs -cat /my_storage/LICENSE.txt. $ hdfs dfs -ls /my_storage /
Seznam obsahu Hadoop Filesystem
Seznam obsahu Hadoop Filesystem
Zkontrolujte adresář Hadoop Filesystem Directory
Zkontrolujte adresář Hadoop Filesystem Directory

Chcete -li načíst data z HDFS do našeho místního systému souborů, použijte následující příkaz:

$ hdfs dfs -get/ my_storage/ ./
Zkopírujte data souborového systému Hadoop do místního systému
Zkopírujte data souborového systému Hadoop do místního systému

Získejte úplný seznam možností příkazů HDFS vydáním:

$ hdfs dfs -pomoc. 

Krok 6: Procházejte služby Hadoop

20. Chcete -li přistupovat ke službám Hadoop ze vzdáleného prohlížeče, navštivte následující odkazy (odpovídajícím způsobem nahraďte IP adresu FQDN). Zkontrolujte také, zda jsou na bráně firewall systému otevřené níže uvedené porty.

Přehled Hadoop služby NameNode.

http://192.168.1.41:50070 
Získejte přístup ke službám Hadoop
Získejte přístup ke službám Hadoop

Pro procházení systému souborů Hadoop (Procházet adresář).

http://192.168.1.41:50070/explorer.html. 
Procházení adresáře Hadoop Filesystem
Procházení adresáře Hadoop Filesystem

Informace o klastru a aplikacích (ResourceManager).

http://192.168.1.41:8088 
Clusterové aplikace Hadoop
Clusterové aplikace Hadoop

Informace o NodeManager.

http://192.168.1.41:8042 
Hadoop NodeManager
Hadoop NodeManager

Krok 7: Správa služeb Hadoop

21. Chcete -li zastavit všechny instance hadoop, spusťte níže uvedené příkazy:

$ stop-yarn.sh. $ stop-dfs.sh. 
Zastavte služby Hadoop
Zastavte služby Hadoop

22. Chcete-li povolit démony Hadoop v celém systému, přihlaste se pomocí uživatele root, otevřete /etc/rc.local soubor pro úpravy a přidejte následující řádky:

$ su - root. # vi /etc/rc.local. 

Přidejte tyto úryvky do rc.local soubor.

su -hadoop -c "/opt/hadoop/sbin/start-dfs.sh" su -hadoop -c "/opt/hadoop/sbin/start-yarn.sh" výstup 0.
Povolte služby Hadoop při spuštění systému
Povolte služby Hadoop při spuštění systému

Potom přidejte spustitelná oprávnění pro rc.local soubor a povolte, spusťte a zkontrolujte stav služby zadáním následujících příkazů:

$ chmod +x /etc/rc.d/rc.local. $ systemctl povolit rc-local. $ systemctl start rc-local. $ systemctl status rc-local. 
Povolte a zkontrolujte služby Hadoop
Povolte a zkontrolujte služby Hadoop

A je to! Příště ty restartovat váš stroj Hadoop služby se vám automaticky spustí! Vše, co musíte udělat, je spustit aplikaci kompatibilní s Hadoop a jste připraveni jít!

Další informace získáte od úředníka Dokumentace Apache Hadoop webovou stránku a Hadoop Wiki strana.

Stránky: 123
Teachs.ru