Jak nainstalovat a konfigurovat Apache Hadoop na jeden uzel v CentOS 7

Sledoval jsem pokyny a zobrazuje se následující chyba:

start-dfs.sh
Varování virtuálního klienta klienta Java HotSpot (TM): Načetli jste knihovnu /opt/hadoop/lib/native/libhadoop.so.1.0.0, která možná deaktivovala ochranu zásobníku. Virtuální počítač se nyní pokusí opravit ochranu zásobníku.
Důrazně doporučujeme opravit knihovnu pomocí „execstack -c“ nebo ji propojit s „-z noexecstack“.
16/11/08 18:59:56 UPOZORNĚNÍ util. NativeCodeLoader: Nelze načíst knihovnu nativní hadoop pro vaši platformu... pomocí vestavěných tříd Java, kde je to relevantní
Počáteční jmenné uzly na [master.hadoop.lan]
master.hadoop.lan: spuštění namenode, přihlášení k /opt/hadoop/logs/hadoop-hadoop-namenode-master.out
localhost: mv: cannot stat ‘/opt/hadoop/logs/hadoop-hadoop-datanode-master.out.4‘: Žádný takový soubor nebo adresář
master.hadoop.lan: mv: cannot stat ‘/opt/hadoop/logs/hadoop-hadoop-datanode-master.out.3’: Žádný takový soubor nebo adresář
master.hadoop.lan: mv: cannot stat ‘/opt/hadoop/logs/hadoop-hadoop-datanode-master.out.2‘: Žádný takový soubor nebo adresář
master.hadoop.lan: mv: cannot stat ‘/opt/hadoop/logs/hadoop-hadoop-datanode-master.out.1‘: Žádný takový soubor nebo adresář
localhost: spuštění datanode, přihlášení do /opt/hadoop/logs/hadoop-hadoop-datanode-master.out
master.hadoop.lan: mv: cannot stat ‘/opt/hadoop/logs/hadoop-hadoop-datanode-master.out’: Žádný takový soubor nebo adresář
master.hadoop.lan: spuštění datanode, přihlášení do /opt/hadoop/logs/hadoop-hadoop-datanode-master.out
localhost: ulimit -a pro uživatele hadoop
localhost: velikost souboru jádra (bloky, -c) 0
localhost: velikost datového segmentu (kB, -d) neomezená
localhost: priorita plánování (-e) 0
localhost: velikost souboru (bloky, -f) neomezená
localhost: čekající signály (-i) 32109
localhost: max. uzamčená paměť (kB, -l) 64
localhost: maximální velikost paměti (kB, -m) neomezená
localhost: otevřené soubory (-n) 1024
localhost: velikost kanálu (512 bajtů, -p) 8
Spuštění sekundárních jmenných uzlů [0.0.0.0]
0.0.0.0: spuštění sekundárního názvu, přihlášení k /opt/hadoop/logs/hadoop-hadoop-secondarynamenode-master.out
Varování virtuálního klienta klienta Java HotSpot (TM): Načetli jste knihovnu /opt/hadoop/lib/native/libhadoop.so.1.0.0, která možná deaktivovala ochranu zásobníku. Virtuální počítač se nyní pokusí opravit ochranu zásobníku.
Důrazně doporučujeme opravit knihovnu pomocí „execstack -c“ nebo ji propojit s „-z noexecstack“.
16/11/08 19:00:22 UPOZORNĚNÍ util. NativeCodeLoader: Nelze načíst knihovnu nativní hadoop pro vaši platformu... pomocí vestavěných tříd Java, kde je to relevantní
[[chráněno emailem] ~]$

Odpověď

Sledoval jsem tvůj návod. Při spuštění příkazu „start-dfs.sh“ však dochází k určitým problémům, viz výstup níže:

stop-dfs.sh
Varování virtuálního počítače OpenJDK Server: Načetli jste knihovnu /opt/hadoop/lib/native/libhadoop.so.1.0.0, která možná deaktivovala ochranu zásobníku. Virtuální počítač se nyní pokusí opravit ochranu zásobníku.
Důrazně doporučujeme opravit knihovnu pomocí „execstack -c“ nebo ji propojit s „-z noexecstack“.
16/11/05 12:22:24 UPOZORNĚNÍ util. NativeCodeLoader: Nelze načíst knihovnu nativní hadoop pro vaši platformu... pomocí vestavěných tříd Java, kde je to relevantní
Zastavení pojmenování na [master.hadoop.lan]
master.hadoop.lan: žádný namenode k zastavení
localhost: žádný datanode k zastavení
master.hadoop.lan: žádný datanode k zastavení
Zastavení sekundárních jmenných uzlů [0.0.0.0]
0.0.0.0: žádný sekundární uzel k zastavení
Varování virtuálního počítače OpenJDK Server: Načetli jste knihovnu /opt/hadoop/lib/native/libhadoop.so.1.0.0, která možná deaktivovala ochranu zásobníku. Virtuální počítač se nyní pokusí opravit ochranu zásobníku.
Důrazně doporučujeme opravit knihovnu pomocí „execstack -c“ nebo ji propojit s „-z noexecstack“.
16/11/05 12:22:32 UPOZORNĚNÍ util. NativeCodeLoader: Nelze načíst knihovnu nativní hadoop pro vaši platformu... pomocí vestavěných tříd Java, kde je to relevantní
[[chráněno emailem] ~] $ jasné

[[chráněno emailem] ~] $ start-dfs.sh
Varování virtuálního počítače OpenJDK Server: Načetli jste knihovnu /opt/hadoop/lib/native/libhadoop.so.1.0.0, která možná deaktivovala ochranu zásobníku. Virtuální počítač se nyní pokusí opravit ochranu zásobníku.
Důrazně doporučujeme opravit knihovnu pomocí „execstack -c“ nebo ji propojit s „-z noexecstack“.
16/11/05 12:23:01 UPOZORNĚNÍ util. NativeCodeLoader: Nelze načíst knihovnu nativní hadoop pro vaši platformu... pomocí vestavěných tříd Java, kde je to relevantní
Počáteční jmenné uzly na [master.hadoop.lan]
master.hadoop.lan: spuštění namenode, přihlášení k /opt/hadoop/logs/hadoop-hadoop-namenode-master.out
localhost: mv: cannot move '/opt/hadoop/logs/hadoop-hadoop-datanode-master.out.4' to '/opt/hadoop/logs/hadoop-hadoop-datanode-master.out.5': No such soubor nebo adresář
localhost: mv: cannot stat ‘/opt/hadoop/logs/hadoop-hadoop-datanode-master.out.3‘: Žádný takový soubor nebo adresář
localhost: mv: cannot stat ‘/opt/hadoop/logs/hadoop-hadoop-datanode-master.out.2‘: Žádný takový soubor nebo adresář
localhost: mv: cannot stat ‘/opt/hadoop/logs/hadoop-hadoop-datanode-master.out.1‘: Žádný takový soubor nebo adresář
master.hadoop.lan: mv: cannot stat ‘/opt/hadoop/logs/hadoop-hadoop-datanode-master.out’: Žádný takový soubor nebo adresář
localhost: spuštění datanode, přihlášení do /opt/hadoop/logs/hadoop-hadoop-datanode-master.out
master.hadoop.lan: spuštění datanode, přihlášení do /opt/hadoop/logs/hadoop-hadoop-datanode-master.out
localhost: ulimit -a pro uživatele hadoop
localhost: velikost souboru jádra (bloky, -c) 0
localhost: velikost datového segmentu (kB, -d) neomezená
localhost: priorita plánování (-e) 0
localhost: velikost souboru (bloky, -f) neomezená
localhost: čekající signály (-i) 32109
localhost: max. uzamčená paměť (kB, -l) 64
localhost: maximální velikost paměti (kB, -m) neomezená
localhost: otevřené soubory (-n) 1024
localhost: velikost kanálu (512 bajtů, -p) 8
Spuštění sekundárních jmenných uzlů [0.0.0.0]
0.0.0.0: spuštění sekundárního názvu, přihlášení k /opt/hadoop/logs/hadoop-hadoop-secondarynamenode-master.out
Varování virtuálního počítače OpenJDK Server: Načetli jste knihovnu /opt/hadoop/lib/native/libhadoop.so.1.0.0, která možná deaktivovala ochranu zásobníku. Virtuální počítač se nyní pokusí opravit ochranu zásobníku.
Důrazně doporučujeme opravit knihovnu pomocí „execstack -c“ nebo ji propojit s „-z noexecstack“.
16/11/05 12:23:33 UPOZORNĚNÍ util. NativeCodeLoader: Nelze načíst knihovnu nativní hadoop pro vaši platformu... pomocí vestavěných tříd Java, kde je to relevantní

Používám fedoru 24. Moje instalace Java je na /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-1.b16.fc24.i386/jre/bin/java.

moje nastavení JAVA pro soubor .bash_profile je:
## JAVA env proměnné
export JAVA_HOME =/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-1.b16.fc24.i386/jre
export PATH = $ PATH: $ JAVA_HOME/bin
export CLASSPATH =.: $ JAVA_HOME/jre/lib: $ JAVA_HOME/lib: $ JAVA_HOME/lib/tools.jar

prosím, dejte mi vědět, co dělám špatně.

Odpověď

Skvělý návod. Děkujeme, že jste si na to udělali čas. Sledoval jsem tutoriál k věci, ale když spustím: hdfs namenode -format, dostávám následující chybu:
/opt/hadoop/bin/hdfs: řádek 35: /opt/hadoop/bin../libexec/hdfs-config.sh: Žádný takový soubor nebo adresář
/opt/hadoop/bin/hdfs: řádek 304: exec:: nebyl nalezen

Jakákoli pomoc by byla oceněna. díky!

Odpověď

Ahoj Metai

Nice how to and I have a návrh, we have to edit yarn-site.xml and add this

příze.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred. ShuffleHandler

yarn.resourcemanager.resource-tracker.address
hmaster: 8025

příze.resourcemanager.scheduler.address
hmaster: 8030

příze. správce zdrojů. adresa
hmaster: 8050

Jinak dostaneme následující chybu

STARTUP_MSG: java = 1.8.0_101
************************************************************/
16. 9. 12 14:00:46 INFO jmenný uzel. NameNode: registrovaní zpracovatelé signálu UNIX pro [TERM, HUP, INT]
16. 9. 12 14:00:46 INFO jmenný uzel. NameNode: createNameNode [-format]
16/09/12 14:00:47 UPOZORNĚNÍ conf. Konfigurace: špatný soubor conf: prvek ne
16/09/12 14:00:47 UPOZORNĚNÍ conf. Konfigurace: špatný soubor conf: prvek ne
16/09/12 14:00:47 UPOZORNĚNÍ conf. Konfigurace: špatný soubor conf: prvek ne
16/09/12 14:00:47 UPOZORNĚNÍ conf. Konfigurace: špatný soubor conf: prvek ne

Také jsem vyžadoval kroky instalace úlu, jako je tento fantastický způsob

Odpověď
Teachs.ru