Jak nainstalovat a konfigurovat Cloudera Manager na CentOS/RHEL 7

V tomto článku jsme popsali postup instalace krok za krokem Cloudera Manager podle průmyslových postupů. V části 2 jsme již prošli Cloudera Předpoklady, ujistěte se, že jsou všechny servery perfektně připraveny.

Požadavky

  • Osvědčené postupy pro nasazení serveru Hadoop na CentOS/RHEL 7 - část 1
  • Nastavení požadavků Hadoop a zabezpečení zabezpečení-část 2

Zde budeme mít klastr s 5 uzly, kde 2 mistři a 3 pracovníci. použil jsem 5 AWS EC2 instance k předvedení postupu instalace. Těchto 5 serverů jsem pojmenoval níže.

master1.tecmint.com. master2.tecmint.com. worker1.tecmint.com. worker2.tecmint.com. worker3.tecmint.com. 

Cloudera Manager je administrativní a monitorovací nástroj pro celý CDH. Správci tomu obvykle říkáme nástroj pro správu Cloudera Hadoop. Pomocí tohoto nástroje můžeme nasadit, monitorovat, řídit a provádět změny konfigurace. To je velmi důležité pro správu celého clusteru.

Níže jsou uvedena důležitá použití Cloudera Manager.

  • Nasazujte a konfigurujte klastry Hadoop automatizovaným způsobem.
  • Monitorujte stav clusteru
  • Konfigurace výstrah
  • Odstraňování problémů
  • Hlášení
  • Vytvoření zprávy o využití klastru
  • Dynamická konfigurace zdrojů

Krok 1: Instalace webového serveru Apache na CentOS

Budeme používat mistr 1 jako webový server pro úložiště Cloudera. Cloudera Manager je také WebUI, takže ho musíme mít Apache nainstalován. Při instalaci webového serveru apache postupujte podle následujících pokynů.

# yum -y nainstalovat httpd. 

Jakmile je nainstalován httpd, spusťte jej a povolte, aby byl spuštěn při spuštění.

# systemctl start httpd. # systemctl povolit httpd. 

Po spuštění httpd zajistěte stav.

# stav systemctl httpd. 
Zkontrolujte stav Apache
Zkontrolujte stav Apache

Po spuštění httpd otevřete v místním systému prohlížeč a vložte IP adresu mistr 1 do vyhledávacího pole byste měli získat tuto testovací stránku, abyste se ujistili, že httpd běží dobře.

Podívejte se na webovou stránku Apache
Podívejte se na webovou stránku Apache

Krok 2: Konfigurace lokálního DNS na řešení IP a názvu hostitele

Potřebujeme mít server DNS nebo nakonfigurovat /etc/hosts k vyřešení IP a názvu hostitele. Zde konfigurujeme /etc/hosts, ale v reálném čase tam bude vyhrazený server DNS pro produkční prostředí.

Podle následujících kroků proveďte záznam pro všechny vaše servery v /etc/hosts.

# vi /etc /hosts. 

To by mělo být nakonfigurováno na všech serverech.

13.235.27.144 master1.tecmint.com master1. 13.235.135.170 master2.tecmint.com master2. 15.206.167,94 pracovník1.tecmint.com pracovník1. 13.232.173.158 worker2.tecmint.com worker2. 65.0.182.222 worker3.tecmint.com worker3. 
Konfigurujte místní DNS
Konfigurujte místní DNS

Krok 3: Konfigurace SSH přihlášení bez hesla

Cloudera Manager se instaluje na mistr 1 v této ukázce. Potřebujeme nakonfigurovat ssh bez hesla mistr 1 do všech ostatních uzlů. Protože Cloudera Manager použije ssh ke komunikaci všech ostatních uzlů k instalaci balíčků.

Při konfiguraci ssh bez hesla postupujte podle následujících kroků mistr 1 na všechny zbývající servery. Budeme mít uživatele „tecmint„Postupovat dále.

Vytvořit uživateletecmint„Všechny 4 servery používají příkaz useradd jak je znázorněno.

# useradd -m tecmint. 

Udělení oprávnění root uživateli „tecmint“, Přidejte následující řádek do /etc/sudoers soubor. Tento řádek můžete přidat pod root jako na obrazovce.

tecmint ALL = (ALL) ALL. 
Přidat uživatele do Sudo
Přidat uživatele do Sudo

Přepnout na uživateletecmint“A vytvořte klíč ssh v souboru mistr 1 pomocí níže uvedeného příkazu.

# sudo su tecmint. $ ssh-keygen. 

Nyní zkopírujte vytvořený klíč na všechny 4 servery pomocí ssh-copy-id příkaz podle obrázku.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [chráněno emailem]
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [chráněno emailem]
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [chráněno emailem] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [chráněno emailem]

Nyní byste měli být schopni ssh z mistr 1 na zbývající všechny servery bez hesla, jak je uvedeno na obrázku.

$ ssh master2. $ ssh pracovník 1. $ ssh pracovník 2. $ ssh pracovník 3. 
SSH přihlašovací servery bez hesla
SSH přihlašovací servery bez hesla

Krok 4: Instalace a konfigurace Cloudera Manager

Můžeme použít prodejce (Cloudera) repozitář pro instalaci všech balíků pomocí nástrojů pro správu balíčků v RHEL/CentOS. V reálném čase je vytvoření vlastního úložiště osvědčeným postupem, protože na produkčních serverech možná nemáme přístup k internetu.

Zde se chystáme nainstalovat Cloudera Manager 6.3.1 uvolnění. Protože budeme používat mistr 1 jako repo server stahujeme balíčky na níže uvedené cestě.

Vytvořte níže uvedené adresáře na mistr 1 server.

$ sudo mkdir -p/var/www/html/cloudera -repos/cm6. 

Můžeme použít nástroj wget stahovat balíčky přes http. Takže nainstalovat wget pomocí níže uvedeného příkazu.

$ sudo yum -y install wget. 

Dále si stáhněte soubor Cloudera Manager tar soubor pomocí následujícího příkazu wget.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz. 

Extrahujte soubor tar do /var/www/html/cloudera-repos/cm6, již jsme vytvořili mistr 1 jako webový server instalací http a testovali jsme v prohlížeči.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C/var/www/html/cloudera-repos/cm6 --strip-components = 1. 

Nyní ověřte, zda jsou v něm všechny soubory Cloudera rpm /var/www/html/cloudera-repos/cm6/RPMS/x86_64 adresář.

$ cd/var/www/html/cloudera-repos/cm6. $ ll. 
Seznam souborů Cloudera
Seznam souborů Cloudera

Vytvořit /etc/yum.repos.d/cloudera-manager.repo soubory na všech serverech v hostitelích klastru s následujícím obsahem zde mistr 1 (65.0.101.148) je webový server.

[cloudera-repo] name = cloudera-manager. baseurl = http:///cloudera-repos/cm6/ povoleno = 1. gpgcheck = 0.

Nyní bylo úložiště přidáno, spusťte níže uvedený příkaz a zobrazte povolená úložiště.

$ yum repolista. 
Seznam úložiště Cloudera
Seznam úložiště Cloudera

Spuštěním níže uvedeného příkazu zobrazíte v úložišti všechny dostupné balíčky související s Cloudera.

$ yum seznam k dispozici | grep cloudera*
Seznam balíčků Cloudera
Seznam balíčků Cloudera

Nainstalujte cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2. 
Nainstalujte Cloudera do CentOS
Nainstalujte Cloudera do CentOS

Spuštěním níže uvedeného příkazu zobrazíte všechny nainstalované balíčky Cloudera.

nainstalován seznam $ yum | grep cloudera*
Seznam nainstalovaných balíčků Cloudera
Seznam nainstalovaných balíčků Cloudera

Spusťte příkaz níže cloudera-scm-server-db což je základní databáze pro uložení Cloudera Manager a další metadata služeb.

Ve výchozím stavu, Cloudera přichází s postgre-sql který je vložen do souboru Cloudera Manager. Instalujeme vestavěnou do externí databáze v reálném čase, kterou lze použít. To může být Věštec, MySQL, nebo PostgreSQL.

$ sudo systemctl start cloudera-scm-server-db. 

Spuštěním níže uvedeného příkazu zkontrolujte stav databáze.

$ sudo systemctl status cloudera-scm-server-db. 
Zkontrolujte stav Cloudera Databasse
Zkontrolujte stav databáze Cloudera

Konfigurujte db.properties pro Cloudera Manager server.

$ vi /etc/cloudera-scm-server/db.properties. 

Konfigurujte níže uvedenou hodnotu EMBEDDED dělat Cloudera Manager použijte Integrovaná databáze.

com.cloudera.cmf.db.setupType = EMBEDDED. 
Konfigurace vlastností databáze Cloudera
Konfigurace vlastností databáze Cloudera

Spuštěním níže uvedeného příkazu spustíte server Cloudera Manager.

$ sudo systemctl start cloudera-scm-server. 

Spuštěním níže uvedeného příkazu zkontrolujte stav souboru Cloudera Manager server.

$ sudo systemctl status cloudera-scm-server. 
Zkontrolujte stav Cloudera Manager
Zkontrolujte stav Cloudera Manager

Spusťte níže uvedený příkaz a zkontrolujte stav Cloudera Manager činidlo.

$ sudo systemctl start cloudera-scm-agent. $ sudo systemctl status cloudera-scm-agent. 
Zkontrolujte stav agenta Cloudera Manager
Zkontrolujte stav agenta Cloudera Manager

Jednou Server Cloudera Manager úspěšně funguje a funguje, můžete si v prohlížeči zobrazit WebUI (přihlašovací stránka) pomocí IP adresy a čísla portu 7180 což je číslo portu Cloudera Manager.

https://65.0.101.148:7180. 
Přihlášení správce Cloudera
Přihlášení správce Cloudera
souhrn

V tomto článku jsme viděli krok za krokem proces instalace Cloudera Manager na CentOS 7. CDH a další instalace služeb uvidíme v dalším článku.

Teachs.ru