Jak nainstalovat CDH a konfigurovat umístění služeb na CentOS/RHEL 7

V dřívějším článku jsme vysvětlili instalace Cloudera Manager, v tomto článku se dozvíte, jak nainstalovat a konfigurovat CDH (Cloudera Distribution Hadoop) v RHEL/CentOS 7.

Při instalaci balíku CDH musíme zajistit Cloudera Manager a CDH kompatibilita. Verze Cloudera má 3 části - ... Cloudera Manager hlavní a vedlejší verze musí být stejná jako hlavní a vedlejší verze CDH.

Například používáme Cloudera Manager 6.3.1 a CDH 6.3.2. Tady 6 je hlavní a 3 je vedlejší verze. Major a Minor musí být stejné, aby se předešlo problémům s kompatibilitou.

Požadavky

  • Osvědčené postupy pro nasazení serveru Hadoop na CentOS/RHEL 7 - část 1
  • Nastavení požadavků Hadoop a zabezpečení zabezpečení-část 2
  • Jak nainstalovat a konfigurovat Cloudera Manager na CentOS/RHEL 7 - část 3

Pro instalaci CDH vezmeme níže uvedené 2 uzly. Cloudera Manager jsme již nainstalovali mistr 1, také používáme mistr 1 jako repo server.

master1.tecmint.com. worker1.tecmint.com. 

Krok 1: Stáhněte si CDH Parcels na Master Server

1. Nejprve se připojte k mistr 1 server a stáhnout Balíčky CDH soubory v souboru /var/www/html/cloudera-repos/cdh adresář. Musíme stáhnout níže uvedené 3 soubory, se kterými by mělo být kompatibilní RHEL/CentOS 7.

Balíček CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7. CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1. manifest.json. 

2. Před stažením těchto souborů vytvořte soubor cdh adresář pod /var/www/html/cloudera-repos/ umístění.

$ cd/var/www/html/cloudera-repos/ $ sudo mkdir cdh. $ cd cdh.

3. Dále stáhněte výše uvedené 3 soubory pomocí následujícího příkaz wget.

$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json 

Krok 2: Nastavení služby Cloudera Manager Repo na pracovních klientech

4. Nyní se připojte k pracovník servery a zkopírujte repo soubor (cloudera-manager.repo) z repo serveru (mistr 1) na zbývající pracovní server. Tento repo soubor zajišťuje serverům, že během instalace budou z repo serveru staženy všechny požadované balíky a RPM.

kočka> /etc/yum.repos.d/cloudera-manager.repo <

5. Jakmile je repo přidáno, vytvořte seznam povolených úložišť, abyste se ujistili, že správce cloudera repo je povoleno.

$ yum repolista. 
Zaškrtněte Povolená repo
Zaškrtněte Povolená repo

Krok 3: Nainstalujte Cloudera Manager Daemons a Agent na servery Worker

6. Nyní musíme nainstalovat cloudera-manager-démoni a cloudera-manager-agent na všech zbývajících serverech.

$ sudo yum nainstalovat cloudera-manager-daemons cloudera-manager-agent. 
Nainstalujte si Cloudera Manager Daemons a Agent
Nainstalujte si Cloudera Manager Daemons a Agent

7. Dále musíte nakonfigurovat Cloudera Manager agent nahlásit Cloudera Manager server.

$ sudo vi /etc/cloudera-scm-agent/config.ini. 

Nahradit localhost s Cloudera Manager IP adresa serveru.

Konfigurujte Cloudera Manager
Konfigurujte Cloudera Manager

8. Start Cloudera Manager Agent a ověřte stav.

$ sudo systemctl start cloudera-scm-agent. $ sudo systemctl status cloudera-scm-agent. 
Zkontrolujte stav Cloudera Manager
Zkontrolujte stav Cloudera Manager

Krok 4: Nainstalujte a nastavte CDH

My máme CDH balíky v mistr 1 - repo server. Ujistěte se, že všechny servery obsahují repo soubor Cloudera Manager /etc/yum.repos.d/ pokud sledujete automatickou instalaci pomocí Cloudera Manager.

9. Přihlaste se do služby Cloudera Manager pomocí níže uvedené adresy URL na portu 7180 a použijte výchozí uživatelské jméno a heslo Cloudera Manager.

http://104.211.95.96:7180/cmf/login. Uživatelské jméno: admin. Heslo: admin. 
Přihlášení správce Cloudera
Přihlášení správce Cloudera

10. Jakmile se přihlásíte, uvítá vás uvítací stránka. Zde najdete poznámky k verzi, Nové funkce Cloudera Manager.

Cloudera Manager Vítejte
Cloudera Manager Vítejte

11. Přijměte licenci a pokračujte.

Licence Cloudera Manager
Licence Cloudera Manager

12. Vyberte edici. Ve výchozím nastavení je vybrána zkušební verze, můžeme s tím pokračovat.

Cloudera Manager Edition
Cloudera Manager Edition

13. Nyní postupujte podle kroků instalace klastru. Pokračujte na uvítací stránce.

Instalace clusteru Cloudera Manager
Instalace clusteru Cloudera Manager

14. Pojmenujte Cluster a pokračujte, pojmenovali jsme jako „tecmint”. Můžete definovat 2 typy klastrů. Pokračujeme pravidelným klastrem.

  • Pravidelný klastr: Bude se skládat z uzlů úložiště, výpočetních uzlů a dalších nezbytných služeb.
  • Compute Cluster: Bude se skládat pouze z výpočetních uzlů. K ukládání dat lze použít externí úložiště.
Název clusteru Cloudera Manager
Název clusteru Cloudera Manager

15. Už jsme nainstalovali Agenti manažera Cloudera na všech serverech. Tyto servery najdete v „Aktuálně spravovaní hostitelé”. Pro automatickou instalaci musíte zadat FQDN nebo IP serverů do pole „Noví hostitelé”Možnost a hledat. Cloudera Manager automaticky detekuje hostitele, na které potřebujeme nainstalovat CDH.

Zde klikněte na „Aktuálně spravovaní hostitelé“, Vyberte všechny hostitele výběrem„Název hostitele“A pokračovat.

Aktuálně spravovaní hostitelé
Aktuálně spravovaní hostitelé

16. Vyberte Úložiště - pomocí Balíček je doporučený způsob. Klikněte na ‘Více možností‘Pro konfiguraci úložiště.

Vyberte Úložiště
Vyberte Úložiště

17. Zadejte adresu URL místního úložiště, jak je uvedeno níže. Odstraňte všechna zbývající veřejná úložiště, která ukazují na Web (Úložiště Cloudera).

Nastavení úložiště balíků
Nastavení úložiště balíků

To je CDH URL lokálního úložiště, ve kterém máme mistr 1.

http://104.211.95.96/cloudera-repos/cdh/
Cloudera Repo
Cloudera Repo

18. Po zadání adresy URL úložiště se na této stránce zobrazí pouze dostupné balíky. Pokračujte tímto krokem.

Vyberte Nastavení úložiště
Vyberte Nastavení úložiště

19. Nyní se balíčky stahují, distribuují, rozbalují a aktivují na všech dostupných serverech.

Nainstalujte si balíky
Nainstalujte si balíky

20. Jednou Balíčky CDH jsou aktivovány, zkontrolujte Shluk. Tento krok provede kontrolu stavu clusteru. Zde přeskakujeme a pokračujeme.

Zkontrolujte klastr
Zkontrolujte klastr

Krok 5: Konfigurace klastru

21. Zde musíme vybrat Služby k instalaci do Shluk. Ve výchozím nastavení budou k dispozici některé zabalené kombinace, jdeme s Vlastní služby.

Konfigurace klastru
Konfigurace klastru

22. v Vlastní služby, pouze instalujeme Základní komponenty (HDFS a PŘÍZE) za tímto účelem demo.

Instalovat služby
Instalovat služby

23. Přiřaďte role serveru. Můžeme přizpůsobit podle našich požadavků. Najděte níže uvedenou tabulku, která popisuje doporučené Distribuce rolí pro základní malý klastr s 5 až 20 uzly s vysokou dostupností.

Přiřadit role
Přiřadit role
Distribuce doporučených rolí
Distribuce doporučených rolí

24. Vyberte typ databáze, název hostitele, název databáze, uživatelské jméno a heslo. Protože používáme Embedded PostgreSQL, bude ve výchozím nastavení vybráno. Otestujte připojení, mělo by být úspěšné.

Nastavení databáze
Nastavení databáze

25. Tato stránka zobrazí výchozí konfigurační parametry HDFS a Příze, včetně datových adresářů. Zkontrolujte všechny podrobnosti konfigurace a v případě potřeby můžete provést změny. Pak pokračujte v tomto.

Zkontrolujte parametry konfigurace
Zkontrolujte konfigurační parametry

26. Tato stránka zobrazí podrobnosti oPrvní běh‘Příkaz. Můžete jej rozbalit a zobrazit podrobnosti o spuštěných příkazech. Pokud jsou v clusteru nějaké problémy se sítí nebo oprávněními, tento krok selže. Tento krok obvykle rozhodne o bezproblémové instalaci budovy klastru.

Příkazy prvního spuštění
Příkazy prvního spuštění
Spouštěcí příkazy
Spouštěcí příkazy

27. Po dokončení výše uvedeného kroku klikněte na „Dokončit“K dokončení instalace. Toto je řídicí panel aplikace Cloudera Manager po instalaci CDH.

http://104.211.95.96:7180/cmf/home. 
Řídicí panel Cloudera Manager
Řídicí panel Cloudera Manager
Závěr

Dokončili jsme Cloudera Manager a CDH instalace úspěšně. V Řídicí panel Cloudera Manager, můžete najít předdefinovanou sadu grafů, kde můžete sledovat Cluster CPU, Disk IO atd. Pomocí toho můžeme spravovat celý klastr Cloudera Manager. V následujících článcích uvidíme všechny administrativní operace.

Teachs.ru