Jak nainstalovat a konfigurovat podregistr s vysokou dostupností - část 7

Úl je Datový sklad model v Hadoop Eko-systém. Může fungovat jako nástroj ETL nad Hadoop. Povolení vysoké dostupnosti (HA) na Hive není podobné jako v Master Services jako Namenode a Správce zdrojů.

V něm nedojde k automatickému převzetí služeb při selhání Úl (Hiveserver2). Jestli nějaký Hiveserver2 (HS2) selže, spuštění úloh na něm se nezdařilo HS2 selže. Musíme úlohu znovu odeslat, aby mohla být spuštěna na jiném HiveServer2. Takže povolení HA na HS2 není nic jiného, ​​než zvýšit počet HS2 komponenty v Shluk.

V tomto článku uvidíme kroky k instalaci a povolení Vysoká dostupnost z Úl.

Požadavky

  • Osvědčené postupy pro nasazení serveru Hadoop na CentOS/RHEL 7 - část 1
  • Nastavení požadavků Hadoop a zabezpečení zabezpečení-část 2
  • Jak nainstalovat a konfigurovat Cloudera Manager na CentOS/RHEL 7 - část 3
  • Jak nainstalovat CDH a konfigurovat umístění služeb na CentOS/RHEL 7 - část 4
  • Jak nastavit vysokou dostupnost pro Namenode - část 5
  • Jak nastavit vysokou dostupnost pro Resource Manager - část 6

Začněme…

Instalace a konfigurace úlu

1. Přihlásit se do Cloudera Manager na níže uvedené adrese URL a přejděte na Cloudera Manager–>Přidat službu.

http://13.233.129.39:7180/cmf/home. 
Přidejte službu do Cloudera Manager
Přidejte službu do Cloudera Manager

2. Vyberte službu „Úl‘.

Vyberte službu Úl
Vyberte službu Úl

3. Přiřaďte služby na uzlech.

  • Brána - Je to klientská služba, kde má uživatel přístup do Úlu. Obvykle bude tato služba umístěna v Okraj uzly vyhrazené uživatelům.
  • Úl Metastore - Je to centrální úložiště pro ukládání metadat Hive.
  • Server WebHCat - Je to webové API pro HCatalog a další služby Hadoop.
  • Hiveserver2 - Je to rozhraní klientů pro provádění dotazů na Hive.

Po výběru serverů klikněte na „Pokračovat' pokračovat.

Přiřadit službu jako uzly
Přiřadit službu jako uzly

4. Hive Metastore potřebuje podkladovou databázi pro ukládání metadat. Zde používáme výchozí PostgreSQL databáze, která je integrována s CDH.

Níže uvedené podrobnosti o databázi se zadají automaticky, „Test připojení‘Bude přeskočeno, protože zmíněná databáze bude vytvořena za běhu. V reálném čase musíme vytvořit databázi v externí databázi a otestovat připojení, abychom mohli pokračovat dále. Až budete hotovi, klikněte naPokračovat’.

Nastavení databáze
Nastavení databáze

5. Konfigurujte Úlový sklad adresář, /user/hive/warehouse je výchozí adresářová cesta pro ukládání tabulek Hive. Klikněte na ‘Pokračovat’.

Vyberte adresář skladu Hive
Vyberte adresář skladu Hive

6. Zahájí se instalace Hive.

Průběh instalace úlu
Průběh instalace úlu

7. Po dokončení instalace můžete získat „Hotovo‘Stav. Klikněte na ‘Pokračovat“Postupovat dále.

Instalace úlu dokončena
Instalace úlu dokončena

8. Úl instalace a konfigurace byla úspěšně dokončena. Klikněte na ‘Dokončit„K dokončení instalačního postupu.

Dokončete instalaci úlu
Dokončete instalaci úlu

9. Můžete vidět Úl přidána služba Shluk přes Řídicí panel Cloudera Manager.

Přidána služba úlu
Přidána služba úlu

10. Můžete zobrazit Hiveserver2 v Instance z Úl. Přidali jsme Hiveserver2 v mistr 1.

Cloudera Manager –> Úl –> Instance –> Hiveserver2.

Zobrazit instance Hiveserver2
Zobrazit instance Hiveserver2

Povolení vysoké dostupnosti v úlu

11. Dále přidejte roli Úlu tak, že přejdete na Cloudera Manager –> Úl –> Akce –> Přidat roli Instance.

Přidat instanci role Hive
Přidat instanci role Hive

12. Vyberte servery, na které chcete umístit další Hiveserver2. Můžete přidat více než dvě, neexistuje žádný limit. Zde přidáváme další Hiveserver2 v mistr 2.

Vyberte Server pro podregistr
Vyberte Server pro podregistr
Vyberte hostitelský server
Vyberte hostitelský server

13. Po výběru serveru klikněte na „Pokračovat’.

Server přidán
Server přidán

14. A Hiverserver2 bude přidán do souboru Úly instance, musíte začít tím, že přejdete na Cloudera Manager –> Úl –> Instance –> (Vyberte Hiveserver2 nově přidáno) -> Akce pro vybrané –> Start.

Vyberte Úlový server
Vyberte Úlový server
Spusťte Hive Server
Spusťte Hive Server
Spusťte server Hive
Spusťte server Hive

15. Jednou Hiveserver2 začal na mistr 2získáte status „Hotovo’. Klikněte Zavřít.

Stav dokončen
Stav dokončen

16. Můžete zobrazit oba Hiveserver2s běží.

Ověřte stav serverů Hive
Ověřte stav serverů Hive

Ověření dostupnosti podregistru

Můžeme připojit Hiveserver2 přes beeline, což je tenký klient a příkazový řádek. K navázání připojení používá ovladač JDBC.

17. Přihlaste se na server, kde Úlová brána běží.

[[chráněno emailem] ~] $ beeline. 
Připojte se k Hiveserver2
Připojte se k Hiveserver2

18. Zadejte JDBC připojovací řetězec pro připojení Hiveserver2. V této souvislosti se tětiva zmiňujeme se o Hiverserver2 (mistr 2) s výchozím číslem portu 10000. Tento připojovací řetězec se připojí pouze k Hiveserver2 který běží dál mistr 2.

beeline>! connect "jdbc: hive2: //master1.tecmint.com: 10 000"
Připojovací řetězec JDBC
Připojovací řetězec JDBC

19. Spusťte ukázkový dotaz.

0: jdbc: hive2: //master1.tecmint.com: 10 000> zobrazit databáze; 
Spusťte ukázkový dotaz
Spusťte ukázkový dotaz

Toto je výchozí databáze, která je vestavěná.

20. K ukončení relace Hive použijte níže uvedený příkaz.

0: jdbc: hive2: //master1.tecmint.com: 10000>! Ukončete. 
Ukončete relaci Hive
Ukončete relaci Hive

21. K připojení můžete použít stejný způsob Hiveserver2 běží dál mistr 2.

beeline>! connect "jdbc: hive2: //master2.tecmint.com: 10 000"
Připojte se k Hiveserveru
Připojte se k serveru Hive

23. Můžeme připojit Hiveserver2 v Zookeeper Discovery režimu. V této metodě nemusíme zmiňovat Hiveserver2 v připojovacím řetězci místo toho používáme Zookeeper zjistit dostupné Hiveserver2.

Zde můžeme k vyrovnání zátěže mezi dostupnými použít nástroj pro vyrovnávání zatížení od jiného výrobce Hiverserver2. Níže uvedenou konfiguraci je třeba povolit Režim zjišťování Zookeeper tím, že jde do Cloudera Manager –> Úl –> Konfigurace.

Povolte režim zjišťování Zookeeper
Povolte režim zjišťování Zookeeper

24. Dále prohledejte nemovitost „HiveServer2 Advanced Configuration Snippet“A klikněte na + symbol pro přidání níže uvedené vlastnosti.

Název: hive.server2.support.dynamic.service.discovery. Hodnota: pravda. Popis: 
HiveServer2 Advanced Configuration Snippet
HiveServer2 Advanced Configuration Snippet

25. Po zadání nemovitosti klikněte na „Uložit změny’.

Přidat vlastnost
Přidat vlastnost

26. Když jsme provedli změny v konfiguraci, je třeba restartovat příslušné služby kliknutím na oranžový barevný symbol a restartovat služby.

Restartujte služby
Restartujte služby

27. Klikněte na ‘Restartujte Stale‘Služby.

Restartujte staré služby
Restartujte staré služby

28. K dispozici jsou dvě možnosti. Pokud je cluster v živé produkci, musíme upřednostnit postupný restart, abychom minimalizovali výpadek. Když nově instalujeme, můžeme zvolit druhou možnost „Znovu nasaďte konfiguraci klienta“A klikněte na„Restartovat nyní’.

Znovu nasaďte konfiguraci klienta
Znovu nasaďte konfiguraci klienta

29. Jakmile bude restart úspěšně dokončen, získáte stav „Hotovo’. Klikněte na ‘Dokončit“K dokončení procesu.

Dokončete postup
Dokončete postup

30. Nyní připojíme Hiveserver2 použitím Zookeeper Discovery režimu. V JDBC připojení, řetězec, který potřebujeme použít Zookeeper servery s číslem portu 2081. Sbírejte servery Zookeeper tak, že přejdete na Cloudera Manager –> Zookeeper –> Instance -> (Poznamenejte si názvy serverů).

Servery Zookeeper
Servery Zookeeper

Toto jsou tři servery se Zookeeperem, číslo portu je 2181.

master1.tecmint.com: 2181. master2.tecmint.com: 2181. worker1.tecmint.com: 2181. 

31. Nyní se pusťte do beeline.

[[chráněno emailem] ~] $ beeline. 
Připojte se k Beeline
Připojte se k Beeline

32. Zadejte JDBC připojovací řetězec, jak je uvedeno níže. Musíme zmínit Režim zjišťování služby a Jmenný prostor Zookeeper. ‘hiveserver2‘Je výchozí obor názvů Hiveserver2.

beeline>! connect "jdbc: hive2: //master1.tecmint.com: 2181, master2.tecmint.com: 2181, worker1.tecmint.com: 2181/; serviceDiscoveryMode = zookeeper; zookeeperNamespace = hiveserver2 "
Zadejte připojovací řetězec JDBC
Zadejte připojovací řetězec JDBC

33. Nyní je relace připojena k Hiveserver2 běží dál mistr 1. Spusťte ukázkový dotaz k ověření. K vytvoření databáze použijte níže uvedený příkaz.

0: jdbc: hive2: //master1.tecmint.com: 2181, stožár> vytvořit databázi tecmint; 
Vytvořit databázi
Vytvořit databázi

34. K výpisu databáze použijte níže uvedený příkaz.

0: jdbc: hive2: //master1.tecmint.com: 2181, stožár> zobrazit databáze; 
Seznam databáze
Seznam databáze

35. Nyní ověříme vysokou dostupnost v Režim zjišťování Zookeeper. Jít do Cloudera Manager a zastavit Hiveserver2 na mistr 1 které jsme testovali výše.

Cloudera Manager –> Úl –> Instance -> (vyberte Hiveserver2 na mistr 1) –> Akce pro vybrané –> Stop.

Vyberte Úlový server
Vyberte Úlový server
Zastavte server Hive
Zastavte server Hive

36. Klikněte na ‘Stop’. Po zastavení získáte stav „Hotovo’. Ověřte Hiveserver2 na mistr 1 navigací do Úl –> Instance.

Zastavte Hiveserver
Zastavte server Hive
Ověřte Hive Server
Ověřte Hive Server

37. Dostat se do beeline a připojte Hiveserver2 pomocí stejného JDBC připojovací řetězec s Režim zjišťování Zookeeper jak jsme to udělali ve výše uvedených krocích.

[[chráněno emailem] ~] $ beeline beeline>! connect "jdbc: hive2: //master1.tecmint.com: 2181, master2.tecmint.com: 2181, worker1.tecmint.com: 2181/; serviceDiscoveryMode = zookeeper; zookeeperNamespace = hiveserver2 "
Připojte Hiveserver2
Připojte Hiveserver2

Nyní budete připojeni k Hiveserver2 běží dál mistr 2.

38. Ověřit pomocí ukázkového dotazu.

0: jdbc: hive2: //master1.tecmint.com: 2181, stožár> zobrazit databáze; 
Ověřit ukázkový dotaz
Ověřit ukázkový dotaz
Závěr

V tomto článku jsme prošli podrobnými kroky, abychom měli Úlový datový sklad model v našem Shluk s Vysoká dostupnost. V produkčním prostředí v reálném čase více než tři Hiveserver2 bude umístěn s Režim zjišťování Zookeeper povoleno.

Tady, všechny Hiveserver2’s se registrují u Zookeeper pod společným Jmenný prostor. Zookeeper dynamicky zjistí dostupné Hiveserver2 a naváže relaci Hive.

Teachs.ru