Jak nastavit vysokou dostupnost pro Namenode

Hadoop má dvě základní součásti, které jsou HDFS a PŘÍZE. HDFS je pro ukládání Data, PŘÍZE je pro zpracování Data. HDFS je Distribuovaný souborový systém Hadoop, má to Namenode tak jako Hlavní služba a Datanode tak jako Služba otroků.

Namenode je kritickou součástí Hadoop což je ukládání metadat dat uložených v HDFS. Pokud Namenode jde dolů, celý klastr nebude přístupný, je to jediný bod selhání (SPOF). Produkční prostředí tedy bude mít Vysoká dostupnost Namenode aby se zabránilo výpadku výroby, pokud existuje Namenode klesá z různých důvodů, jako je havárie stroje, plánovaná údržba atd.

Hadoop 2.x poskytuje proveditelnost, kde můžeme mít dva Namenodes, jeden bude Aktivní Namenode a další bude Pohotovostní režim Namenode.

  • Aktivní Namenode - Spravuje všechny klientské operace.
  • Pohotovostní režim Namenode - Je to nadbytečné Aktivní Namenode. Li Aktivní NN jde tedy dolů Pohotovostní režim N. převezme veškerou odpovědnost Aktivní NN.

Povolení Vysoká dostupnost Namenode vyžaduje Zookeeper což je povinné pro automatické převzetí služeb při selhání. ZKFC (Zookeeper Failover Controller) je Zookeeper klient, který slouží k udržování stavu Namenode.

Požadavky

  • Osvědčené postupy pro nasazení serveru Hadoop na CentOS/RHEL 7 - část 1
  • Nastavení požadavků Hadoop a zabezpečení zabezpečení-část 2
  • Jak nainstalovat a konfigurovat Cloudera Manager na CentOS/RHEL 7 - část 3
  • Jak nainstalovat CDH a konfigurovat umístění služeb na CentOS/RHEL 7 - část 4

V tomto článku se chystáme povolit Vysoká dostupnost Namenode v Cloudera Manager.

Krok 1: Instalace Zookeeper

1. Přihlásit se do Cloudera Manager.

http://Your-IP: 7180/cmf/domů. 
Řídicí panel Cloudera Manager
Řídicí panel Cloudera Manager

2. V Shluk (tecmint) výzva k akci, vyberte „Přidat službu”.

Přidejte službu do Cloudera Manager
Přidejte službu do Cloudera Manager

3. Vyberte službu „Zookeeper”.

Služba Zookeeper
Služba Zookeeper

4. Vyberte servery, kde budeme mít Zookeeper nainstalován.

Přidejte službu Zookeeper
Přidejte službu Zookeeper

5. Budeme mít 3 Zookeepers tvořit Zooreeper Quorum. Vyberte servery, jak je uvedeno níže.

Vytvořte Zookeeper kvorum
Vytvořte Zookeeper kvorum

6. Konfigurujte Zookeeper vlastnosti, zde máme výchozí. V reálném čase musíte mít oddělené adresáře/přípojné body pro ukládání Zookeeper data. v Část 1, vysvětlili jsme o konfigurace úložiště pro každou službu. Klikněte na ‘pokračovat' pokračovat.

Konfigurujte vlastnosti Zookeeper
Konfigurujte vlastnosti Zookeeper

7. Instalace začne, jakmile bude nainstalována Zookeeper bude spuštěno. Operace na pozadí si můžete prohlédnout zde.

Instalace služby Zookeeper
Instalace služby Zookeeper

8. Po úspěšném dokončení výše uvedeného kroku bude stav „Hotovo’.

Zookeeper nainstalován
Zookeeper nainstalován

9. Nyní, Zookeeper je úspěšně nainstalován a konfigurován. Klikněte na ‘Dokončit’.

Zookeeper nakonfigurován
Zookeeper nakonfigurován

10. Můžete zobrazit Zookeeper služba na Cloudera Manager Přístrojová deska.

Zobrazit službu Zookeeper
Zobrazit službu Zookeeper

Krok 2: Povolení vysoké dostupnosti Namenode

11. Jít do Cloudera Manager –> HDFS –> Akce –> Povolit vysokou dostupnost.

Povolení vysoké dostupnosti
Povolení vysoké dostupnosti

12. Zadejte Název služby Nameservice tak jako "jmenná služba 1” - Toto je společný obor názvů pro aktivní i pohotovostní Namenode.

Přidejte název služby Nameservice
Přidejte název služby Nameservice

13. Vybrat Druhý Namenode kde budeme mít pohotovostní režim Namenode.

Vyberte druhý Namenode
Vyberte druhý Namenode

14. Tady vybíráme master2.tecmint.com do pohotovostního režimu Namenode.

Vyberte Host pro Namenode
Vyberte Host pro Namenode

15. Vybrat Časopis uzly, to jsou povinné služby pro synchronizaci Aktivní a pohotovostní režim Namenode.

Vyberte Jouranal Nodes
Vyberte Jouranal Nodes

16. Děláme Quorum Journal umístěním Časopis uzel na 3 serverech, jak je uvedeno níže. Vyberte 3 servery a klikněte na „OK“.

Vytvořit deník kvora
Vytvořte deník kvora

17. Klikněte na ‘Pokračovat' pokračovat.

Přiřaďte role deníku kvora
Přiřaďte role deníku kvora

18. Zadejte Uzel deníku cesta k adresáři. Jen musíme zmínit, že cesta při instalaci tohoto adresáře bude automaticky vytvořena samotnou službou. Zmiňujeme jako '/Jn'. Klikněte na ‘Pokračovat' pokračovat.

Přidejte cestu uzlu deníku
Přidejte cestu uzlu deníku

19. Začne to povolovat Vysoká dostupnost.

Povolení vysoké dostupnosti
Povolení vysoké dostupnosti

20. Po dokončení všech procesů na pozadí dostaneme „Hotovo‘Stav.

Dokončena vysoká dostupnost
Dokončena vysoká dostupnost

21. Nakonec dostaneme oznámení „Úspěšně povolena vysoká dostupnost’. Klikněte na ‘Dokončit’.

Vysoká dostupnost povolena
Vysoká dostupnost povolena

22. Ověřte Aktivní a Pohotovostní režim Namenode tím, že jde do Cloudera Manager –> HDFS –> Instance.

Ověřte vysokou dostupnost
Ověřte vysokou dostupnost

23. Tady můžete dva Namenodes, jeden bude v ‘Aktivní‘Stát a další bude v‘Pohotovostní' Stát.

Ověřte Namenodes
Ověřte Namenodes
Závěr

V tomto článku jsme prošli procesem krok za krokem, který povolíme Vysoká dostupnost Namenode. Důrazně se doporučuje mít Vysoká dostupnost Namenode ve všech klastrech v prostředí v reálném čase. Pošlete prosím své pochybnosti, pokud během tohoto procesu narazíte na nějakou chybu. Uvidíme Vysoká dostupnost Resource Manageru v dalším článku.

Teachs.ru