Osvědčené postupy pro nasazení serveru Hadoop na CentOS/RHEL 7

V této sérii článků se budeme zabývat celou Budova klastru Cloudera Hadoop budova s Prodejce a Průmyslový doporučené osvědčené postupy.

Část 1: Osvědčené postupy pro nasazení serveru Hadoop na CentOS/RHEL 7
Část 2: Nastavení požadavků Hadoop a zabezpečení
Část 3: Jak nainstalovat a konfigurovat Cloudera Manager na CentOS/RHEL 7
Část 4: Jak nainstalovat CDH a konfigurovat umístění služeb na CentOS/RHEL 7
Část 5: Jak nastavit vysokou dostupnost pro Namenode
Část 6: Jak nastavit vysokou dostupnost pro Resource Manager
Část 7: Jak nainstalovat a konfigurovat podregistr s vysokou dostupností

Část 8: Jak nainstalovat a konfigurovat Sentry (autorizační nástroj)

Část 9: Jak nainstalovat Kerberos (Kerberising the Cluster) pro autentizaci Hadoop

Část 10: Jak vyladit klastr (ladění příze) na CentOS/RHEL 7

OS instalace a provádění OS Prvním krokem k vybudování a. jsou předpoklady Hadoop Cluster. Hadoop může běžet na různých verzích platformy Linux: CentOS, Červená čepice, Ubuntu, Debian, SUSE atd., V produkci v reálném čase většina Klastry Hadoop jsou postaveny na vrcholu RHEL/CentOS, použijeme CentOS 7 pro ukázku v této sérii tutoriálů.

V organizaci lze instalaci operačního systému provést pomocí kickstart. Pokud se jedná o klastr se 3 až 4 uzly, je možná ruční instalace, ale pokud vybudujeme velký klastr s více než 10 uzly, je únavné instalovat OS jeden po druhém. V tomto scénáři nastupuje metoda Kickstart, můžeme pokračovat hromadnou instalací pomocí kickstartu.

Dosažení dobrého výkonu od a Prostředí Hadoop závisí na poskytnutí správného hardwaru a softwaru. Budování výroby Klastr Hadoop zahrnuje mnoho ohledů na hardware a software.

V tomto článku si projdeme různé Benchmarky o instalaci OS a některé doporučené postupy pro nasazení Clusterový server Cloudera Hadoop na CentOS/RHEL 7.

Důležité úvahy a doporučené postupy pro nasazení serveru Hadoop

Níže jsou uvedeny osvědčené postupy pro nastavení nasazení Clusterový server Cloudera Hadoop na CentOS/RHEL 7.

  • Servery Hadoop nevyžadují k sestavení clusteru podnikové standardní servery, ale vyžadují komoditní hardware.
  • V produkčním clusteru se doporučuje mít 8 až 12 datových disků. Podle povahy pracovního vytížení se o tom musíme rozhodnout. Pokud je cluster určen pro aplikace náročné na výpočetní výkon, je nejlepší postup, jak se vyhnout problémům I/O, mít 4 až 6 jednotek.
  • Datové disky by měly být rozděleny například jednotlivě - počínaje od /data01 na /data10.
  • Konfigurace RAID se nedoporučuje pro pracovní uzly, protože samotný Hadoop poskytuje odolnost vůči chybám na datech replikováním bloků do 3 ve výchozím nastavení. Tak JBOD je nejlepší pro pracovní uzly.
  • Pro hlavní servery, RAID 1 je nejlepší praxe.
  • Výchozí souborový systém je zapnutý CentOS/RHEL 7.x je XFS. Hadoop podporuje XFS, ext3 a ext4. Doporučený systém souborů je ext3, protože je testován na dobrý výkon.
  • Všechny servery by měly mít stejnou verzi operačního systému, alespoň stejnou menší verzi.
  • Je doporučeno mít homogenní hardware (všechny pracovní uzly by měly mít stejné hardwarové vlastnosti (RAM, místo na disku a jádro atd.).
  • Podle pracovního zatížení clusteru (Balanced Workload, Compute Intensive, I/O Intensive) a velikosti se plánování prostředků (RAM, CPU) na server liší.

Níže naleznete příklad pro rozdělení disků na servery 24TB úložiště.

Rozdělení disku
Rozdělení disku

Instalace CentOS 7 pro nasazení serveru Hadoop

Věci, které potřebujete vědět před instalací CentOS 7 server pro Server Hadoop.

  • Stačí minimální instalace Servery Hadoop (pracovní uzly), v některých případech lze GUI nainstalovat pouze pro hlavní servery nebo servery pro správu, kde můžeme používat prohlížeče pro webové uživatelské rozhraní nástrojů pro správu.
  • Konfiguraci sítí, názvu hostitele a dalších nastavení souvisejících s OS lze provést po instalaci operačního systému.
  • V reálném čase budou mít prodejci serverů vlastní konzolu pro interakci a správu serverů, například-servery Dell mají iDRAC, což je zařízení, integrované se servery. Pomocí tohoto rozhraní iDRAC můžeme nainstalovat operační systém s bitovou kopií operačního systému v našem místním systému.

V tomto článku jsme nainstalovali OS (CentOS 7) ve virtuálním stroji VMware. Zde nebudeme mít více disků k provádění oddílů. CentOS je podobný RHEL (stejná funkce), takže uvidíme kroky k instalaci CentOS.

1. Začněte tím stahování obrazu CentOS 7.x ISO v místním systému Windows a vyberte jej při spouštění virtuálního počítače. Vyberte ‘Nainstalujte si CentOS 7' jak je znázorněno.

Nainstalujte si CentOS 7 Boot Menu
Nainstalujte si CentOS 7 Boot Menu

2. Vybrat Jazyk, výchozí bude Angličtina, a klikněte pokračovat.

Vyberte jazyk CentOS 7
Vyberte jazyk CentOS 7

3.Výběr softwaru - Vybrat 'Minimální instalace“A klikněte na„Hotovo‘.

Výběr softwaru CentOS
Výběr softwaru CentOS
Minimální instalace CentOS 7
Minimální instalace CentOS 7

4. Nastav heslo root protože nás vyzve k nastavení.

Nastavte heslo root
Nastavte heslo root

5.Cíl instalace - Toto je důležitý krok k opatrnosti. Musíme vybrat disk, na který má být nainstalován OS, pro OS by měl být vybrán vyhrazený disk. Klikněte na ‘Cíl instalace„A vyberte Disk, v reálném čase tam bude více disků, musíme vybrat, vhodnější“sda‘.

Vyberte cíl instalace
Vyberte cíl instalace
Vyberte Disk pro instalaci CentOS
Vyberte Disk pro instalaci CentOS

6.Další možnosti úložiště - Chcete -li konfigurovat dělení související s OS, vyberte druhou možnost (Budu konfigurovat dělení) /var, /var/log, /home, /tmp, /opt, /swap.

Ruční dělení CentOS
Ruční dělení CentOS

7. Jakmile budete hotovi, spusťte instalaci.

Spusťte instalaci CentOS
Spusťte instalaci CentOS
Instalace CentOS 7
Instalace CentOS 7

8. Po dokončení instalace restartujte server.

Instalace CentOS 7 dokončena
Instalace CentOS 7 dokončena

9. Přihlaste se na server a zadejte název hostitele.

# status hostnamectl. # hostnamectl set-hostname tecmint. # status hostnamectl. 
Nastavte Hostname na CentOS
Nastavte Hostname na CentOS
souhrn

V tomto článku jsme prošli kroky instalace operačního systému a doporučené postupy pro dělení oddílů systému souborů. Toto jsou vše obecná vodítka, podle povahy pracovní zátěže se možná budeme muset soustředit na více nuancí, abychom dosáhli nejlepšího výkonu klastru. Plánování klastrů je umění pro Hadoop správce. Budeme se ponořit do hloubky Předpoklady na úrovni OS a zabezpečení Hardening v dalším článku.

Teachs.ru