Head tavad Hadoop -serveri juurutamiseks CentOS/RHEL -is 7

instagram story viewer

Selles artiklisarjas käsitleme kogu Cloudera Hadoopi klastri hoone ehitamine koos Müüja ja Tööstuslik soovitatud parimaid tavasid.

1. osa: Head tavad Hadoop -serveri juurutamiseks CentOS/RHEL -is 7
2. osa: Hadoopi eeltingimuste seadistamine ja turvakõvenemine
3. osa: Cloudera Manageri installimine ja seadistamine CentOS/RHEL 7 -s
4. osa: CDH installimine ja teenusepaigutuste seadistamine CentOS/RHEL -ile 7
5. osa: Namenode'i kõrge kättesaadavuse seadistamine
6. osa: Ressursside halduri kõrge kättesaadavuse seadistamine
7. osa: Kuidas paigaldada ja konfigureerida taru suure kättesaadavusega

8. osa: Sentry installimine ja seadistamine (autoriseerimistööriist)

9. osa: Kuidas installida Kerberos (klastri kerberiseerimine) Hadoopi autentimiseks

10. osa: Kuidas häälestada klastrit (lõnga häälestamine) CentOS/RHEL 7 -s

OS paigaldamine ja tegemine OS tase Eeltingimused on esimesed sammud a Hadoopi klaster. Hadoop saab töötada Linuxi platvormi erineva maitsega: CentOS, Punane müts, Ubuntu, Debian, SUSE jne. Reaalajas tootmisel on enamik Hadoopi klastrid on peale ehitatud RHEL/CentOS, kasutame CentOS 7 selle õpetuste seeria tutvustamiseks.

Organisatsioonis saab OS -i installida kasutades kickstart. Kui see on 3-4 sõlme klaster, on käsitsi installimine võimalik, kuid kui ehitame suure klastri, milles on rohkem kui 10 sõlme, on OS -i ükshaaval installimine tüütu. Selle stsenaariumi korral tuleb pildile Kickstarti meetod, me saame jätkata masspaigaldamist kickstarti abil.

Hea tulemuse saavutamine a Hadoopi keskkond sõltub õige riistvara ja tarkvara hankimisest. Niisiis, lavastuse ehitamine Hadoopi klaster hõlmab palju kaalumist riistvara ja tarkvara osas.

Selles artiklis vaatame läbi erinevaid OS -i installimise võrdlusuuringuid ja mõningaid häid tavasid juurutamiseks Cloudera Hadoopi klastriserver peal CentOS/RHEL 7.

Hadoop -serveri juurutamise oluline kaalutlus ja parimad tavad

Allpool on toodud juurutamise seadistamise parimad tavad Cloudera Hadoopi klastriserver peal CentOS/RHEL 7.

  • Hadoop -serverid ei vaja klastri ehitamiseks ettevõtte standardseid servereid, vaid kauba riistvara.
  • Tootmisklastris on soovitatav omada 8–12 andmeketast. Vastavalt töökoormuse olemusele peame selle üle otsustama. Kui klaster on arvutusmahukate rakenduste jaoks, on 4–6 draivi omamine I/O probleemide vältimiseks parim tava.
  • Andmekettad tuleks jaotada eraldi, näiteks alates /data01 et /data10.
  • RAID-konfiguratsiooni ei soovitata töötaja sõlmedele, sest Hadoop ise pakub andmetele tõrketaluvust, kopeerides plokid vaikimisi kolmeks. Niisiis JBOD sobib kõige paremini töötajate sõlmedele.
  • Põhiserverite jaoks, RAID 1 on parim praktika.
  • Vaikimisi failisüsteem on sisse lülitatud CentOS/RHEL 7.x on XFS. Hadoop toetab XFS, ext3 ja ext4. Soovitatav failisüsteem on ext3, kuna selle toimivust on testitud.
  • Kõigil serveritel peaks olema sama OS-i versioon, vähemalt sama väike väljalase.
  • Parim tava on homogeenne riistvara (kõigil töötajate sõlmedel peavad olema samad riistvara omadused (RAM, kettaruum ja tuum jne).
  • Vastavalt klastri töökoormusele (tasakaalustatud töökoormus, arvutusintensiivne, I/O intensiivne) ja suurusele sõltub ressursside (RAM, protsessor) planeerimine serverite kohta erinevalt.

Siit leiate näite 24TB salvestusruumi serverite ketaste jaotamiseks.

Ketta jaotamine
Ketta jaotamine

CentOS 7 installimine Hadoopi serveri juurutamiseks

Asjad, mida peate enne installimist teadma CentOS 7 server jaoks Hadoop server.

  • Minimaalsest paigaldamisest piisab Hadoop serverid (töötaja noogutab), mõnel juhul saab GUI -d installida ainult põhiserveritele või haldusserveritele, kus saame kasutada haldustööriistade veebikasutajate jaoks brausereid.
  • Võrkude, hostinime ja muude OS-iga seotud sätete seadistamist saab teha pärast OS-i installimist.
  • Reaalajas on serverimüüjatel näiteks oma konsool serveritega suhtlemiseks ja haldamiseks-Delli serveritel on iDRAC, mis on serveritega varustatud seade. Selle iDRAC -liidese abil saame oma kohalikku süsteemi installida OS -i, millel on OS -i pilt.

Selles artiklis oleme installinud OS (CentOS 7) VMware virtuaalmasinas. Siin ei ole meil partitsioonide tegemiseks mitu ketast. CentOS on sarnane RHEL (sama funktsionaalsus), seega näeme installimise samme CentOS.

1. Alustage laadides alla CentOS 7.x ISO -pildi oma kohalikus Windowsi süsteemis ja valige see virtuaalmasina käivitamisel. Valige 'Installige CentOS 7' nagu näidatud.

Installige CentOS 7 alglaadimismenüü
Installige CentOS 7 alglaadimismenüü

2. Valige Keel, vaikimisi saab olema Inglise, ja klõpsake jätkata.

Valige CentOS 7 keel
Valige CentOS 7 keel

3.Tarkvara valik - Valige "Minimaalne paigaldus"Ja klõpsake"Valmis‘.

CentOS tarkvara valik
CentOS tarkvara valik
CentOS 7 minimaalne installimine
CentOS 7 minimaalne installimine

4. Määrake juurparool kuna see sunnib meid seadma.

Määra juurparool
Määra juurparool

5.Paigaldamise sihtkoht - See on oluline samm, et olla ettevaatlik. Peame valima ketta, kuhu OS tuleb installida, OS -i jaoks tuleks valida spetsiaalne ketas. Klõpsake 'Paigaldamise sihtkoht"Ja valige ketas, reaalajas on seal mitu ketast, peame valima, eelistatavad"sda‘.

Valige Installimiskoht
Valige Installimiskoht
CentOS -i installimiseks valige Disk
CentOS -i installimiseks valige Disk

6.Muud salvestusvõimalused - Valige teine ​​suvand (konfigureerin partitsioneerimist), et konfigureerida OS -iga seotud jaotust nagu /var, /var/log, /home, /tmp, /opt, /swap.

CentOS -i käsitsi jaotamine
CentOS -i käsitsi jaotamine

7. Kui olete valmis, alustage installimist.

Alustage CentOS -i installimist
Alustage CentOS -i installimist
CentOS 7 installimine
CentOS 7 installimine

8. Kui installimine on lõpule viidud, taaskäivitage server.

CentOS 7 installimine on lõpetatud
CentOS 7 installimine on lõpetatud

9. Logige serverisse sisse ja määrake hostinimi.

# hostnamectl olek. # hostnamectl set-hostname tecmint. # hostnamectl olek. 
Määrake CentOS -is hostinimi
Määrake CentOS -is hostinimi
Kokkuvõte

Selles artiklis oleme läbinud operatsioonisüsteemi installimise etapid ja failisüsteemide jaotamise parimad tavad. Need kõik on üldised suunised, vastavalt töökoormuse olemusele peame võib -olla keskenduma rohkematele nüanssidele, et saavutada klastri parim jõudlus. Klastri planeerimine on kunst Hadoop administraator. Me sukeldume sügavalt OS-i taseme eeltingimused ja turvalisus Karastamine järgmises artiklis.

Teachs.ru