CDH installimine ja teenusepaigutuste seadistamine CentOS/RHEL -ile 7

instagram story viewer

Varasemas artiklis oleme selgitanud,. Cloudera Manageri installimine, sellest artiklist saate teada, kuidas installida ja seadistada CDH (Cloudera Distribution Hadoop) sisse RHEL/CentOS 7.

CDH paki paigaldamise ajal peame tagama Cloudera juhataja ja CDH ühilduvus. Cloudera versioon koosneb kolmest osast - ... Cloudera Manageri põhi- ja kõrvalversioon peab olema sama mis CDH põhi- ja kõrvalversioon.

Näiteks kasutame Cloudera Manager 6.3.1 ja CDH 6.3.2. Siin 6 on suur ja 3 on väiksem versioon. Ühilduvusprobleemide vältimiseks peavad suured ja väikesed olema samad.

Nõuded

  • Head tavad Hadoop -serveri juurutamiseks CentOS/RHEL 7 -s - 1. osa
  • Hadoopi eeltingimuste seadistamine ja turvakõvenemine-2. osa
  • Cloudera Manageri installimine ja seadistamine CentOS/RHEL 7 - 3. osa

CDH installimiseks kasutame allpool kahte sõlme. Oleme juba Cloudera Manageri installinud meister 1, kasutame ka meister 1 reposerverina.

master1.tecmint.com. töötaja1.tecmint.com. 

Samm: laadige CDH -pakid alla serveris

1. Esiteks ühendage meister 1 server ja laadige alla CDH pakid failid kaustas /var/www/html/cloudera-repos/cdh kataloogi. Peame alla laadima allpool nimetatud 3 faili, mis peaksid ühilduma RHEL/CentOS 7.

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel. CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1. manifest.json. 

2. Enne nende failide allalaadimist looge kindlasti cdh kataloogi all /var/www/html/cloudera-repos/ asukoht.

$ cd/var/www/html/cloudera-repos/ $ sudo mkdir cdh. $ cd cdh.

3. Seejärel laadige alla ülaltoodud 3 faili, kasutades järgmist wget käsk.

$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json 

2. toiming: seadistage Cloudera Manager Repo töötajate klientidele

4. Nüüd ühendage tööline serverid ja kopeerige repomaterjal (cloudera-manager.repo) repo serverist (meister 1) kogu ülejäänud töötaja serverisse. See repomaterjal tagab serveritele, et installimise ajal laaditakse reposerverist alla kõik vajalikud pakid ja RPM -id.

kass> /etc/yum.repos.d/cloudera-manager.repo <

5. Kui repo on lisatud, loetlege lubatud hoidlad, et veenduda cloudera-manager repo on lubatud.

$ yum repolist. 
Kontrollige lubatud sisseseadeid
Kontrollige lubatud sisseseadeid

Samm: installige Cloudera Manageri deemonid ja agent töötajate serveritesse

6. Nüüd peame installima cloudera-manager-deemons ja cloudera-manager-agent kõigis ülejäänud serverites.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent. 
Installige Cloudera Manageri deemonid ja agent
Installige Cloudera Manageri deemonid ja agent

7. Järgmisena peate konfigureerima Cloudera juhataja agent teatama Cloudera juhataja server.

$ sudo vi /etc/cloudera-scm-agent/config.ini. 

Asendage localhost koos Cloudera juhataja serveri IP -aadress.

Seadistage Cloudera Manager
Seadistage Cloudera Manager

8. Alusta Cloudera juhataja Agent ja kontrollige olekut.

$ sudo systemctl käivitage cloudera-scm-agent. $ sudo systemctl olek cloudera-scm-agent. 
Kontrollige Cloudera Manageri olekut
Kontrollige Cloudera Manageri olekut

Samm: installige ja seadistage CDH

Meil on CDH pakid sisse meister 1 - repo server. Veenduge, et kõikides serverites oleks Cloudera Manageri repofail /etc/yum.repos.d/ kui järgite automaatset installimist kasutades Cloudera juhataja.

9. Logige Cloudera Managerisse sisse, kasutades porti allolevat URL -i 7180 ja kasutage vaikimisi kasutajanime ja parooli Cloudera juhataja.

http://104.211.95.96:7180/cmf/login. Kasutajanimi: admin. Parool: admin. 
Cloudera Manageri sisselogimine
Cloudera Manageri sisselogimine

10. Kui olete sisse loginud, tervitatakse teid tervituslehega. Siit leiate väljalaskemärkmed, Cloudera Manageri uued funktsioonid.

Cloudera juhataja Tere tulemast
Cloudera juhataja Tere tulemast

11. Võtke litsents vastu ja jätkake.

Cloudera juhataja litsents
Cloudera juhataja litsents

12. Valige väljaanne. Prooviversioon on vaikimisi valitud, saame sellega jätkata.

Cloudera Manager Edition
Cloudera Manager Edition

13. Nüüd järgige klastri installimise samme. Jätkake tervituslehte.

Cloudera Manageri klastri installimine
Cloudera Manageri klastri installimine

14. Pange klastrile nimi ja jätkake, nimetasime "tecmint”. Saate määratleda kahte tüüpi klastreid. Jätkame tavalise klastriga.

  • Tavaline klaster: Koosneb salvestussõlmedest, arvutussõlmedest ja muudest vajalikest teenustest.
  • Arvutage klaster: Koosneb ainult arvutussõlmedest. Andmete salvestamiseks saab kasutada välist salvestusruumi.
Cloudera juhataja klastri nimi
Cloudera juhataja klastri nimi

15. Oleme juba installinud Cloudera mänedžeri esindajad kõigis serverites. Need serverid leiate aadressilt "Praegu hallatud hostid”. Automaatse installimise jaoks peate sisestama serverite FQDN või IPUued võõrustajad”Valik ja otsi. Cloudera Manager tuvastab automaatselt hosti, kuhu peame CDH installima.

Siin klõpsake nuppu "Praegu hallatud hostid", Valige kõik hostid, valides"Hostinimi'Ja jätkake.

Praegu hallatud hostid
Praegu hallatud hostid

16. Valige hoidla - kasutades Pakk on soovitatav viis. Klõpsake nuppu 'Veel valikuid'Hoidla seadistamiseks.

Valige hoidla
Valige hoidla

17. Sisestage kohaliku hoidla URL, nagu allpool mainitud. Eemaldage kõik ülejäänud avalikud hoidlad, mis osutavad veebile (Cloudera hoidlad).

Pakihoidla seaded
Pakihoidla seaded

See on CDH kohaliku hoidla URL, mis meil on meister 1.

http://104.211.95.96/cloudera-repos/cdh/
Cloudera Repo
Cloudera Repo

18. Kui hoidla URL on sisestatud, kuvatakse sellel lehel ainult saadaolevad pakid. Jätkake seda sammu.

Valige hoidla sätted
Valige hoidla sätted

19. Nüüd laaditakse pakke alla, levitatakse, pakitakse lahti ja aktiveeritakse kõigis saadaolevates serverites.

Paigaldage pakid
Paigaldage pakid

20. Kord CDH pakid on aktiveeritud, kontrollige Klaster. See samm viib läbi klastri tervisekontrolli. Siin me jätame vahele ja jätkame.

Klastri kontrollimine
Klastri kontrollimine

Samm: klastri seadistamine

21. Siin peame valima Teenused sisse paigaldada Klaster. Mõned pakitud kombinatsioonid on vaikimisi saadaval, jätkame Kohandatud teenused.

Klastri seadistamine
Klastri seadistamine

22. Sisse Kohandatud teenused, me installime ainult Põhikomponendid (HDFS ja LÕNG) demo eesmärgil.

Installige teenused
Installige teenused

23. Määrake rollid serverile. Saame kohandada vastavalt meie nõudmistele. Leidke allolev tabel, mis kirjeldab soovitatavat Rollide jaotus põhilise väikese klastri jaoks, millel on 5–20 sõlme ja kõrge kättesaadavus.

Rollide määramine
Rollide määramine
Soovitatavad rollijaotused
Soovitatavad rollijaotused

24. Valige andmebaasi tüüp, hostinimi, DB nimi, kasutajanimi ja parool. Kuna kasutame sisseehitatud PostgreSQL -i, valitakse see vaikimisi. Testige ühendust, see peaks olema edukas.

Seadistage andmebaas
Seadistage andmebaas

25. Sellel lehel kuvatakse HDFS ja Lõng, sealhulgas andmekataloogid. Vaadake üle kõik konfiguratsiooni üksikasjad ja saate vajadusel muudatusi teha. Seejärel jätkake sellega.

Vaadake üle konfiguratsiooniparameetrid
Vaadake üle konfiguratsiooniparameetrid

26. Sellel lehel kuvatakse üksikasjadEsimene jooks’Käsk. Saate seda laiendada, et näha käskude üksikasju. Kui klastris on võrgu- või lubaprobleeme, ebaõnnestub see samm. Tavaliselt otsustab see samm klastrihoone sujuva paigaldamise.

Esimese käivitamise käsud
Esimese käivitamise käsud
Käsklused
Käsklused

27. Kui ülaltoodud samm on lõpule viidud, klõpsake nuppuLõpetama'Installimise lõpuleviimiseks. See on Cloudera Manageri armatuurlaud pärast CDH installimist.

http://104.211.95.96:7180/cmf/home. 
Cloudera juhataja armatuurlaud
Cloudera juhataja armatuurlaud
Järeldus

Oleme lõpetanud Cloudera juhataja ja CDH installimine edukalt. Aastal Cloudera juhataja armatuurlaud, leiate eelnevalt määratletud diagrammide komplekti, kus saate jälgida klastri protsessorit, ketta IO-d jne. Selle abil saame hallata kogu klastrit Cloudera juhataja. Kõiki haldustoiminguid näeme tulevastes artiklites.

Teachs.ru