CDH installimine ja teenusepaigutuste seadistamine CentOS/RHEL -ile 7

Varasemas artiklis oleme selgitanud,. Cloudera Manageri installimine, sellest artiklist saate teada, kuidas installida ja seadistada CDH (Cloudera Distribution Hadoop) sisse RHEL/CentOS 7.

CDH paki paigaldamise ajal peame tagama Cloudera juhataja ja CDH ühilduvus. Cloudera versioon koosneb kolmest osast - ... Cloudera Manageri põhi- ja kõrvalversioon peab olema sama mis CDH põhi- ja kõrvalversioon.

Näiteks kasutame Cloudera Manager 6.3.1 ja CDH 6.3.2. Siin 6 on suur ja 3 on väiksem versioon. Ühilduvusprobleemide vältimiseks peavad suured ja väikesed olema samad.

Nõuded

Head tavad Hadoop -serveri juurutamiseks CentOS/RHEL 7 -s - 1. osa
Hadoopi eeltingimuste seadistamine ja turvakõvenemine-2. osa
Cloudera Manageri installimine ja seadistamine CentOS/RHEL 7 - 3. osa

CDH installimiseks kasutame allpool kahte sõlme. Oleme juba Cloudera Manageri installinud meister 1, kasutame ka meister 1 reposerverina.

master1.tecmint.com. töötaja1.tecmint.com.

Samm: laadige CDH -pakid alla serveris

1. Esiteks ühendage meister 1 server ja laadige alla CDH pakid failid kaustas /var/www/html/cloudera-repos/cdh kataloogi. Peame alla laadima allpool nimetatud 3 faili, mis peaksid ühilduma RHEL/CentOS 7.

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel. CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1. manifest.json.

2. Enne nende failide allalaadimist looge kindlasti cdh kataloogi all /var/www/html/cloudera-repos/ asukoht.

$ cd/var/www/html/cloudera-repos/ $ sudo mkdir cdh. $ cd cdh.

3. Seejärel laadige alla ülaltoodud 3 faili, kasutades järgmist wget käsk.

$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json

2. toiming: seadistage Cloudera Manager Repo töötajate klientidele

4. Nüüd ühendage tööline serverid ja kopeerige repomaterjal (cloudera-manager.repo) repo serverist (meister 1) kogu ülejäänud töötaja serverisse. See repomaterjal tagab serveritele, et installimise ajal laaditakse reposerverist alla kõik vajalikud pakid ja RPM -id.

kass> /etc/yum.repos.d/cloudera-manager.repo <

5. Kui repo on lisatud, loetlege lubatud hoidlad, et veenduda cloudera-manager repo on lubatud.

$ yum repolist.

Samm: installige Cloudera Manageri deemonid ja agent töötajate serveritesse

6. Nüüd peame installima cloudera-manager-deemons ja cloudera-manager-agent kõigis ülejäänud serverites.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent.

Installige Cloudera Manageri deemonid ja agent

7. Järgmisena peate konfigureerima Cloudera juhataja agent teatama Cloudera juhataja server.

$ sudo vi /etc/cloudera-scm-agent/config.ini.

Asendage localhost koos Cloudera juhataja serveri IP -aadress.

8. Alusta Cloudera juhataja Agent ja kontrollige olekut.

$ sudo systemctl käivitage cloudera-scm-agent. $ sudo systemctl olek cloudera-scm-agent.

Samm: installige ja seadistage CDH

Meil on CDH pakid sisse meister 1 - repo server. Veenduge, et kõikides serverites oleks Cloudera Manageri repofail /etc/yum.repos.d/ kui järgite automaatset installimist kasutades Cloudera juhataja.

9. Logige Cloudera Managerisse sisse, kasutades porti allolevat URL -i 7180 ja kasutage vaikimisi kasutajanime ja parooli Cloudera juhataja.

http://104.211.95.96:7180/cmf/login. Kasutajanimi: admin. Parool: admin.

10. Kui olete sisse loginud, tervitatakse teid tervituslehega. Siit leiate väljalaskemärkmed, Cloudera Manageri uued funktsioonid.

11. Võtke litsents vastu ja jätkake.

12. Valige väljaanne. Prooviversioon on vaikimisi valitud, saame sellega jätkata.

13. Nüüd järgige klastri installimise samme. Jätkake tervituslehte.

14. Pange klastrile nimi ja jätkake, nimetasime "tecmint”. Saate määratleda kahte tüüpi klastreid. Jätkame tavalise klastriga.

Tavaline klaster: Koosneb salvestussõlmedest, arvutussõlmedest ja muudest vajalikest teenustest.
Arvutage klaster: Koosneb ainult arvutussõlmedest. Andmete salvestamiseks saab kasutada välist salvestusruumi.

15. Oleme juba installinud Cloudera mänedžeri esindajad kõigis serverites. Need serverid leiate aadressilt "Praegu hallatud hostid”. Automaatse installimise jaoks peate sisestama serverite FQDN või IPUued võõrustajad”Valik ja otsi. Cloudera Manager tuvastab automaatselt hosti, kuhu peame CDH installima.

Siin klõpsake nuppu "Praegu hallatud hostid", Valige kõik hostid, valides"Hostinimi'Ja jätkake.

16. Valige hoidla - kasutades Pakk on soovitatav viis. Klõpsake nuppu 'Veel valikuid'Hoidla seadistamiseks.

17. Sisestage kohaliku hoidla URL, nagu allpool mainitud. Eemaldage kõik ülejäänud avalikud hoidlad, mis osutavad veebile (Cloudera hoidlad).

See on CDH kohaliku hoidla URL, mis meil on meister 1.

http://104.211.95.96/cloudera-repos/cdh/

18. Kui hoidla URL on sisestatud, kuvatakse sellel lehel ainult saadaolevad pakid. Jätkake seda sammu.

19. Nüüd laaditakse pakke alla, levitatakse, pakitakse lahti ja aktiveeritakse kõigis saadaolevates serverites.

20. Kord CDH pakid on aktiveeritud, kontrollige Klaster. See samm viib läbi klastri tervisekontrolli. Siin me jätame vahele ja jätkame.

Samm: klastri seadistamine

21. Siin peame valima Teenused sisse paigaldada Klaster. Mõned pakitud kombinatsioonid on vaikimisi saadaval, jätkame Kohandatud teenused.

22. Sisse Kohandatud teenused, me installime ainult Põhikomponendid (HDFS ja LÕNG) demo eesmärgil.

23. Määrake rollid serverile. Saame kohandada vastavalt meie nõudmistele. Leidke allolev tabel, mis kirjeldab soovitatavat Rollide jaotus põhilise väikese klastri jaoks, millel on 5–20 sõlme ja kõrge kättesaadavus.

24. Valige andmebaasi tüüp, hostinimi, DB nimi, kasutajanimi ja parool. Kuna kasutame sisseehitatud PostgreSQL -i, valitakse see vaikimisi. Testige ühendust, see peaks olema edukas.

25. Sellel lehel kuvatakse HDFS ja Lõng, sealhulgas andmekataloogid. Vaadake üle kõik konfiguratsiooni üksikasjad ja saate vajadusel muudatusi teha. Seejärel jätkake sellega.

26. Sellel lehel kuvatakse üksikasjadEsimene jooks’Käsk. Saate seda laiendada, et näha käskude üksikasju. Kui klastris on võrgu- või lubaprobleeme, ebaõnnestub see samm. Tavaliselt otsustab see samm klastrihoone sujuva paigaldamise.

27. Kui ülaltoodud samm on lõpule viidud, klõpsake nuppuLõpetama'Installimise lõpuleviimiseks. See on Cloudera Manageri armatuurlaud pärast CDH installimist.

http://104.211.95.96:7180/cmf/home.

Järeldus

Oleme lõpetanud Cloudera juhataja ja CDH installimine edukalt. Aastal Cloudera juhataja armatuurlaud, leiate eelnevalt määratletud diagrammide komplekti, kus saate jälgida klastri protsessorit, ketta IO-d jne. Selle abil saame hallata kogu klastrit Cloudera juhataja. Kõiki haldustoiminguid näeme tulevastes artiklites.