Kuidas kõrge tarnetega taru paigaldada ja seadistada - 7. osa

instagram story viewer

Taru on Andmeladu mudel sisse Hadoop Ökosüsteem. Lisaks võib see toimida ETL -i tööriistana Hadoop. Kõrge kättesaadavuse (HA) lubamine Hive'is pole sarnane, nagu me teenustes Master Namenode ja Ressursside haldur.

Automaatne tõrkesiire ei toimu Taru (Taru 2). Kui mõni Taru 2 (HS2) ebaõnnestub, tööde käivitamine sellel ebaõnnestus HS2 hakkab ebaõnnestuma. Peame töö uuesti esitama, et töö saaks töötada ka teistega HiveServer2. Niisiis, võimaldades HA peal HS2 pole midagi muud kui nende arvu suurendamine HS2 komponendid sisse Klaster.

Selles artiklis näeme, kuidas installida ja lubada Suur kättesaadavus kohta Taru.

Nõuded

  • Head tavad Hadoop -serveri juurutamiseks CentOS/RHEL 7 -s - 1. osa
  • Hadoopi eeltingimuste seadistamine ja turvakõvenemine-2. osa
  • Cloudera Manageri installimine ja seadistamine CentOS/RHEL 7 - 3. osa
  • CDH installimine ja teenusepaigutuste seadistamine CentOS/RHEL 7 - 4. osa
  • Namenode'i kõrge kättesaadavuse seadistamine - 5. osa
  • Ressursside halduri kõrge kättesaadavuse seadistamine - 6. osa

Alustame…

Taru paigaldamine ja seadistamine

1. Logi sisse Cloudera juhataja alloleval URL -il ja navigeerige lehele Cloudera juhataja–>Lisa teenus.

http://13.233.129.39:7180/cmf/home. 
Lisage teenus Cloudera Manageris
Lisage teenus Cloudera Manageris

2. Valige teenus "Taru‘.

Valige taru teenus
Valige taru teenus

3. Määrake teenused sõlmedele.

  • Värav - See on klienditeenindus, kus kasutaja pääseb tarule juurde. Tavaliselt pannakse see teenus sisse Edge kasutajatele pühendatud sõlmed.
  • Hive Metastore - See on taru metaandmete salvestamise keskne hoidla.
  • WebHCati server - See on HCatalogi ja muude Hadoopi teenuste veebiliides.
  • Taru 2 - See on klientide liides Hive'i päringute täitmiseks.

Kui olete serverid valinud, klõpsake nuppuJätka' jätkama.

Määrake teenus sõlmedeks
Määrake teenus sõlmedeks

4. Hive Metastore vajab metaandmete salvestamiseks aluseks olevat andmebaasi. Siin kasutame vaikimisi PostgreSQL andmebaas, mis on sisseehitatud CDH.

Allpool nimetatud andmebaasi üksikasjad sisestatakse automaatselt, "Testi ühendustJäetakse vahele, kuna mainitud andmebaas luuakse käigu pealt. Reaalajas peame looma andmebaasi välises andmebaasis ja katsetama ühendust, et jätkata. Kui olete lõpetanud, klõpsake nuppu „Jätka’.

Seadistage andmebaas
Seadistage andmebaas

5. Seadistage Taru ladu kataloog, /user/hive/warehouse on Hive tabelite salvestamiseks vaikimisi kataloogitee. Klõpsake 'Jätka’.

Valige tarude lao kataloog
Valige tarude lao kataloog

6. Alustatakse taru paigaldamist.

Taru paigaldamise edenemine
Taru paigaldamise edenemine

7. Kui installimine on lõpule jõudnud, saate "Valmis’Staatus. Klõpsake nuppu 'Jätka', Et edasi minna.

Taru paigaldamine on lõpetatud
Taru paigaldamine on lõpetatud

8. Taru installimine ja konfigureerimine õnnestus. Klõpsake nuppu 'Lõpetama"Installiprotseduuri lõpuleviimiseks.

Lõpetage taru paigaldamine
Lõpetage taru paigaldamine

9. Näete Taru teenus lisatud Klaster läbi Cloudera juhataja armatuurlaud.

Taru teenus on lisatud
Taru teenus on lisatud

10. Saate vaadata Taru 2 sisse Eksemplarid kohta Taru. Oleme lisanud Taru 2 sisse meister 1.

Cloudera juhataja –> Taru –> Eksemplarid –> Taru 2.

Vaadake Hiveserver2 eksemplare
Vaadake Hiveserver2 eksemplare

Kõrge kättesaadavuse lubamine tarus

11. Järgmisena lisage taru roll, minnes aadressile Cloudera juhataja –> Taru –> Toimingud –> Lisa roll Eksemplarid.

Lisage taru rolli eksemplar
Lisage taru rolli eksemplar

12. Valige serverid, kuhu soovite lisa paigutada Taru 2. Saate lisada rohkem kui kaks, piirangut pole. Siin lisame täiendava Taru 2 sisse kapten2.

Valige taru jaoks server
Valige taru jaoks server
Valige hostiserver
Valige hostiserver

13. Kui olete serveri valinud, klõpsake nuppuJätka’.

Server lisatud
Server lisatud

14. A Hiverser2 lisatakse kausta Taru juhtumid, peate seda alustama aadressil Cloudera juhataja –> Taru –> Eksemplarid –> (Valige Hiveser2 äsja lisatud) -> Toiming valitud jaoks –> Alusta.

Valige taru server
Valige taru server
Käivitage Hive Server
Käivitage Hive Server
Käivitage Hive Server
Käivitage Hive Server

15. Üks kord Taru 2 hakkas peale kapten2, saate staatuse "Valmis’. Klõpsake nuppu Sulge.

Olek lõppenud
Olek lõppenud

16. Saate vaadata nii Tarud2 jooksevad.

Kontrollige tarude serverite olekut
Kontrollige tarude serverite olekut

Taru saadavuse kontrollimine

Saame ühendada Taru 2 läbi beeline, mis on õhuke klient ja käsurea. See kasutab ühenduse loomiseks JDBC draiverit.

17. Logige sisse serverisse, kus Taru värav jookseb.

[[e -post kaitstud] ~] $ beeline. 
Ühendage Hiveserver2 -ga
Ühendage Hiveserver2 -ga

18. Sisestage JDBC ühendamiseks mõeldud string Taru 2. Sellega seoses on string me mainime Hiverser2 (kapten2) oma vaikimisi kasutatava pordi numbriga 10000. See ühendusstring ühendub ainult võrguga Taru 2 mis jookseb edasi kapten2.

beeline>! ühenda "jdbc: hive2: //master1.tecmint.com: 10000"
JDBC ühenduse string
JDBC ühenduse string

19. Käivitage näidispäring.

0: jdbc: taru2: //master1.tecmint.com: 10000> näita andmebaase; 
Käivitage näidispäring
Käivitage näidispäring

See on sisseehitatud vaikimisi andmebaas.

20. Hive -seansi lõpetamiseks kasutage allolevat käsku.

0: jdbc: taru2: //master1.tecmint.com: 10000>! Lõpetage. 
Lõpetage taru seanss
Lõpetage taru seanss

21. Ühendamiseks saate kasutada sama viisi Taru 2 edasi jooksmas kapten2.

beeline>! ühenda "jdbc: hive2: //master2.tecmint.com: 10000"
Ühendage Hiveserveriga
Ühendage taru serveriga

23. Saame ühendada Taru 2 sisse Loomaaiahoidja avastus režiimi. Selle meetodi puhul ei pea me mainima Taru 2 selle asemel kasutame ühendusstringi Loomaaiatalitaja saadaoleva avastamiseks Taru 2.

Siin saame kasutada olemasoleva koormuse tasakaalustamiseks kolmanda osapoole koormuse tasakaalustajat Hiverser2. Lubamiseks on vaja alltoodud konfiguratsiooni Loomaaia avastamisrežiim minnes Cloudera juhataja –> Taru –> Seadistamine.

Luba loomahoidja avastusrežiim
Luba loomahoidja avastusrežiim

24. Seejärel otsige kinnisvara "HiveServer2 täiustatud konfiguratsioonilõik"Ja klõpsake ikooni + sümbol alloleva atribuudi lisamiseks.

Nimi: taru.server2.support.dynamic.service.discovery. Väärtus: tõsi. Kirjeldus: 
HiveServer2 täiustatud konfiguratsioonilõik
HiveServer2 täiustatud konfiguratsioonilõik

25. Kui olete atribuudi sisestanud, klõpsake nuppu „Salvesta muudatused’.

Lisa kinnisvara
Lisa kinnisvara

26. Konfiguratsiooni muutmisel peame mõjutatud teenused taaskäivitama, klõpsates teenuste taaskäivitamiseks oranži värvi sümbolil.

Taaskäivitage teenused
Taaskäivitage teenused

27. Klõpsake nuppu 'Taaskäivitage Stale'Teenused.

Taaskäivitage aegunud teenused
Taaskäivitage aegunud teenused

28. Saadaval on kaks võimalust. Kui klaster on reaalajas tootmises, peame katkestuse minimeerimiseks eelistama jooksvat taaskäivitamist. Kuna oleme hiljuti installimas, saame valida teise võimaluse "Juurutage kliendi konfiguratsioon uuesti"Ja klõpsake"Taaskäivita kohe’.

Juurutage kliendi konfiguratsioon uuesti
Juurutage kliendi konfiguratsioon uuesti

29. Kui taaskäivitamine on edukalt lõpule jõudnud, saate oleku "Valmis’. Klõpsake nuppu 'Lõpetama'Protsessi lõpuleviimiseks.

Lõpeta protsess
Lõpeta protsess

30. Nüüd ühendame Taru 2 kasutades Loomaaiahoidja avastus režiimi. Aastal JDBC ühendus, string, mida peame kasutama Loomaaiatalitaja serverid oma pordi numbriga 2081. Koguge Zookeeperi serverid, minnes aadressile Cloudera juhataja –> Loomaaiatalitaja –> Eksemplarid -> (Märkige üles serverite nimed).

Loomaaiahoidjad
Loomaaiahoidjad

Need on kolm serverit, millel on Zookeeper, 2181 on pordi number.

master1.tecmint.com: 2181. master2.tecmint.com: 2181. tööline1.tecmint.com: 2181. 

31. Nüüd astuge sisse beeline.

[[e -post kaitstud] ~] $ beeline. 
Ühendage Beeline'iga
Ühendage Beeline'iga

32. Sisestage JDBC ühendusstring nagu allpool mainitud. Peame mainima,. Teenuse avastamise režiim ja Loomaaiahoidja nimeruum. ‘taru 2On Hiveser2 vaikenimeruum.

beeline>! connect "jdbc: hive2: //master1.tecmint.com: 2181, master2.tecmint.com: 2181, worker1.tecmint.com: 2181/; serviceDiscoveryMode = zookeeper; zookeeperNamespace = tarude2 "
Sisestage JDBC ühenduse string
Sisestage JDBC ühenduse string

33. Nüüd on seanss ühendatud Taru 2 edasi jooksmas meister 1. Käivitage valideerimiseks näidispäring. Andmebaasi loomiseks kasutage allolevat käsku.

0: jdbc: taru2: //master1.tecmint.com: 2181, mast> andmebaasi loomine tecmint; 
Loo andmebaas
Loo andmebaas

34. Andmebaasi loetlemiseks kasutage allolevat käsku.

0: jdbc: taru2: //master1.tecmint.com: 2181, mast> näita andmebaase; 
Loetelu andmebaas
Loetelu andmebaas

35. Nüüd kinnitame kõrge kättesaadavuse Loomaaia avastamisrežiim. Minema Cloudera juhataja ja lõpetage Taru 2 peal meister 1 mida oleme eespool testinud.

Cloudera juhataja –> Taru –> Eksemplarid -> (vali Taru 2 peal meister 1) –> Toiming valitud jaoks –> Peatus.

Valige taru server
Valige taru server
Peatage Hive Server
Peatage Hive Server

36. Klõpsake 'Peatus’. Kui olete peatunud, saate oleku "Valmis’. Kontrollige Taru 2 peal meister 1 sisse navigeerides Taru –> Eksemplarid.

Peatage Hiveserver
Peata taru server
Kontrollige taru serverit
Kontrollige taru serverit

37. Astuge sisse beeline ja ühendage Taru 2 kasutades sama JDBC ühendusstring koos Loomaaia avastamisrežiim nagu tegime ülaltoodud sammudes.

[[e -post kaitstud] ~] $ beeline beeline>! connect "jdbc: hive2: //master1.tecmint.com: 2181, master2.tecmint.com: 2181, worker1.tecmint.com: 2181/; serviceDiscoveryMode = zookeeper; zookeeperNamespace = tarude2 "
Ühendage tarupakkuja2
Ühendage tarupakkuja2

Nüüd saate ühenduse luua Taru 2 edasi jooksmas kapten2.

38. Valideerige näidispäringuga.

0: jdbc: taru2: //master1.tecmint.com: 2181, mast> näita andmebaase; 
Valideerige proovipäring
Valideerige proovipäring
Järeldus

Selles artiklis oleme läbinud üksikasjalikud sammud selle saamiseks Taru andmete ladu mudel meie hulgas Klaster koos Suur kättesaadavus. Reaalajas tootmiskeskkonnas rohkem kui kolm Taru 2 paigutatakse koos Loomaaia avastamisrežiim lubatud.

Siin kõik Hiveser2 registreerivad end Loomaaiatalitaja ühise all Nimeruum. Loomaaednik dünaamiliselt avastab saadaoleva Taru 2 ja loob taru seansi.

Teachs.ru