Taru on Andmeladu mudel sisse Hadoop Ökosüsteem. Lisaks võib see toimida ETL -i tööriistana Hadoop. Kõrge kättesaadavuse (HA) lubamine Hive'is pole sarnane, nagu me teenustes Master Namenode ja Ressursside haldur.
Automaatne tõrkesiire ei toimu Taru (Taru 2). Kui mõni Taru 2 (HS2) ebaõnnestub, tööde käivitamine sellel ebaõnnestus HS2 hakkab ebaõnnestuma. Peame töö uuesti esitama, et töö saaks töötada ka teistega HiveServer2. Niisiis, võimaldades HA peal HS2 pole midagi muud kui nende arvu suurendamine HS2 komponendid sisse Klaster.
Selles artiklis näeme, kuidas installida ja lubada Suur kättesaadavus kohta Taru.
Nõuded
- Head tavad Hadoop -serveri juurutamiseks CentOS/RHEL 7 -s - 1. osa
- Hadoopi eeltingimuste seadistamine ja turvakõvenemine-2. osa
- Cloudera Manageri installimine ja seadistamine CentOS/RHEL 7 - 3. osa
- CDH installimine ja teenusepaigutuste seadistamine CentOS/RHEL 7 - 4. osa
- Namenode'i kõrge kättesaadavuse seadistamine - 5. osa
- Ressursside halduri kõrge kättesaadavuse seadistamine - 6. osa
Alustame…
Taru paigaldamine ja seadistamine
1. Logi sisse Cloudera juhataja alloleval URL -il ja navigeerige lehele Cloudera juhataja–>Lisa teenus.
http://13.233.129.39:7180/cmf/home.
2. Valige teenus "Taru‘.
3. Määrake teenused sõlmedele.
- Värav - See on klienditeenindus, kus kasutaja pääseb tarule juurde. Tavaliselt pannakse see teenus sisse Edge kasutajatele pühendatud sõlmed.
- Hive Metastore - See on taru metaandmete salvestamise keskne hoidla.
- WebHCati server - See on HCatalogi ja muude Hadoopi teenuste veebiliides.
- Taru 2 - See on klientide liides Hive'i päringute täitmiseks.
Kui olete serverid valinud, klõpsake nuppuJätka' jätkama.
4. Hive Metastore vajab metaandmete salvestamiseks aluseks olevat andmebaasi. Siin kasutame vaikimisi PostgreSQL andmebaas, mis on sisseehitatud CDH.
Allpool nimetatud andmebaasi üksikasjad sisestatakse automaatselt, "Testi ühendustJäetakse vahele, kuna mainitud andmebaas luuakse käigu pealt. Reaalajas peame looma andmebaasi välises andmebaasis ja katsetama ühendust, et jätkata. Kui olete lõpetanud, klõpsake nuppu „Jätka’.
5. Seadistage Taru ladu kataloog, /user/hive/warehouse on Hive tabelite salvestamiseks vaikimisi kataloogitee. Klõpsake 'Jätka’.
6. Alustatakse taru paigaldamist.
7. Kui installimine on lõpule jõudnud, saate "Valmis’Staatus. Klõpsake nuppu 'Jätka', Et edasi minna.
8. Taru installimine ja konfigureerimine õnnestus. Klõpsake nuppu 'Lõpetama"Installiprotseduuri lõpuleviimiseks.
9. Näete Taru teenus lisatud Klaster läbi Cloudera juhataja armatuurlaud.
10. Saate vaadata Taru 2 sisse Eksemplarid kohta Taru. Oleme lisanud Taru 2 sisse meister 1.
Cloudera juhataja –> Taru –> Eksemplarid –> Taru 2.
Kõrge kättesaadavuse lubamine tarus
11. Järgmisena lisage taru roll, minnes aadressile Cloudera juhataja –> Taru –> Toimingud –> Lisa roll Eksemplarid.
12. Valige serverid, kuhu soovite lisa paigutada Taru 2. Saate lisada rohkem kui kaks, piirangut pole. Siin lisame täiendava Taru 2 sisse kapten2.
13. Kui olete serveri valinud, klõpsake nuppuJätka’.
14. A Hiverser2 lisatakse kausta Taru juhtumid, peate seda alustama aadressil Cloudera juhataja –> Taru –> Eksemplarid –> (Valige Hiveser2 äsja lisatud) -> Toiming valitud jaoks –> Alusta.
15. Üks kord Taru 2 hakkas peale kapten2, saate staatuse "Valmis’. Klõpsake nuppu Sulge.
16. Saate vaadata nii Tarud2 jooksevad.
Taru saadavuse kontrollimine
Saame ühendada Taru 2 läbi beeline, mis on õhuke klient ja käsurea. See kasutab ühenduse loomiseks JDBC draiverit.
17. Logige sisse serverisse, kus Taru värav jookseb.
[[e -post kaitstud] ~] $ beeline. 
18. Sisestage JDBC ühendamiseks mõeldud string Taru 2. Sellega seoses on string me mainime Hiverser2 (kapten2) oma vaikimisi kasutatava pordi numbriga 10000. See ühendusstring ühendub ainult võrguga Taru 2 mis jookseb edasi kapten2.
beeline>! ühenda "jdbc: hive2: //master1.tecmint.com: 10000"
19. Käivitage näidispäring.
0: jdbc: taru2: //master1.tecmint.com: 10000> näita andmebaase;
See on sisseehitatud vaikimisi andmebaas.
20. Hive -seansi lõpetamiseks kasutage allolevat käsku.
0: jdbc: taru2: //master1.tecmint.com: 10000>! Lõpetage.
21. Ühendamiseks saate kasutada sama viisi Taru 2 edasi jooksmas kapten2.
beeline>! ühenda "jdbc: hive2: //master2.tecmint.com: 10000"
23. Saame ühendada Taru 2 sisse Loomaaiahoidja avastus režiimi. Selle meetodi puhul ei pea me mainima Taru 2 selle asemel kasutame ühendusstringi Loomaaiatalitaja saadaoleva avastamiseks Taru 2.
Siin saame kasutada olemasoleva koormuse tasakaalustamiseks kolmanda osapoole koormuse tasakaalustajat Hiverser2. Lubamiseks on vaja alltoodud konfiguratsiooni Loomaaia avastamisrežiim minnes Cloudera juhataja –> Taru –> Seadistamine.
24. Seejärel otsige kinnisvara "HiveServer2 täiustatud konfiguratsioonilõik"Ja klõpsake ikooni + sümbol alloleva atribuudi lisamiseks.
Nimi: taru.server2.support.dynamic.service.discovery. Väärtus: tõsi. Kirjeldus:
25. Kui olete atribuudi sisestanud, klõpsake nuppu „Salvesta muudatused’.
26. Konfiguratsiooni muutmisel peame mõjutatud teenused taaskäivitama, klõpsates teenuste taaskäivitamiseks oranži värvi sümbolil.
27. Klõpsake nuppu 'Taaskäivitage Stale'Teenused.
28. Saadaval on kaks võimalust. Kui klaster on reaalajas tootmises, peame katkestuse minimeerimiseks eelistama jooksvat taaskäivitamist. Kuna oleme hiljuti installimas, saame valida teise võimaluse "Juurutage kliendi konfiguratsioon uuesti"Ja klõpsake"Taaskäivita kohe’.
29. Kui taaskäivitamine on edukalt lõpule jõudnud, saate oleku "Valmis’. Klõpsake nuppu 'Lõpetama'Protsessi lõpuleviimiseks.
30. Nüüd ühendame Taru 2 kasutades Loomaaiahoidja avastus režiimi. Aastal JDBC ühendus, string, mida peame kasutama Loomaaiatalitaja serverid oma pordi numbriga 2081. Koguge Zookeeperi serverid, minnes aadressile Cloudera juhataja –> Loomaaiatalitaja –> Eksemplarid -> (Märkige üles serverite nimed).
Need on kolm serverit, millel on Zookeeper, 2181 on pordi number.
master1.tecmint.com: 2181. master2.tecmint.com: 2181. tööline1.tecmint.com: 2181.
31. Nüüd astuge sisse beeline.
[[e -post kaitstud] ~] $ beeline. 
32. Sisestage JDBC ühendusstring nagu allpool mainitud. Peame mainima,. Teenuse avastamise režiim ja Loomaaiahoidja nimeruum. ‘taru 2On Hiveser2 vaikenimeruum.
beeline>! connect "jdbc: hive2: //master1.tecmint.com: 2181, master2.tecmint.com: 2181, worker1.tecmint.com: 2181/; serviceDiscoveryMode = zookeeper; zookeeperNamespace = tarude2 "
33. Nüüd on seanss ühendatud Taru 2 edasi jooksmas meister 1. Käivitage valideerimiseks näidispäring. Andmebaasi loomiseks kasutage allolevat käsku.
0: jdbc: taru2: //master1.tecmint.com: 2181, mast> andmebaasi loomine tecmint;
34. Andmebaasi loetlemiseks kasutage allolevat käsku.
0: jdbc: taru2: //master1.tecmint.com: 2181, mast> näita andmebaase;
35. Nüüd kinnitame kõrge kättesaadavuse Loomaaia avastamisrežiim. Minema Cloudera juhataja ja lõpetage Taru 2 peal meister 1 mida oleme eespool testinud.
Cloudera juhataja –> Taru –> Eksemplarid -> (vali Taru 2 peal meister 1) –> Toiming valitud jaoks –> Peatus.
36. Klõpsake 'Peatus’. Kui olete peatunud, saate oleku "Valmis’. Kontrollige Taru 2 peal meister 1 sisse navigeerides Taru –> Eksemplarid.
37. Astuge sisse beeline ja ühendage Taru 2 kasutades sama JDBC ühendusstring koos Loomaaia avastamisrežiim nagu tegime ülaltoodud sammudes.
[[e -post kaitstud] ~] $ beeline beeline>! connect "jdbc: hive2: //master1.tecmint.com: 2181, master2.tecmint.com: 2181, worker1.tecmint.com: 2181/; serviceDiscoveryMode = zookeeper; zookeeperNamespace = tarude2 "
Nüüd saate ühenduse luua Taru 2 edasi jooksmas kapten2.
38. Valideerige näidispäringuga.
0: jdbc: taru2: //master1.tecmint.com: 2181, mast> näita andmebaase;
Järeldus
Selles artiklis oleme läbinud üksikasjalikud sammud selle saamiseks Taru andmete ladu mudel meie hulgas Klaster koos Suur kättesaadavus. Reaalajas tootmiskeskkonnas rohkem kui kolm Taru 2 paigutatakse koos Loomaaia avastamisrežiim lubatud.
Siin kõik Hiveser2 registreerivad end Loomaaiatalitaja ühise all Nimeruum. Loomaaednik dünaamiliselt avastab saadaoleva Taru 2 ja loob taru seansi.
