Cloudera Manageri installimine ja seadistamine CentOS/RHEL 7 -s

instagram story viewer

Selles artiklis kirjeldasime samm -sammult installiprotsessi Cloudera juhataja vastavalt tööstuslikele tavadele. Teises osas oleme juba läbinud Cloudera Eeltingimused, veenduge, et kõik serverid on ideaalselt ette valmistatud.

Nõuded

  • Head tavad Hadoop -serveri juurutamiseks CentOS/RHEL 7 -s - 1. osa
  • Hadoopi eeltingimuste seadistamine ja turvakõvenemine-2. osa

Siin on meil 5 sõlme klastrit, kus on 2 meistrit ja 3 töötajat. Olen kasutanud 5 AWS EC2 installeerimisprotseduuri näitamiseks. Olen nimetanud need 5 serverit allpool.

master1.tecmint.com. master2.tecmint.com. töötaja1.tecmint.com. töötaja2.tecmint.com. töötaja3.tecmint.com. 

Cloudera juhataja on haldus- ja jälgimisvahend kogu jaoks CDH. Administraator nimetab seda tavaliselt haldusvahendiks Cloudera Hadoop. Selle tööriista abil saame juurutada, jälgida, juhtida ja muuta konfiguratsiooni. See on väga oluline kogu klastri haldamiseks.

Allpool on toodud Cloudera Manageri olulised kasutusalad.

  • Hadoopi klastrite automaatne juurutamine ja konfigureerimine.
  • Jälgige klastri tervist
  • Märguannete seadistamine
  • Tõrkeotsing
  • Aruandlus
  • Klastri kasutamise aruande koostamine
  • Ressursside dünaamiline konfigureerimine

Samm: Apache veebiserveri installimine CentOS -i

Me hakkame kasutama meister 1 Cloudera hoidlate veebiserverina. Samuti on Cloudera Manager WebUI, nii et meil peab olema Apache paigaldatud. Apache veebiserveri installimiseks järgige alltoodud samme.

# yum -installige httpd. 

Kui olete httpd installinud, käivitage see ja lubage see nii, et see käivitatakse alglaadimisel.

# systemctl käivitage httpd. # systemctl lubage httpd. 

Pärast httpd käivitamist veenduge olekus.

# systemctl olek httpd. 
Check-Apache-Status
Check-Apache-Status

Pärast httpd käivitamist avage oma kohalikus süsteemis brauser ja kleepige meister 1 otsinguribal peaksite saama selle testlehe, et veenduda, kas httpd töötab hästi.

Kontrollige Apache veebisaiti
Kontrollige Apache veebisaiti

Samm: seadistage kohalik DNS, et lahendada IP ja hostinimi

Meil peab olema DNS -server või konfigureerima /etc/hosts IP ja hostinime lahendamiseks. Siin me seadistame /etc/hosts, kuid reaalajas on tootmiskeskkonna jaoks olemas spetsiaalne DNS-server.

Kõigi oma serverite jaoks sissekande tegemiseks järgige alltoodud samme /etc/hosts.

# vi /etc /hosts. 

See peaks olema seadistatud kõikides serverites.

13.235.27.144 master1.tecmint.com master1. 13.235.135.170 master2.tecmint.com master2. 15.206.167.94 töötaja1.tecmint.com töötaja1. 13.232.173.158 töötaja2.tecmint.com töötaja2. 65.0.182.222 töötaja3.tecmint.com töötaja3. 
Seadistage kohalik DNS
Seadistage kohalik DNS

Samm: konfigureerige SSH paroolita sisselogimine

Cloudera juhataja paigaldatakse meister 1 sellel meeleavaldusel. Peame seadistama paroolivaba ssh meister 1 kõigile teistele sõlmedele. Kuna Cloudera juhataja kasutab pakettide installimiseks kõigi teiste sõlmede suhtlemiseks ssh -d.

Paroolivaba ssh konfigureerimiseks järgmiselt järgige alltoodud samme meister 1 kõigile järelejäänud serveritele. Meil on kasutaja "tecmint'Edasi minna.

Loo kasutaja "tecmint„Kõik 4 serverit kasutavad käsk useradd nagu näidatud.

# useradd -m tecmint. 

Juureõiguste andmine kasutajale "tecmint", Lisage allolev rida /etc/sudoers faili. Saate selle rea lisada juurjuure alla nagu ekraanipildil.

tecmint ALL = (KÕIK) KÕIK. 
Kasutaja lisamine Sudosse
Kasutaja lisamine Sudosse

Lülitu kasutajale 'tecmint"Ja looge kausta ssh -võti meister 1 kasutades allolevat käsku.

# sudo su tecmint. $ ssh-keygen. 

Nüüd kopeerige loodud võti kõigi nelja serveriga, kasutades ssh-copy-id käsk nagu näidatud.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [e -post kaitstud]
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [e -post kaitstud]
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [e -post kaitstud] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [e -post kaitstud]

Nüüd peaksite saama ssh -st meister 1 kõikidele serveritele ilma paroolita, nagu näidatud.

$ ssh master2. $ ssh töötaja1. $ ssh töötaja2. $ ssh töötaja3. 
SSH paroolita sisselogimisserverid
SSH paroolita sisselogimisserverid

Samm 4: Cloudera Manageri installimine ja seadistamine

Saame kasutada müüja (Cloudera) hoidla kõigi pakettide installimiseks, kasutades RHEL/CentOS pakettide haldamise tööriistu. Reaalajas on parimaks tavaks meie hoidla loomine, kuna meil ei pruugi tootmisserverites Interneti-ühendust olla.

Siin me installime Cloudera Manager 6.3.1 vabastada. Kuna hakkame kasutama meister 1 reposerverina laadime alla paketid allpool nimetatud teel.

Looge allpool nimetatud kataloogid meister 1 server.

$ sudo mkdir -p/var/www/html/cloudera -repos/cm6. 

Saame kasutada wget tööriist pakettide allalaadimiseks üle http. Niisiis, installige wget kasutades allolevat käsku.

$ sudo yum -y installige wget. 

Järgmisena laadige alla Cloudera juhataja tar -faili, kasutades järgmist käsku wget.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz. 

Tõmmake tõrvafail sisse /var/www/html/cloudera-repos/cm6, oleme juba teinud meister 1 veebiserverina installimise teel http ja oleme seda brauseris testinud.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C/var/www/html/cloudera-repos/cm6 --strip-components = 1. 

Nüüd kontrollige, kas kõik Cloudera rpm -failid on seal /var/www/html/cloudera-repos/cm6/RPMS/x86_64 kataloogi.

$ cd/var/www/html/cloudera-repos/cm6. $ ll. 
Loetlege Cloudera failid
Loetlege Cloudera failid

Loo /etc/yum.repos.d/cloudera-manager.repo failid klastri hostide kõikides serverites järgmise sisuga siin meister 1 (65.0.101.148) on veebiserver.

[cloudera-repo] nimi = cloudera-manager. baseurl = http:///cloudera-repos/cm6/ lubatud = 1. gpgcheck = 0.

Nüüd on hoidla lisatud, käivitage alltoodud käsk, et vaadata lubatud hoidlaid.

$ yum repolist. 
Nimekiri Cloudera hoidla
Nimekiri Cloudera hoidla

Käivitage allolev käsk, et vaadata kõiki hoidlas saadaolevaid Clouderaga seotud pakette.

$ yum nimekiri saadaval | grep cloudera*
Loetlege Cloudera paketid
Loetlege Cloudera paketid

Installige cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2. 
Installige Cloudera CentOS -i
Installige Cloudera CentOS -i

Kõigi installitud Cloudera pakettide vaatamiseks käivitage allolev käsk.

$ yumi nimekiri on installitud | grep cloudera*
Loetlege installitud Cloudera paketid
Loetlege installitud Cloudera paketid

Käivitamiseks käivitage allolev käsk cloudera-scm-server-db mis on aluseks olev andmebaas salvestamiseks Cloudera juhataja ja muude teenuste metaandmed.

Algselt, Cloudera tuleb välja postgre-sql mis on sisse lülitatud Cloudera juhataja. Paigaldame sisseehitatud andmebaasi reaalajas välisesse andmebaasi, mida saab kasutada. See võib olla Oracle, MySQL, või PostgreSQL.

$ sudo systemctl käivitage cloudera-scm-server-db. 

Andmebaasi oleku kontrollimiseks käivitage allolev käsk.

$ sudo systemctl olek cloudera-scm-server-db. 
Kontrollige Cloudera Databasse'i olekut
Kontrollige Cloudera andmebaasi olekut

Seadistage db.omadused jaoks Cloudera juhataja server.

$ vi /etc/cloudera-scm-server/db.properties. 

Seadistage allpool olev väärtus KINNITATUD tegema Cloudera juhataja kasuta Sisseehitatud andmebaas.

com.cloudera.cmf.db.setupType = EMBEDDED. 
Seadistage Cloudera andmebaasi atribuudid
Seadistage Cloudera andmebaasi atribuudid

Käivitage allolev käsk Cloudera Manageri serveri käivitamiseks.

$ sudo systemctl käivitage cloudera-scm-server. 

Käivitage allolev käsk, et kontrollida Cloudera juhataja server.

$ sudo systemctl olek cloudera-scm-server. 
Kontrollige Cloudera Manageri olekut
Kontrollige Cloudera Manageri olekut

Käivitamiseks käivitage allolev käsk ja kontrollige olekut Cloudera juhataja agent.

$ sudo systemctl käivitage cloudera-scm-agent. $ sudo systemctl olek cloudera-scm-agent. 
Kontrollige Cloudera Manageri agendi olekut
Kontrollige Cloudera Manageri agendi olekut

Kord Cloudera halduriserver Kui olete edukalt käivitunud, saate brauseris vaadata veebiliidest (sisselogimislehte), kasutades IP -aadressi ja pordinumbrit 7180 mis on pordi number Cloudera juhataja.

https://65.0.101.148:7180. 
Cloudera Manageri sisselogimine
Cloudera Manageri sisselogimine
Kokkuvõte

Selles artiklis oleme näinud installimise protsessi samm -sammult Cloudera juhataja peal CentOS 7. CDH -d ja muid teenusepaigaldisi näeme järgmises artiklis.

Teachs.ru