Cara Mengatur Ketersediaan Tinggi untuk Namenode

hadoop memiliki dua komponen inti yaitu HDFS dan BENANG. HDFS adalah untuk menyimpan Data, BENANG adalah untuk memproses Data. HDFS adalah Sistem File Terdistribusi Hadoop, memiliki Node nama sebagai Layanan Utama dan Datanode sebagai Layanan Budak.

Node nama adalah komponen kritis dari hadoop yang menyimpan metadata dari data yang disimpan di HDFS. jika Node nama turun, seluruh cluster tidak akan dapat diakses, itu adalah satu-satunya titik kegagalan (SPOF). Jadi, lingkungan produksi akan memiliki Namenode Ketersediaan Tinggi untuk menghindari pemadaman produksi jika ada Node nama turun karena berbagai alasan seperti kerusakan mesin, aktivitas pemeliharaan yang direncanakan, dll.

Hadoop 2.x memberikan kelayakan di mana kita dapat memiliki dua Node nama, salah satunya adalah Node Nama Aktif dan yang lain akan menjadi Node Nama Siaga.

  • Node Nama Aktif – Ini mengelola semua operasi klien.
  • Node Nama Siaga – Ini berlebihan dari Node Nama Aktif. Jika NN aktif turun, maka Siaga NN akan mengambil semua tanggung jawab NN aktif.

Mengaktifkan Namenode Ketersediaan Tinggi memerlukan Penjaga kebun binatang yang wajib untuk failover otomatis. ZKFC (Pengendali Kegagalan Penjaga Kebun Binatang) adalah Penjaga kebun binatang klien yang digunakan untuk mempertahankan keadaan Node nama.

Persyaratan

  • Praktik Terbaik untuk Menyebarkan Server Hadoop di CentOS/RHEL 7 – Bagian 1
  • Menyiapkan Prasyarat Hadoop dan Pengerasan Keamanan – Bagian 2
  • Cara Menginstal dan Mengonfigurasi Cloudera Manager di CentOS/RHEL 7 – Bagian 3
  • Cara Menginstal CDH dan Mengonfigurasi Penempatan Layanan di CentOS/RHEL 7 – Bagian 4

Pada artikel ini, kita akan mengaktifkan Namenode Ketersediaan Tinggi di dalam Manajer Cloudera.

Langkah 1: Pemasangan Zookeeper

1. Masuk ke Manajer Cloudera.

http://Your-IP: 7180/cmf/rumah. 
Dasbor Manajer Cloudera
Dasbor Manajer Cloudera

2. Dalam Gugus (dekat) prompt tindakan, pilih “Tambahkan Layanan”.

Tambahkan Layanan di Cloudera Manager
Tambahkan Layanan di Cloudera Manager

3. Pilih layanan “Penjaga kebun binatang”.

Layanan penjaga kebun binatang
Layanan penjaga kebun binatang

4. Pilih server tempat kita akan memiliki Penjaga kebun binatang diinstal.

Tambahkan Layanan Zookeeper
Tambahkan Layanan Zookeeper

5. Kami akan memiliki 3 Penjaga kebun binatang untuk membentuk Kuorum Penjaga Kebun Binatang. Pilih server seperti yang disebutkan di bawah ini.

Buat Kuorum Penjaga Kebun Binatang
Buat Kuorum Penjaga Kebun Binatang

6. Konfigurasikan Penjaga kebun binatang properties, di sini kita memiliki yang default. Secara real-time, Anda harus memiliki direktori/mount point terpisah untuk menyimpan Penjaga kebun binatang data. Di dalam Bagian 1, kami telah menjelaskan tentang konfigurasi penyimpanan untuk setiap layanan. Klik ‘melanjutkan' untuk melanjutkan.

Konfigurasikan Properti Penjaga Kebun Binatang
Konfigurasikan Properti Penjaga Kebun Binatang

7. Instalasi akan dimulai, setelah diinstal Penjaga kebun binatang akan dimulai. Anda dapat melihat operasi latar belakang di sini.

Memasang Layanan Zookeeper
Memasang Layanan Zookeeper

8. Setelah berhasil menyelesaikan langkah di atas, Status akan menjadi 'Selesai’.

Penjaga Kebun Binatang Terpasang
Penjaga Kebun Binatang Terpasang

9. Sekarang, Penjaga kebun binatang berhasil Diinstal dan Dikonfigurasi. Klik ‘Menyelesaikan’.

Zookeeper Dikonfigurasi
Zookeeper Dikonfigurasi

10. Anda dapat melihat Penjaga kebun binatang layanan di Manajer Cloudera Dasbor.

Lihat Layanan Zookeeper
Lihat Layanan Zookeeper

Langkah 2: Mengaktifkan Namenode Ketersediaan Tinggi

11. Pergi ke Manajer Cloudera –> HDFS –> tindakan –> Aktifkan Ketersediaan Tinggi.

Mengaktifkan Ketersediaan Tinggi
Mengaktifkan Ketersediaan Tinggi

12. Masukkan Nama Layanan Nama sebagai "layanan nama1” – Ini adalah Namespace umum untuk Namenode Aktif dan standby.

Tambahkan Nama Layanan Nama
Tambahkan Nama Layanan Nama

13. Pilih Node Nama Kedua di mana kita akan memiliki siaga Node nama.

Pilih Namenode Kedua
Pilih Namenode Kedua

14. Di sini kita memilih master2.tecmint.com untuk siaga Node nama.

Pilih Host untuk Namenode
Pilih Host untuk Namenode

15. Pilih jurnal node, ini adalah layanan wajib untuk sinkronisasi Aktif dan Siaga Node nama.

Pilih Node Jurnal
Pilih Node Jurnal

16. Kami sedang membuat Jurnal Kuorum dengan menempatkan jurnal node di 3 server seperti yang disebutkan di bawah ini. Pilih 3 server dan klik 'OK'.

Buat Jurnal Kuorum
Buat Jurnal Kuorum

17. Klik ‘Melanjutkan' untuk melanjutkan.

Tetapkan Peran ke Jurnal Kuorum
Tetapkan Peran ke Jurnal Kuorum

18. Masukkan Node Jurnal jalur direktori. Kami hanya perlu menyebutkan jalur saat menginstal direktori ini akan secara otomatis dibuat oleh layanan itu sendiri. Kami menyebut sebagai '/jn'. Klik ‘Melanjutkan' untuk melanjutkan.

Tambahkan Jalur Node Jurnal
Tambahkan Jalur Node Jurnal

19. Ini akan mulai mengaktifkan Ketersediaan Tinggi.

Mengaktifkan Ketersediaan Tinggi
Mengaktifkan Ketersediaan Tinggi

20. Setelah menyelesaikan semua proses latar belakang, kita akan mendapatkan 'Selesai'Status.

Ketersediaan Tinggi Selesai
Ketersediaan Tinggi Selesai

21. Terakhir, kita akan mendapatkan notifikasi ‘Berhasil mengaktifkan Ketersediaan Tinggi’. Klik ‘Menyelesaikan’.

Ketersediaan Tinggi Diaktifkan
Ketersediaan Tinggi Diaktifkan

22. Verifikasi Aktif dan Node Nama Siaga dengan pergi ke Manajer Cloudera –> HDFS –> Contoh.

Verifikasi Ketersediaan Tinggi
Verifikasi Ketersediaan Tinggi

23. Di sini, Anda dapat wee two Node nama, salah satunya akan berada di 'Aktif' status dan yang lain akan berada di 'Bersiap' negara.

Verifikasi Namenodes
Verifikasi Namenodes
Kesimpulan

Pada artikel ini, kami telah melalui proses langkah demi langkah untuk mengaktifkan Namenode Ketersediaan Tinggi. Sangat disarankan untuk memiliki Namenode Ketersediaan Tinggi di semua cluster dalam lingkungan waktu nyata. Silakan kirim keraguan Anda jika Anda menghadapi kesalahan saat melakukan proses ini. Kita lihat Manajer Sumber Daya Ketersediaan Tinggi di artikel berikutnya.

Teachs.ru