كيفية تثبيت وتكوين Apache Hadoop على عقدة واحدة في CentOS 7

instagram story viewer

اباتشي هادوب هو إطار عمل مفتوح المصدر من أجل تخزين البيانات الضخمة الموزعة ومعالجة البيانات عبر مجموعات الكمبيوتر. يقوم المشروع على المكونات التالية:

  1. Hadoop المشتركة - يحتوي على مكتبات Java والأدوات المساعدة التي تحتاجها وحدات Hadoop النمطية الأخرى.
  2. HDFS - نظام الملفات الموزعة Hadoop - نظام ملفات قابل للتطوير يعتمد على Java وموزع عبر عقد متعددة.
  3. مابريديوس - إطار عمل YARN للمعالجة المتوازية للبيانات الضخمة.
  4. Hadoop الغزل: إطار عمل لإدارة الموارد العنقودية.
قم بتثبيت Hadoop في CentOS 7
قم بتثبيت Hadoop في CentOS 7

ستوجهك هذه المقالة إلى كيفية تثبيت Apache Hadoop على مجموعة عقدة واحدة بتنسيق CentOS 7 (يعمل أيضًا مع RHEL 7 و فيدورا 23+ الإصدارات). يشار أيضًا إلى هذا النوع من التكوين باسم وضع Hadoop الزائف الموزع.

الخطوة 1: قم بتثبيت Java على CentOS 7

1. قبل متابعة تثبيت Java ، قم أولاً بتسجيل الدخول باستخدام مستخدم جذر أو مستخدم لديه امتيازات جذر لإعداد اسم مضيف الجهاز باستخدام الأمر التالي.

# hostnamectl set-hostname master. 
اضبط اسم المضيف في CentOS 7
اضبط اسم المضيف في CentOS 7

أضف أيضًا سجلًا جديدًا في ملف المضيفين باستخدام FQDN للجهاز الخاص بك للإشارة إلى عنوان IP للنظام الخاص بك.

# vi / etc / hosts. 

أضف السطر أدناه:

192.168.1.41 master.hadoop.lan. 
اضبط اسم المضيف في / etc / hosts File
اضبط اسم المضيف في / etc / hosts File

استبدل اسم المضيف أعلاه وسجلات FQDN بالإعدادات الخاصة بك.

2. بعد ذلك ، انتقل إلى تنزيل Oracle Java الصفحة والحصول على أحدث إصدار من مجموعة تطوير Java SE 8 على نظامك بمساعدة لفة قيادة:

# curl -LO -H "ملف تعريف الارتباط: oraclelicense = Accept-securebackup-cookie" “ http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”
قم بتنزيل Java SE Development Kit 8
قم بتنزيل Java SE Development Kit 8

3. بعد انتهاء تنزيل Java الثنائي ، قم بتثبيت الحزمة بإصدار الأمر التالي:

# rpm -Uvh jdk-8u92-linux-x64.rpm. 
قم بتثبيت Java في CentOS 7
قم بتثبيت Java في CentOS 7

الخطوة 2: قم بتثبيت Hadoop Framework في CentOS 7

4. بعد ذلك ، قم بإنشاء حساب مستخدم جديد على نظامك بدون صلاحيات الجذر التي سنستخدمها لمسار تثبيت Hadoop وبيئة العمل. سيقيم الدليل الرئيسي للحساب الجديد في /opt/hadoop الدليل.

# useradd -d / opt / hadoop. # باسود هادوب. 

5. في الزيارة الخطوة التالية اباتشي هادوب للحصول على رابط أحدث إصدار ثابت وتنزيل الأرشيف على نظامك.

# حليقة -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 
تنزيل حزمة Hadoop
تنزيل حزمة Hadoop

6. استخرج الأرشيف نسخة محتوى الدليل إلى مسار حساب hadoop الرئيسي. تأكد أيضًا من تغيير أذونات الملفات المنسوخة وفقًا لذلك.

# tar xfz hadoop-2.7.2.tar.gz. # cp -rf hadoop-2.7.2 / * / opt / hadoop / # chown -R hadoop: hadoop / opt / hadoop /
استخراج وتعيين الأذونات على Hadoop
استخراج وتعيين الأذونات على Hadoop

7. بعد ذلك ، قم بتسجيل الدخول باستخدام هادوب المستخدم والتكوين هادوب و متغيرات بيئة جافا على نظامك عن طريق تحرير ملف .bash_profile ملف.

# سو - هادوب. $ vi .bash_profile. 

قم بإلحاق الأسطر التالية في نهاية الملف:

## متغيرات JAVA env
تصدير JAVA_HOME = / usr / java / default. تصدير PATH = $ PATH: $ JAVA_HOME / bin. تصدير CLASSPATH =.: $ JAVA_HOME / jre / lib: $ JAVA_HOME / lib: $ JAVA_HOME / lib / tools.jar ## متغيرات HADOOP envتصدير HADOOP_HOME = / opt / hadoop. تصدير HADOOP_COMMON_HOME = $ HADOOP_HOME. تصدير HADOOP_HDFS_HOME = $ HADOOP_HOME. تصدير HADOOP_MAPRED_HOME = $ HADOOP_HOME. تصدير HADOOP_YARN_HOME = $ HADOOP_HOME. تصدير HADOOP_OPTS = "- Djava.library.path = $ HADOOP_HOME / lib / native" تصدير HADOOP_COMMON_LIB_NATIVE_DIR = $ HADOOP_HOME / lib / أصلي. تصدير PATH = $ PATH: $ HADOOP_HOME / sbin: $ HADOOP_HOME / bin.
تكوين Hadoop ومتغيرات بيئة Java
تكوين Hadoop ومتغيرات بيئة Java

8. الآن ، قم بتهيئة متغيرات البيئة وتحقق من حالتها عن طريق إصدار الأوامر التالية:

المصدر $ .bash_profile. صدى $ HADOOP_HOME. صدى $ JAVA_HOME. 
تهيئة متغيرات بيئة Linux
تهيئة متغيرات بيئة Linux

9. أخيرًا ، قم بتكوين المصادقة القائمة على مفتاح ssh لـ هادوب الحساب عن طريق تشغيل الأوامر أدناه (استبدل ملف اسم المضيف أو FQDN ضد ال ssh- نسخة- معرف الأمر وفقًا لذلك).

أيضًا ، اترك ملف عبارة المرور قدم فارغًا من أجل تسجيل الدخول تلقائيًا عبر ssh.

$ ssh-keygen -t rsa. $ ssh-copy-id master.hadoop.lan. 
قم بتكوين المصادقة المستندة إلى مفتاح SSH
قم بتكوين المصادقة المستندة إلى مفتاح SSH
الصفحات: 123
Teachs.ru