Πώς να εγκαταστήσετε και να ρυθμίσετε το Cloudera Manager στο CentOS/RHEL 7 - Μέρος 3


Σε αυτό το άρθρο, περιγράψαμε τη διαδικασία βήμα προς βήμα για την εγκατάσταση του Cloudera Manager σύμφωνα με τις βιομηχανικές πρακτικές. Στο Μέρος 2, έχουμε ήδη εξετάσει τις προϋποθέσεις του Cloudera, βεβαιωθείτε ότι όλοι οι διακομιστές έχουν προετοιμαστεί τέλεια.

Απαιτήσεις

  • Βέλτιστες πρακτικές για την ανάπτυξη του διακομιστή Hadoop στο CentOS/RHEL 7 – Μέρος 1
  • Ρύθμιση προαπαιτούμενων Hadoop και σκλήρυνσης ασφαλείας – Μέρος 2

Εδώ θα έχουμε σύμπλεγμα 5 κόμβων όπου 2 κύριοι και 3 εργάτες. Έχω χρησιμοποιήσει 5 περιπτώσεις AWS EC2 για να δείξω τη διαδικασία εγκατάστασης. Ονόμασα αυτούς τους 5 διακομιστές όπως παρακάτω.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Το Cloudera Manager είναι ένα εργαλείο διαχείρισης και παρακολούθησης για ολόκληρο το CDH. Συνήθως το ονομάζουμε εργαλείο διαχείρισης για το Cloudera Hadoop. Μπορούμε να αναπτύξουμε, να παρακολουθήσουμε, να ελέγξουμε και να κάνουμε αλλαγές στη διαμόρφωση με τη χρήση αυτού του εργαλείου. Αυτό είναι πολύ σημαντικό για τη διαχείριση ολόκληρου του συμπλέγματος.

Παρακάτω είναι οι σημαντικές χρήσεις του Cloudera Manager.

  • Αναπτύξτε και διαμορφώστε τα συμπλέγματα Hadoop με αυτοματοποιημένο τρόπο.
  • Παρακολούθηση της υγείας του συμπλέγματος
  • Διαμόρφωση ειδοποιήσεων
  • Αντιμετώπιση προβλημάτων
  • Αναφορά
  • Δημιουργία αναφοράς χρήσης συμπλέγματος
  • Δυναμική διαμόρφωση πόρων

Βήμα 1: Εγκατάσταση του διακομιστή Web Apache στο CentOS

Θα χρησιμοποιήσουμε τον master1 ως διακομιστή ιστού για τα αποθετήρια Cloudera. Επίσης, το Cloudera Manager είναι WebUI, επομένως πρέπει να έχουμε εγκατεστημένο το Apache. Ακολουθήστε τα παρακάτω βήματα για να εγκαταστήσετε τον διακομιστή web apache.

yum -y install httpd

Μόλις εγκατασταθεί το httpd, ξεκινήστε το και ενεργοποιήστε το ώστε να ξεκινήσει κατά την εκκίνηση.

systemctl start httpd
systemctl enable httpd

Μετά την εκκίνηση του httpd, βεβαιωθείτε για την κατάσταση.

systemctl status httpd

Αφού ξεκινήσετε το httpd, ανοίξτε ένα πρόγραμμα περιήγησης στο τοπικό σας σύστημα και επικολλήστε τη διεύθυνση IP του master1 στη γραμμή αναζήτησης, θα πρέπει να λάβετε αυτήν τη δοκιμαστική σελίδα για να βεβαιωθείτε ότι το httpd λειτουργεί σωστά.

Βήμα 2: Διαμόρφωση τοπικού DNS για επίλυση IP και ονόματος κεντρικού υπολογιστή

Πρέπει να έχουμε διακομιστή DNS ή να διαμορφώσουμε το /etc/hosts για να επιλύσουμε το IP και το όνομα κεντρικού υπολογιστή. Εδώ διαμορφώνουμε το /etc/hosts, αλλά σε πραγματικό χρόνο, θα υπάρχει ένας αποκλειστικός διακομιστής DNS για το περιβάλλον παραγωγής.

Ακολουθήστε τα παρακάτω βήματα για να κάνετε μια καταχώριση για όλους τους διακομιστές σας στο /etc/hosts.

vi /etc/hosts

Αυτό θα πρέπει να ρυθμιστεί σε όλους τους διακομιστές.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

Βήμα 3: Διαμόρφωση σύνδεσης χωρίς κωδικό πρόσβασης SSH

Το Cloudera Manager εγκαθίσταται στο master1 σε αυτήν την επίδειξη. Πρέπει να διαμορφώσουμε το ssh χωρίς κωδικό πρόσβασης από τον master1 σε όλους τους άλλους κόμβους. Επειδή ο Cloudera Manager θα χρησιμοποιήσει το ssh για την επικοινωνία όλων των άλλων κόμβων για την εγκατάσταση πακέτων.

Ακολουθήστε τα παρακάτω βήματα για να διαμορφώσετε το ssh χωρίς κωδικό πρόσβασης από το master1 σε όλους τους υπόλοιπους διακομιστές. Θα έχουμε έναν χρήστη «tecmint» για να προχωρήσουμε περαιτέρω.

Δημιουργήστε έναν χρήστη «tecmint» και τους 4 διακομιστές χρησιμοποιώντας την εντολή useradd όπως φαίνεται.

useradd -m tecmint

Για να δώσετε το δικαίωμα root στον χρήστη «tecmint», προσθέστε την παρακάτω γραμμή στο αρχείο /etc/sudoers. Μπορείτε να προσθέσετε αυτή τη γραμμή κάτω από τη ρίζα όπως δίνεται στο στιγμιότυπο οθόνης.

tecmint   ALL=(ALL)    ALL

Μεταβείτε στο χρήστη "tecmint" και δημιουργήστε κλειδί ssh στο master1 χρησιμοποιώντας την παρακάτω εντολή.

sudo su tecmint
ssh-keygen

Τώρα αντιγράψτε το κλειδί που δημιουργήθηκε και στους 4 διακομιστές χρησιμοποιώντας την εντολή ssh-copy-id όπως φαίνεται.

ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
ssh-copy-id -i ~/.ssh/id_rsa.pub [email 

Τώρα θα πρέπει να μπορείτε να μεταφέρετε ssh από τον master1 σε όλους τους υπόλοιπους διακομιστές χωρίς κωδικό πρόσβασης, όπως φαίνεται.

ssh master2
ssh worker1
ssh worker2
ssh worker3

Βήμα 4: Εγκατάσταση και διαμόρφωση του Cloudera Manager

Μπορούμε να χρησιμοποιήσουμε το χώρο αποθήκευσης vendor (Cloudera) για να εγκαταστήσουμε όλα τα πακέτα χρησιμοποιώντας τα εργαλεία διαχείρισης πακέτων στο RHEL/CentOS. Σε πραγματικό χρόνο, η δημιουργία του δικού μας αποθετηρίου είναι η καλύτερη πρακτική, επειδή ενδέχεται να μην έχουμε πρόσβαση στο διαδίκτυο στους διακομιστές παραγωγής.

Εδώ θα εγκαταστήσουμε την έκδοση Cloudera Manager 6.3.1. Εφόσον πρόκειται να χρησιμοποιήσουμε τον master1 ως διακομιστή repo, κατεβάζουμε τα πακέτα στην παρακάτω διαδρομή.

Δημιουργήστε τους παρακάτω καταλόγους στον διακομιστή master1.

sudo mkdir -p /var/www/html/cloudera-repos/cm6

Μπορούμε να χρησιμοποιήσουμε το εργαλείο wget για λήψη πακέτων μέσω http. Επομένως, εγκαταστήστε το wget χρησιμοποιώντας την παρακάτω εντολή.

sudo yum -y install wget

Στη συνέχεια, πραγματοποιήστε λήψη του αρχείου tar του Cloudera Manager χρησιμοποιώντας την ακόλουθη εντολή wget.

wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Εξαγάγετε το αρχείο tar στο /var/www/html/cloudera-repos/cm6, ήδη έχουμε κάνει τον master1 ως διακομιστή ιστού εγκαθιστώντας το http και έχουμε δοκιμάσει στο πρόγραμμα περιήγησης.

sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Τώρα, βεβαιωθείτε ότι όλα τα αρχεία Cloudera rpm βρίσκονται στον κατάλογο /var/www/html/cloudera-repos/cm6/RPMS/x86_64.

cd /var/www/html/cloudera-repos/cm6
ll

Δημιουργήστε αρχεία /etc/yum.repos.d/cloudera-manager.repo σε όλους τους διακομιστές στους κεντρικούς υπολογιστές συμπλέγματος με το ακόλουθο περιεχόμενο, εδώ είναι το master1 (65.0.101.148) ο διακομιστής Web.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Τώρα το αποθετήριο έχει προστεθεί, εκτελέστε την παρακάτω εντολή για να δείτε τα ενεργοποιημένα αποθετήρια.

yum repolist

Εκτελέστε την παρακάτω εντολή για να δείτε όλα τα διαθέσιμα πακέτα που σχετίζονται με το Cloudera στο αποθετήριο.

yum list available | grep cloudera*

Εγκαταστήστε το cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Εκτελέστε την παρακάτω εντολή για να δείτε όλα τα εγκατεστημένα πακέτα Cloudera.

yum list installed | grep cloudera*

Εκτελέστε την παρακάτω εντολή για να ξεκινήσετε το cloudera-scm-server-db που είναι μια υποκείμενη βάση δεδομένων για την αποθήκευση του Cloudera Manager και άλλων μεταδεδομένων υπηρεσιών.

Από προεπιλογή, το Cloudera έρχεται με το postgre-sql που είναι ενσωματωμένο στο Cloudera Manager. Εγκαθιστούμε το ενσωματωμένο, σε μια εξωτερική βάση δεδομένων σε πραγματικό χρόνο που μπορεί να χρησιμοποιηθεί. Μπορεί να είναι Oracle, MySQL, ή PostgreSQL.

sudo systemctl start cloudera-scm-server-db

Εκτελέστε την παρακάτω εντολή για να ελέγξετε την κατάσταση της βάσης δεδομένων.

sudo systemctl status cloudera-scm-server-db

Διαμορφώστε το db.properties για τον διακομιστή Cloudera Manager.

vi /etc/cloudera-scm-server/db.properties

Διαμορφώστε την παρακάτω τιμή ΕΝΣΩΜΑΤΩΜΕΝΗ για να κάνετε το Cloudera Manager να χρησιμοποιεί την Ενσωματωμένη βάση δεδομένων.

com.cloudera.cmf.db.setupType=EMBEDDED

Εκτελέστε την παρακάτω εντολή για να ξεκινήσετε τον διακομιστή Cloudera Manager.

sudo systemctl start cloudera-scm-server

Εκτελέστε την παρακάτω εντολή για να ελέγξετε την κατάσταση του διακομιστή Cloudera Manager.

sudo systemctl status cloudera-scm-server

Εκτελέστε την παρακάτω εντολή για να ξεκινήσετε και να ελέγξετε την κατάσταση του πράκτορα Cloudera Manager.

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

Μόλις ο Cloudera Manager Server λειτουργήσει επιτυχώς και λειτουργεί σωστά, μπορείτε να προβάλετε το WebUI (Σελίδα σύνδεσης) στο πρόγραμμα περιήγησης χρησιμοποιώντας τη διεύθυνση IP και τον αριθμό θύρας 7180 που είναι ο αριθμός θύρας του Διαχειριστής Cloudera.

https://65.0.101.148:7180

Περίληψη

Σε αυτό το άρθρο, είδαμε βήμα προς βήμα τη διαδικασία εγκατάστασης του Cloudera Manager στο CentOS 7. Θα δούμε το CDH και άλλες εγκαταστάσεις υπηρεσιών στο επόμενο άρθρο.