Πώς να εγκαταστήσετε και να ρυθμίσετε το Cloudera Manager στο CentOS/RHEL 7 - Μέρος 3
Σε αυτό το άρθρο, περιγράψαμε τη διαδικασία βήμα προς βήμα για την εγκατάσταση του Cloudera Manager σύμφωνα με τις βιομηχανικές πρακτικές. Στο Μέρος 2, έχουμε ήδη εξετάσει τις προϋποθέσεις του Cloudera, βεβαιωθείτε ότι όλοι οι διακομιστές έχουν προετοιμαστεί τέλεια.
Απαιτήσεις
- Βέλτιστες πρακτικές για την ανάπτυξη του διακομιστή Hadoop στο CentOS/RHEL 7 – Μέρος 1
- Ρύθμιση προαπαιτούμενων Hadoop και σκλήρυνσης ασφαλείας – Μέρος 2
Εδώ θα έχουμε σύμπλεγμα 5 κόμβων όπου 2 κύριοι και 3 εργάτες. Έχω χρησιμοποιήσει 5 περιπτώσεις AWS EC2 για να δείξω τη διαδικασία εγκατάστασης. Ονόμασα αυτούς τους 5 διακομιστές όπως παρακάτω.
master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net
Το Cloudera Manager είναι ένα εργαλείο διαχείρισης και παρακολούθησης για ολόκληρο το CDH. Συνήθως το ονομάζουμε εργαλείο διαχείρισης για το Cloudera Hadoop. Μπορούμε να αναπτύξουμε, να παρακολουθήσουμε, να ελέγξουμε και να κάνουμε αλλαγές στη διαμόρφωση με τη χρήση αυτού του εργαλείου. Αυτό είναι πολύ σημαντικό για τη διαχείριση ολόκληρου του συμπλέγματος.
Παρακάτω είναι οι σημαντικές χρήσεις του Cloudera Manager.
- Αναπτύξτε και διαμορφώστε τα συμπλέγματα Hadoop με αυτοματοποιημένο τρόπο.
- Παρακολούθηση της υγείας του συμπλέγματος
- Διαμόρφωση ειδοποιήσεων
- Αντιμετώπιση προβλημάτων
- Αναφορά
- Δημιουργία αναφοράς χρήσης συμπλέγματος
- Δυναμική διαμόρφωση πόρων
Βήμα 1: Εγκατάσταση του διακομιστή Web Apache στο CentOS
Θα χρησιμοποιήσουμε τον master1
ως διακομιστή ιστού για τα αποθετήρια Cloudera. Επίσης, το Cloudera Manager είναι WebUI, επομένως πρέπει να έχουμε εγκατεστημένο το Apache. Ακολουθήστε τα παρακάτω βήματα για να εγκαταστήσετε τον διακομιστή web apache.
yum -y install httpd
Μόλις εγκατασταθεί το httpd, ξεκινήστε το και ενεργοποιήστε το ώστε να ξεκινήσει κατά την εκκίνηση.
systemctl start httpd
systemctl enable httpd
Μετά την εκκίνηση του httpd, βεβαιωθείτε για την κατάσταση.
systemctl status httpd
Αφού ξεκινήσετε το httpd, ανοίξτε ένα πρόγραμμα περιήγησης στο τοπικό σας σύστημα και επικολλήστε τη διεύθυνση IP του master1
στη γραμμή αναζήτησης, θα πρέπει να λάβετε αυτήν τη δοκιμαστική σελίδα για να βεβαιωθείτε ότι το httpd λειτουργεί σωστά.
Βήμα 2: Διαμόρφωση τοπικού DNS για επίλυση IP και ονόματος κεντρικού υπολογιστή
Πρέπει να έχουμε διακομιστή DNS ή να διαμορφώσουμε το /etc/hosts για να επιλύσουμε το IP και το όνομα κεντρικού υπολογιστή. Εδώ διαμορφώνουμε το /etc/hosts, αλλά σε πραγματικό χρόνο, θα υπάρχει ένας αποκλειστικός διακομιστής DNS για το περιβάλλον παραγωγής.
Ακολουθήστε τα παρακάτω βήματα για να κάνετε μια καταχώριση για όλους τους διακομιστές σας στο /etc/hosts.
vi /etc/hosts
Αυτό θα πρέπει να ρυθμιστεί σε όλους τους διακομιστές.
13.235.27.144 master1.linux-console.net master1
13.235.135.170 master2.linux-console.net master2
15.206.167.94 worker1.linux-console.net worker1
13.232.173.158 worker2.linux-console.net worker2
65.0.182.222 worker3.linux-console.net worker3
Βήμα 3: Διαμόρφωση σύνδεσης χωρίς κωδικό πρόσβασης SSH
Το Cloudera Manager εγκαθίσταται στο master1
σε αυτήν την επίδειξη. Πρέπει να διαμορφώσουμε το ssh χωρίς κωδικό πρόσβασης από τον master1
σε όλους τους άλλους κόμβους. Επειδή ο Cloudera Manager θα χρησιμοποιήσει το ssh για την επικοινωνία όλων των άλλων κόμβων για την εγκατάσταση πακέτων.
Ακολουθήστε τα παρακάτω βήματα για να διαμορφώσετε το ssh χωρίς κωδικό πρόσβασης από το master1
σε όλους τους υπόλοιπους διακομιστές. Θα έχουμε έναν χρήστη «tecmint» για να προχωρήσουμε περαιτέρω.
Δημιουργήστε έναν χρήστη «tecmint» και τους 4 διακομιστές χρησιμοποιώντας την εντολή useradd όπως φαίνεται.
useradd -m tecmint
Για να δώσετε το δικαίωμα root στον χρήστη «tecmint», προσθέστε την παρακάτω γραμμή στο αρχείο /etc/sudoers. Μπορείτε να προσθέσετε αυτή τη γραμμή κάτω από τη ρίζα όπως δίνεται στο στιγμιότυπο οθόνης.
tecmint ALL=(ALL) ALL
Μεταβείτε στο χρήστη "tecmint" και δημιουργήστε κλειδί ssh στο master1
χρησιμοποιώντας την παρακάτω εντολή.
sudo su tecmint
ssh-keygen
Τώρα αντιγράψτε το κλειδί που δημιουργήθηκε και στους 4 διακομιστές χρησιμοποιώντας την εντολή ssh-copy-id όπως φαίνεται.
ssh-copy-id -i ~/.ssh/id_rsa.pub [email
ssh-copy-id -i ~/.ssh/id_rsa.pub [email
ssh-copy-id -i ~/.ssh/id_rsa.pub [email
ssh-copy-id -i ~/.ssh/id_rsa.pub [email
Τώρα θα πρέπει να μπορείτε να μεταφέρετε ssh από τον master1
σε όλους τους υπόλοιπους διακομιστές χωρίς κωδικό πρόσβασης, όπως φαίνεται.
ssh master2
ssh worker1
ssh worker2
ssh worker3
Βήμα 4: Εγκατάσταση και διαμόρφωση του Cloudera Manager
Μπορούμε να χρησιμοποιήσουμε το χώρο αποθήκευσης vendor (Cloudera) για να εγκαταστήσουμε όλα τα πακέτα χρησιμοποιώντας τα εργαλεία διαχείρισης πακέτων στο RHEL/CentOS. Σε πραγματικό χρόνο, η δημιουργία του δικού μας αποθετηρίου είναι η καλύτερη πρακτική, επειδή ενδέχεται να μην έχουμε πρόσβαση στο διαδίκτυο στους διακομιστές παραγωγής.
Εδώ θα εγκαταστήσουμε την έκδοση Cloudera Manager 6.3.1. Εφόσον πρόκειται να χρησιμοποιήσουμε τον master1
ως διακομιστή repo, κατεβάζουμε τα πακέτα στην παρακάτω διαδρομή.
Δημιουργήστε τους παρακάτω καταλόγους στον διακομιστή master1
.
sudo mkdir -p /var/www/html/cloudera-repos/cm6
Μπορούμε να χρησιμοποιήσουμε το εργαλείο wget για λήψη πακέτων μέσω http. Επομένως, εγκαταστήστε το wget χρησιμοποιώντας την παρακάτω εντολή.
sudo yum -y install wget
Στη συνέχεια, πραγματοποιήστε λήψη του αρχείου tar του Cloudera Manager χρησιμοποιώντας την ακόλουθη εντολή wget.
wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz
Εξαγάγετε το αρχείο tar στο /var/www/html/cloudera-repos/cm6, ήδη έχουμε κάνει τον master1
ως διακομιστή ιστού εγκαθιστώντας το http και έχουμε δοκιμάσει στο πρόγραμμα περιήγησης.
sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1
Τώρα, βεβαιωθείτε ότι όλα τα αρχεία Cloudera rpm βρίσκονται στον κατάλογο /var/www/html/cloudera-repos/cm6/RPMS/x86_64.
cd /var/www/html/cloudera-repos/cm6
ll
Δημιουργήστε αρχεία /etc/yum.repos.d/cloudera-manager.repo σε όλους τους διακομιστές στους κεντρικούς υπολογιστές συμπλέγματος με το ακόλουθο περιεχόμενο, εδώ είναι το master1
(65.0.101.148) ο διακομιστής Web.
[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0
Τώρα το αποθετήριο έχει προστεθεί, εκτελέστε την παρακάτω εντολή για να δείτε τα ενεργοποιημένα αποθετήρια.
yum repolist
Εκτελέστε την παρακάτω εντολή για να δείτε όλα τα διαθέσιμα πακέτα που σχετίζονται με το Cloudera στο αποθετήριο.
yum list available | grep cloudera*
Εγκαταστήστε το cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.
sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2
Εκτελέστε την παρακάτω εντολή για να δείτε όλα τα εγκατεστημένα πακέτα Cloudera.
yum list installed | grep cloudera*
Εκτελέστε την παρακάτω εντολή για να ξεκινήσετε το cloudera-scm-server-db που είναι μια υποκείμενη βάση δεδομένων για την αποθήκευση του Cloudera Manager και άλλων μεταδεδομένων υπηρεσιών.
Από προεπιλογή, το Cloudera έρχεται με το postgre-sql που είναι ενσωματωμένο στο Cloudera Manager. Εγκαθιστούμε το ενσωματωμένο, σε μια εξωτερική βάση δεδομένων σε πραγματικό χρόνο που μπορεί να χρησιμοποιηθεί. Μπορεί να είναι Oracle, MySQL, ή PostgreSQL.
sudo systemctl start cloudera-scm-server-db
Εκτελέστε την παρακάτω εντολή για να ελέγξετε την κατάσταση της βάσης δεδομένων.
sudo systemctl status cloudera-scm-server-db
Διαμορφώστε το db.properties για τον διακομιστή Cloudera Manager.
vi /etc/cloudera-scm-server/db.properties
Διαμορφώστε την παρακάτω τιμή ΕΝΣΩΜΑΤΩΜΕΝΗ για να κάνετε το Cloudera Manager να χρησιμοποιεί την Ενσωματωμένη βάση δεδομένων.
com.cloudera.cmf.db.setupType=EMBEDDED
Εκτελέστε την παρακάτω εντολή για να ξεκινήσετε τον διακομιστή Cloudera Manager.
sudo systemctl start cloudera-scm-server
Εκτελέστε την παρακάτω εντολή για να ελέγξετε την κατάσταση του διακομιστή Cloudera Manager.
sudo systemctl status cloudera-scm-server
Εκτελέστε την παρακάτω εντολή για να ξεκινήσετε και να ελέγξετε την κατάσταση του πράκτορα Cloudera Manager.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
Μόλις ο Cloudera Manager Server λειτουργήσει επιτυχώς και λειτουργεί σωστά, μπορείτε να προβάλετε το WebUI (Σελίδα σύνδεσης) στο πρόγραμμα περιήγησης χρησιμοποιώντας τη διεύθυνση IP και τον αριθμό θύρας 7180 που είναι ο αριθμός θύρας του Διαχειριστής Cloudera.
https://65.0.101.148:7180
Περίληψη
Σε αυτό το άρθρο, είδαμε βήμα προς βήμα τη διαδικασία εγκατάστασης του Cloudera Manager στο CentOS 7. Θα δούμε το CDH και άλλες εγκαταστάσεις υπηρεσιών στο επόμενο άρθρο.