Πώς να εγκαταστήσετε το CDH και να ρυθμίσετε τις τοποθετήσεις υπηρεσίας στο CentOS/RHEL 7 - Μέρος 4

Σε προηγούμενο άρθρο, εξηγήσαμε την εγκατάσταση του Cloudera Manager. Σε αυτό το άρθρο, θα μάθετε πώς να εγκαταστήσετε και να ρυθμίσετε το CDH (Cloudera Distribution Hadoop) στο RHEL/CentOS 7.

Κατά την εγκατάσταση του δέματος CDH, πρέπει να διασφαλίσουμε τη συμβατότητα Cloudera Manager και CDH. Η έκδοση Cloudera έχει 3 μέρη – ... Η κύρια και δευτερεύουσα έκδοση του Cloudera Manager πρέπει να είναι ίδια με την κύρια και δευτερεύουσα έκδοση CDH.

Για παράδειγμα, χρησιμοποιούμε το Cloudera Manager 6.3.1 και το CDH 6.3.2. Εδώ το 6 είναι μείζον και το 3 είναι η δευτερεύουσα έκδοση. Το Major και το Minor πρέπει να είναι το ίδιο για να αποφευχθούν προβλήματα συμβατότητας.

Απαιτήσεις

Βέλτιστες πρακτικές για την ανάπτυξη του διακομιστή Hadoop στο CentOS/RHEL 7 – Μέρος 1
Ρύθμιση προαπαιτούμενων Hadoop και σκλήρυνσης ασφαλείας – Μέρος 2
Πώς να εγκαταστήσετε και να ρυθμίσετε το Cloudera Manager στο CentOS/RHEL 7 – Μέρος 3

Θα πάρουμε τους παρακάτω 2 κόμβους για την εγκατάσταση του CDH. Έχουμε ήδη εγκαταστήσει το Cloudera Manager στο master1, επίσης χρησιμοποιούμε τον master1 ως διακομιστή repo.

master1.linux-console.net
worker1.linux-console.net

Βήμα 1: Λήψη δεμάτων CDH στον κύριο διακομιστή

1. Αρχικά, συνδεθείτε στον διακομιστή master1 και πραγματοποιήστε λήψη των αρχείων CDH Parcels στο /var/www/html/cloudera-repos/ κατάλογος cdh. Πρέπει να κατεβάσουμε τα παρακάτω 3 αρχεία που θα πρέπει να είναι συμβατά με το RHEL/CentOS 7.

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

2. Πριν κάνετε λήψη αυτών των αρχείων, φροντίστε να δημιουργήσετε έναν κατάλογο cdh στην τοποθεσία /var/www/html/cloudera-repos/.

cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh

3. Στη συνέχεια, πραγματοποιήστε λήψη των 3 προαναφερθέντων αρχείων χρησιμοποιώντας την ακόλουθη εντολή wget.

sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json

Βήμα 2: Ρυθμίστε το Cloudera Manager Repo σε Worker Clients

4. Τώρα, συνδεθείτε σε διακομιστές worker και αντιγράψτε το αρχείο repo (cloudera-manager.repo) από τον διακομιστή repo (master1<) σε όλους τους υπόλοιπους εργαζομένους διακομιστή. Αυτό το αρχείο repo διασφαλίζει στους διακομιστές ότι όλα τα απαιτούμενα δέματα και RPM θα ληφθούν από τον διακομιστή repo κατά την εγκατάσταση.

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

5. Μόλις προστεθεί το repo, παραθέστε τα ενεργοποιημένα αποθετήρια για να βεβαιωθείτε ότι το repo cloudera-manager είναι ενεργοποιημένο.

yum repolist

Βήμα 3: Εγκαταστήστε το Cloudera Manager Daemons and Agent σε διακομιστές Worker

6. Τώρα, πρέπει να εγκαταστήσουμε τους cloudera-manager-daemons και τον cloudera-manager-agent σε όλους τους υπόλοιπους διακομιστές.

sudo yum install cloudera-manager-daemons cloudera-manager-agent

7. Στη συνέχεια, πρέπει να διαμορφώσετε τον παράγοντα Cloudera Manager ώστε να αναφέρει τον διακομιστή Cloudera Manager.

sudo vi /etc/cloudera-scm-agent/config.ini

Αντικαταστήστε το localhost με τη διεύθυνση IP του διακομιστή Cloudera Manager.

8. Εκκινήστε τον παράγοντα Cloudera Manager και επαληθεύστε την κατάσταση.

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

Βήμα 4: Εγκαταστήστε και ρυθμίστε το CDH

Έχουμε δέματα CDH στον διακομιστή master1 – repo. Βεβαιωθείτε ότι όλοι οι διακομιστές διαθέτουν αρχείο αποθετηρίου Cloudera Manager στο /etc/yum.repos.d/ εάν ακολουθείτε την αυτόματη εγκατάσταση χρησιμοποιώντας το Cloudera Manager.

9. Συνδεθείτε στο Cloudera Manager χρησιμοποιώντας την παρακάτω διεύθυνση URL στη θύρα 7180 και χρησιμοποιήστε το προεπιλεγμένο όνομα χρήστη και κωδικό πρόσβασης του Cloudera Manager.

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10. Μόλις συνδεθείτε, θα εμφανιστεί η σελίδα καλωσορίσματος. Εδώ μπορείτε να βρείτε σημειώσεις έκδοσης, Νέες δυνατότητες του Cloudera Manager.

11. Αποδεχτείτε την άδεια χρήσης και συνεχίστε.

12. Επιλέξτε την Έκδοση. Η δοκιμαστική έκδοση έχει επιλεγεί από προεπιλογή, μπορούμε να προχωρήσουμε σε αυτό.

13. Τώρα, ακολουθήστε τα βήματα εγκατάστασης συμπλέγματος. Συνεχίστε τη σελίδα καλωσορίσματος.

14. Ονομάστε το σύμπλεγμα και συνεχίστε, το έχουμε ονομάσει "tecmint ". Υπάρχουν 2 τύποι συμπλέγματος που μπορείτε να ορίσετε. Προχωράμε με Regular Cluster.

Κανονικό σύμπλεγμα: Θα αποτελείται από κόμβους αποθήκευσης, κόμβους υπολογισμού και άλλες απαραίτητες υπηρεσίες.
Cluster Υπολογισμού: Θα αποτελείται μόνο από υπολογιστικούς κόμβους. Η εξωτερική αποθήκευση μπορεί να χρησιμοποιηθεί για την αποθήκευση δεδομένων.

15. Έχουμε ήδη εγκαταστήσει τους Cloudera Manager Agents σε όλους τους διακομιστές. Μπορείτε να βρείτε αυτούς τους διακομιστές στους "Διαχειριζόμενους κεντρικούς υπολογιστές". Για αυτόματη εγκατάσταση, πρέπει να εισαγάγετε το FQDN ή το IP των διακομιστών στην επιλογή «Νέοι κεντρικοί υπολογιστές» και να πραγματοποιήσετε αναζήτηση. Το Cloudera Manager θα εντοπίσει αυτόματα τους κεντρικούς υπολογιστές στους οποίους πρέπει να εγκαταστήσουμε το CDH.

Εδώ, κάντε κλικ στους "Διαχειριζόμενοι κεντρικοί υπολογιστές", επιλέξτε όλους τους κεντρικούς υπολογιστές επιλέγοντας "Όνομα κεντρικού υπολογιστή" και συνεχίστε.

16. Επιλέξτε Αποθετήριο – η χρήση του Parcel είναι ο προτεινόμενος τρόπος. Κάντε κλικ στην επιλογή "Περισσότερες επιλογές" για να διαμορφώσετε το χώρο αποθήκευσης.

17. Εισαγάγετε τη διεύθυνση URL του τοπικού αποθετηρίου όπως αναφέρεται παρακάτω. Καταργήστε όλα τα υπόλοιπα δημόσια αποθετήρια που δείχνουν τον Ιστό (Αποθετήρια Cloudera).

Αυτή είναι η διεύθυνση URL τοπικού αποθετηρίου CDH που έχουμε στο master1.

http://104.211.95.96/cloudera-repos/cdh/

18. Μόλις εισαχθεί η διεύθυνση URL του αποθετηρίου, αυτή η σελίδα θα εμφανίζει μόνο τα διαθέσιμα δέματα. Συνεχίστε αυτό το βήμα.

19. Τώρα γίνεται λήψη, διανομή, αποσυσκευασία και ενεργοποίηση των δεμάτων σε όλους τους διαθέσιμους διακομιστές.

20. Μόλις ενεργοποιηθούν τα Δέματα CDH, επιθεωρήστε το Cluster. Αυτό το βήμα θα κάνει έναν έλεγχο υγείας του συμπλέγματος. Εδώ παρακάμπτουμε και Συνεχίζουμε.

Βήμα 5: Διαμόρφωση συμπλέγματος

21. Εδώ πρέπει να επιλέξουμε τις Υπηρεσίες που θα εγκατασταθούν στο Cluster. Ορισμένοι συνδυασμένοι συνδυασμοί θα είναι διαθέσιμοι από προεπιλογή, πηγαίνουμε στις Προσαρμοσμένες υπηρεσίες.

22. Στις Προσαρμοσμένες υπηρεσίες, εγκαθιστούμε μόνο Βασικά στοιχεία (HDFS και YARN >) για αυτόν τον σκοπό επίδειξης.

23. Εκχωρήστε τους ρόλους στον διακομιστή. Μπορούμε να προσαρμόσουμε σύμφωνα με τις απαιτήσεις μας. Βρείτε το παρακάτω γράφημα που περιγράφει την προτεινόμενη Κατανομή ρόλων για ένα βασικό μικρό σύμπλεγμα με 5 έως 20 κόμβους με υψηλή διαθεσιμότητα.

24. Επιλέξτε τον τύπο βάσης δεδομένων, το όνομα κεντρικού υπολογιστή, το όνομα DB, το όνομα χρήστη και τον κωδικό πρόσβασης. Καθώς χρησιμοποιούμε το Embedded PostgreSQL, θα επιλεγεί από προεπιλογή. Δοκιμάστε τη σύνδεση, θα πρέπει να είναι επιτυχής.

25. Αυτή η σελίδα θα εμφανίσει τις προεπιλεγμένες παραμέτρους διαμόρφωσης του HDFS και του Yarn, συμπεριλαμβανομένων των καταλόγων δεδομένων. Ελέγξτε όλες τις λεπτομέρειες διαμόρφωσης και μπορείτε να κάνετε αλλαγές εάν απαιτείται. Στη συνέχεια, Συνεχίστε με αυτό.

26. Αυτή η σελίδα θα εμφανίσει τις λεπτομέρειες της εντολής "Πρώτη εκτέλεση". Μπορείτε να το επεκτείνετε για να δείτε τις λεπτομέρειες των εντολών που εκτελούνται. Εάν υπάρχουν προβλήματα δικτύου ή αδειών στο σύμπλεγμα, αυτό το βήμα θα αποτύχει. Συνήθως, αυτό το βήμα αποφασίζει την ομαλή εγκατάσταση του Κτιρίου Cluster.

27. Μόλις ολοκληρωθεί το παραπάνω βήμα, κάντε κλικ στο «Τέλος» για να ολοκληρώσετε την εγκατάσταση. Αυτός είναι ο πίνακας ελέγχου του Cloudera Manager μετά την εγκατάσταση του CDH.

http://104.211.95.96:7180/cmf/home

συμπέρασμα

Ολοκληρώσαμε με επιτυχία την εγκατάσταση του Cloudera Manager και του CDH. Στον Πίνακα ελέγχου Cloudera Manager, μπορείτε να βρείτε ένα προκαθορισμένο σύνολο γραφημάτων όπου μπορείτε να παρακολουθείτε CPU Cluster, Disk IO κ.λπ. Μπορούμε να διαχειριστούμε ολόκληρο το Cluster χρησιμοποιώντας αυτό το Cloudera Manager . Θα δούμε όλες τις διοικητικές λειτουργίες στα επόμενα άρθρα.