Πώς να ρυθμίσετε την υψηλή διαθεσιμότητα για το Namenode - Μέρος 5

Το Hadoop έχει δύο βασικά στοιχεία που είναι το HDFS και το YARN. Το HDFS προορίζεται για την αποθήκευση των Δεδομένων, το YARN για την επεξεργασία των Δεδομένων. Το HDFS είναι Κατανεμημένο σύστημα αρχείων Hadoop, έχει Namenode ως Κύρια υπηρεσία και Datanode ως Slave Service.

Το Namenode είναι το κρίσιμο στοιχείο του Hadoop το οποίο αποθηκεύει τα μεταδεδομένα των δεδομένων που είναι αποθηκευμένα στο HDFS. Εάν η Όνομα πέσει, ολόκληρο το σύμπλεγμα δεν θα είναι προσβάσιμο, είναι το μοναδικό σημείο αποτυχίας (SPOF). Έτσι, το περιβάλλον παραγωγής θα έχει Υψηλή Διαθεσιμότητα Namenode για να αποφευχθεί η διακοπή της παραγωγής εάν μια Namenode πέσει λόγω διάφορων λόγων, όπως συντριβή μηχανής, προγραμματισμένη δραστηριότητα συντήρησης κ.λπ.

Το Hadoop 2.x παρέχει τη σκοπιμότητα όπου μπορούμε να έχουμε δύο Namenodes, ο ένας θα είναι Active Namenode και ο άλλος θα είναι Standby Namenode<.

• Active Namenode – Διαχειρίζεται όλες τις λειτουργίες του πελάτη.
• Όνομα αναμονής – Είναι περιττό από την Ενεργή ονομασία. Εάν το Ενεργό NN πέσει, τότε το Standby NN θα αναλάβει όλη την ευθύνη του Ενεργού NN.

Η ενεργοποίηση της Υψηλής διαθεσιμότητας Namenode απαιτεί Zookeeper που είναι υποχρεωτικό για αυτόματη ανακατεύθυνση. Το ZKFC (Zookeeper Failover Controller) είναι ένας πελάτης Zookeeper που χρησιμοποιείται για τη διατήρηση της κατάστασης Namenode.

Απαιτήσεις

• Βέλτιστες πρακτικές για την ανάπτυξη του διακομιστή Hadoop σε CentOS/RHEL 7 – Μέρος 1
• Ρύθμιση προαπαιτούμενων Hadoop και σκλήρυνση ασφαλείας – Μέρος 2
• Τρόπος εγκατάστασης και διαμόρφωσης του Cloudera Manager στο CentOS/RHEL 7 – Μέρος 3
• Πώς να εγκαταστήσετε το CDH και να ρυθμίσετε τις τοποθετήσεις υπηρεσίας στο CentOS/RHEL 7 – Μέρος 4

Σε αυτό το άρθρο, θα ενεργοποιήσουμε την Υψηλή διαθεσιμότητα Namenode στο Cloudera Manager.

Βήμα 1: Εγκατάσταση του Zookeeper

1. Συνδεθείτε στο Cloudera Manager.

http://Your-IP:7180/cmf/home

2. Στη γραμμή εντολών ενεργειών Cluster (tecmint), επιλέξτε \Προσθήκη υπηρεσίας”.

3. Επιλέξτε την υπηρεσία \Zookeeper”.

4. Επιλέξτε τους διακομιστές στους οποίους πρόκειται να εγκαταστήσουμε το Zookeeper.

5. Θα έχουμε 3 Zookeepers για να σχηματίσουμε Zookeeper Απαρτία. Επιλέξτε τους διακομιστές όπως αναφέρονται παρακάτω.

6. Διαμορφώστε τις ιδιότητες Zookeeper, εδώ έχουμε τις προεπιλεγμένες. Σε πραγματικό χρόνο, πρέπει να έχετε ξεχωριστό κατάλογο/σημεία προσάρτησης για την αποθήκευση δεδομένων Zookeeper. Στο Μέρος 1, έχουμε εξηγήσει σχετικά με τη διαμόρφωση αποθηκευτικού χώρου για κάθε υπηρεσία. Κάντε κλικ στην επιλογή συνέχεια για να συνεχίσετε.

7. Η εγκατάσταση θα ξεκινήσει, μόλις εγκατασταθεί το Zookeeper θα ξεκινήσει. Μπορείτε να δείτε τις λειτουργίες παρασκηνίου εδώ.

8. Μετά την επιτυχή ολοκλήρωση του παραπάνω βήματος, η κατάσταση θα είναι Ολοκληρώθηκε.

9. Τώρα, το Zookeeper εγκαταστάθηκε και διαμορφώθηκε με επιτυχία. Κάντε κλικ στο Τέλος.

10. Μπορείτε να προβάλετε την υπηρεσία Zookeeper στον πίνακα ελέγχου Cloudera Manager.

Βήμα 2: Ενεργοποίηση της υψηλής διαθεσιμότητας Namenode

11. Μεταβείτε στο Cloudera Manager –> HDFS –> Ενέργειες –> Ενεργοποίηση υψηλής διαθεσιμότητας δυνατός>.

12. Εισαγάγετε το Όνομα υπηρεσίας ονομάτων ως \όνομα υπηρεσίας1” – Αυτός είναι ένας κοινός χώρος ονομάτων τόσο για την ενεργή όσο και για την αναμονή ονομασίας.

13. Επιλέξτε τη Δεύτερη Όνομα όπου θα έχουμε την κατάσταση αναμονής Namenode.

14. Εδώ επιλέγουμε master2.linux-console.net για αναμονή Namenode.

15. Επιλέξτε τους κόμβους Ημερολόγιο, αυτοί είναι υποχρεωτικές υπηρεσίες για συγχρονισμό Ενεργή και αναμονής Όνομα.

16. Δημιουργούμε Ημερολόγιο Απαρτίας τοποθετώντας τον κόμβο Journal σε 3 διακομιστές όπως αναφέρεται παρακάτω. Επιλέξτε 3 διακομιστές και κάντε κλικ στο «OK».

17. Κάντε κλικ στην επιλογή Συνέχεια για να συνεχίσετε.

18. Εισαγάγετε τη διαδρομή καταλόγου Journal Node. Απλώς πρέπει να αναφέρουμε τη διαδρομή ενώ η εγκατάσταση αυτού του καταλόγου θα δημιουργηθεί αυτόματα από την ίδια την υπηρεσία. Αναφέρουμε ως ‘/jn’. Κάντε κλικ στην επιλογή Συνέχεια για να συνεχίσετε.

19. Θα αρχίσει να ενεργοποιεί την Υψηλή διαθεσιμότητα.

20. Μόλις ολοκληρωθούν όλες οι διαδικασίες παρασκηνίου, θα λάβουμε την κατάσταση Ολοκληρώθηκε.

21. Τέλος, θα λάβουμε μια ειδοποίηση Ενεργοποιήθηκε με επιτυχία η υψηλή διαθεσιμότητα. Κάντε κλικ στην επιλογή Τέλος.

22. Επαληθεύστε την Ενεργή και την Όνομα αναμονής μεταβαίνοντας στο Cloudera Manager –> HDFS > –> Περιπτώσεις.

23. Εδώ, μπορείτε να σβήσετε δύο Namenodes, ο ένας θα βρίσκεται στην κατάσταση Ενεργός και ο άλλος θα είναι σε Αναμονή ' κατάσταση.

συμπέρασμα

Σε αυτό το άρθρο, ακολουθήσαμε τη διαδικασία βήμα προς βήμα για να ενεργοποιήσουμε την Υψηλή διαθεσιμότητα Namenode. Συνιστάται ιδιαίτερα η Υψηλή διαθεσιμότητα Namenode σε όλα τα συμπλέγματα σε περιβάλλον πραγματικού χρόνου. Δημοσιεύστε τις αμφιβολίες σας εάν αντιμετωπίσετε οποιοδήποτε σφάλμα κατά την εκτέλεση αυτής της διαδικασίας. Θα δούμε την Υψηλή διαθεσιμότητα διαχείρισης πόρων στο επόμενο άρθρο.