Βέλτιστες πρακτικές για την ανάπτυξη του διακομιστή Hadoop σε CentOS/RHEL 7 - Μέρος 1

Σε αυτήν τη σειρά άρθρων, θα καλύψουμε ολόκληρο το κτίριο Cloudera Hadoop Cluster Building με τις βέλτιστες πρακτικές που προτείνονται Πωλητής και Βιομηχανικές.

Η εγκατάσταση OS και η εκτέλεση προαπαιτούμενων επιπέδου OS είναι τα πρώτα βήματα για τη δημιουργία ενός Hadoop Cluster. Το Hadoop μπορεί να εκτελεστεί σε διάφορα χαρακτηριστικά της πλατφόρμας Linux: CentOS, RedHat, Ubuntu, Debian<, SUSE κ.λπ., Στην παραγωγή σε πραγματικό χρόνο, τα περισσότερα από τα Hadoop Cluster είναι χτισμένα πάνω στο RHEL/CentOS, εμείς θα χρησιμοποιήσει το CentOS 7 για επίδειξη σε αυτήν τη σειρά εκμάθησης.

Σε έναν Οργανισμό, η εγκατάσταση του λειτουργικού συστήματος μπορεί να γίνει χρησιμοποιώντας kickstart. Εάν πρόκειται για ένα σύμπλεγμα 3 έως 4 κόμβων, είναι δυνατή η μη αυτόματη εγκατάσταση, αλλά αν δημιουργήσουμε ένα μεγάλο σύμπλεγμα με περισσότερους από 10 κόμβους, είναι κουραστικό να εγκαταστήσουμε το λειτουργικό σύστημα ένα προς ένα. Σε αυτό το σενάριο, η μέθοδος Kickstart εμφανίζεται στην εικόνα, μπορούμε να προχωρήσουμε στη μαζική εγκατάσταση χρησιμοποιώντας το kickstart.

Η επίτευξη καλής απόδοσης από ένα Περιβάλλον Hadoop εξαρτάται από την παροχή του σωστού Υλικού και Λογισμικού. Έτσι, η δημιουργία ενός συστάδας Hadoop παραγωγής απαιτεί μεγάλη προσοχή όσον αφορά το Υλικό και το Λογισμικό.

Σε αυτό το άρθρο, θα εξετάσουμε διάφορα σημεία αναφοράς σχετικά με την εγκατάσταση λειτουργικού συστήματος και ορισμένες βέλτιστες πρακτικές για την ανάπτυξη του Cloudera Hadoop Cluster Server στο CentOS/RHEL 7.

Σημαντική σκέψη και βέλτιστες πρακτικές για την ανάπτυξη του διακομιστή Hadoop

Ακολουθούν οι βέλτιστες πρακτικές για τη ρύθμιση της ανάπτυξης του Cloudera Hadoop Cluster Server στο CentOS/RHEL 7.

Οι διακομιστές Hadoop δεν απαιτούν εταιρικούς τυπικούς διακομιστές για τη δημιουργία ενός συμπλέγματος, απαιτούν υλικό εμπορευμάτων.
Στο σύμπλεγμα παραγωγής, συνιστάται η ύπαρξη 8 έως 12 δίσκων δεδομένων. Ανάλογα με τη φύση του φόρτου εργασίας, πρέπει να αποφασίσουμε για αυτό. Εάν το σύμπλεγμα προορίζεται για εφαρμογές εντάσεως υπολογιστών, η καλύτερη πρακτική είναι να υπάρχουν 4 έως 6 μονάδες δίσκου για την αποφυγή προβλημάτων εισόδου/εξόδου.
Οι μονάδες δίσκου δεδομένων θα πρέπει να χωριστούν μεμονωμένα, για παράδειγμα – ξεκινώντας από /data01 έως /data10.
Η διαμόρφωση RAID δεν συνιστάται για κόμβους εργαζομένων, επειδή το ίδιο το Hadoop παρέχει ανοχή σφαλμάτων στα δεδομένα αντιγράφοντας τα μπλοκ σε 3 από προεπιλογή. Επομένως, το JBOD είναι το καλύτερο για κόμβους εργαζομένων.
Για τους κύριους διακομιστές, το RAID 1 είναι η καλύτερη πρακτική.
Το προεπιλεγμένο σύστημα αρχείων στο CentOS/RHEL 7.x είναι XFS. Το Hadoop υποστηρίζει XFS, ext3 και ext4. Το προτεινόμενο σύστημα αρχείων είναι το ext3 καθώς ελέγχεται για καλή απόδοση.
Όλοι οι διακομιστές θα πρέπει να έχουν την ίδια έκδοση λειτουργικού συστήματος, τουλάχιστον την ίδια μικρή έκδοση.
Είναι βέλτιστη πρακτική να έχετε ομοιογενές υλικό (όλοι οι κόμβοι εργαζομένων θα πρέπει να έχουν τα ίδια χαρακτηριστικά υλικού (RAM, χώρος στο δίσκο & Core κ.λπ.).
Σύμφωνα με το φόρτο εργασίας του συμπλέγματος (ισορροπημένο φόρτο εργασίας, υπολογιστικό εντατικό, εντατικό I/O) και το μέγεθος, ο σχεδιασμός πόρων (RAM, CPU) ανά διακομιστή θα διαφέρει.

Βρείτε το παρακάτω Παράδειγμα Διαμέρισης Δίσκου των διακομιστών αποθήκευσης 24 TB.

Εγκατάσταση του CentOS 7 για ανάπτυξη διακομιστή Hadoop

Πράγματα που πρέπει να γνωρίζετε πριν εγκαταστήσετε τον διακομιστή CentOS 7 για τον Διακομιστή Hadoop.

Η ελάχιστη εγκατάσταση είναι αρκετή για Διακομιστές Hadoop (κόμβους εργασίας), σε ορισμένες περιπτώσεις, το GUI μπορεί να εγκατασταθεί μόνο για κύριους διακομιστές ή διακομιστές διαχείρισης όπου μπορούμε να χρησιμοποιήσουμε προγράμματα περιήγησης για Διεπαφές ιστού εργαλείων διαχείρισης.
Η διαμόρφωση δικτύων, ονόματος κεντρικού υπολογιστή και άλλων ρυθμίσεων που σχετίζονται με το λειτουργικό σύστημα μπορεί να γίνει μετά την εγκατάσταση του λειτουργικού συστήματος.
Σε πραγματικό χρόνο, οι προμηθευτές διακομιστών θα έχουν τη δική τους κονσόλα για να αλληλεπιδρούν και να διαχειρίζονται τους διακομιστές, για παράδειγμα – Οι διακομιστές της Dell διαθέτουν iDRAC που είναι μια συσκευή, ενσωματωμένη σε διακομιστές. Χρησιμοποιώντας αυτήν τη διεπαφή iDRAC, μπορούμε να εγκαταστήσουμε λειτουργικό σύστημα έχοντας μια εικόνα λειτουργικού συστήματος στο τοπικό μας σύστημα.

Σε αυτό το άρθρο, έχουμε εγκαταστήσει το λειτουργικό σύστημα (CentOS 7) στην εικονική μηχανή VMware. Εδώ, δεν θα έχουμε πολλούς δίσκους για την εκτέλεση κατατμήσεων. Το CentOS είναι παρόμοιο με το RHEL (ίδια λειτουργικότητα), επομένως θα δούμε τα βήματα για την εγκατάσταση του CentOS.

1. Ξεκινήστε κατεβάζοντας την εικόνα ISO CentOS 7.x στο τοπικό σας σύστημα Windows και επιλέξτε την κατά την εκκίνηση της εικονικής μηχανής. Επιλέξτε «Εγκατάσταση CentOS 7», όπως φαίνεται.

2. Επιλέξτε τη Γλώσσα, η προεπιλογή θα είναι Αγγλικά και κάντε κλικ στο συνέχεια.

3. Επιλογή λογισμικού – Επιλέξτε Ελάχιστη εγκατάσταση και κάντε κλικ στο Τέλος.

4. Ορίστε τον κωδικό πρόσβασης root όπως θα μας ζητήσει να ορίσουμε.

5. Προορισμός εγκατάστασης – Αυτό είναι το σημαντικό βήμα για να είστε προσεκτικοί. Πρέπει να επιλέξουμε τον δίσκο στον οποίο πρέπει να εγκατασταθεί το λειτουργικό σύστημα, θα πρέπει να επιλεγεί ο αποκλειστικός δίσκος για το λειτουργικό σύστημα. Κάντε κλικ στον «Προορισμός εγκατάστασης» και επιλέξτε τον δίσκο, σε πραγματικό χρόνο θα υπάρχουν πολλοί δίσκοι, πρέπει να επιλέξουμε, κατά προτίμηση «sda».

6. Άλλες επιλογές αποθήκευσης – Επιλέξτε τη δεύτερη επιλογή (θα ρυθμίσω τις παραμέτρους κατάτμησης) για να ρυθμίσετε τις παραμέτρους διαμερισμάτων που σχετίζονται με το λειτουργικό σύστημα, όπως /var, / var/log, /home, /tmp, /opt, /swap.

7. Μόλις ολοκληρωθεί, ξεκινήστε την εγκατάσταση.

8. Μόλις ολοκληρωθεί η εγκατάσταση, επανεκκινήστε τον διακομιστή.

9. Συνδεθείτε στον διακομιστή και ορίστε το όνομα κεντρικού υπολογιστή.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

Περίληψη

Σε αυτό το άρθρο, περάσαμε από τα βήματα εγκατάστασης του λειτουργικού συστήματος και τις βέλτιστες πρακτικές για την κατάτμηση του συστήματος αρχείων. Αυτές είναι όλες γενικές οδηγίες, ανάλογα με τη φύση του φόρτου εργασίας, ίσως χρειαστεί να επικεντρωθούμε σε περισσότερες αποχρώσεις για να επιτύχουμε την καλύτερη απόδοση του συμπλέγματος. Ο σχεδιασμός συμπλέγματος είναι τέχνη για τον διαχειριστή Hadoop. Θα έχουμε βαθιά εμβάθυνση σε προαπαιτούμενα σε επίπεδο λειτουργικού συστήματος και Hardening ασφάλειας στο επόμενο άρθρο.