Yksi Hadoop-kehyksen houkuttelevimmista ominaisuuksista on sen hyödykelaitteiston hyödyntäminen . Tämä johtaa kuitenkin usein DataNode-kaatumiin Hadoop-klusterissa. Toinen Hadoop Frameworkin silmiinpistävä piirre on mittakaavan helppous tietojen määrän nopean kasvun mukaisesti . Näistä kahdesta syystä yksi Hadoop-järjestelmänvalvojan yleisimmistä tehtävistä on komissio (Lisää) ja käytöstäpoisto (Poista) Hadoop-klusterin tietosolmut.
staattinen lohkoesimerkki jaavassa
Solmujen käyttöönotto ja käytöstä poistaminen Hadoop-klusterissa:
Yllä oleva kaavio näyttää vaiheittaisen prosessin DataNoden käytöstä poistamiseksi klusterissa.
Ensimmäinen tehtävä on päivittää sulkea pois Tiedostot molemmille HDFS (hdfs-site.xml) ja MapReduce (mapred-site.xml).
Poissuljettu tiedosto:
- työnhakijalle sisältää luettelon isänistä, jotka työnhakijan tulisi sulkea pois. Jos arvo on tyhjä, yhtään isäntää ei suljeta pois.
- joukkueelle Namenode sisältää luettelon isänistä, joita ei saa yhdistää Namenodeen.
Tässä on esimerkkikokoonpano hdfs-site.xml- ja mapred-site.xml-tiedostojen poissulkemistiedostolle:
hdfs-site.xml
dfs.hosts.cludle
/ home / hadoop / sulkee pois
totta
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / sulkee pois
totta
Huomautus: Tiedostojen koko polunimi on määritettävä.
Vastaavasti meillä on ‘sisällytä’ -tiedostot:
- työnhakijalle sisältää luettelon solmuista, jotka voivat muodostaa yhteyden JobTrackeriin. Jos arvo on tyhjä, kaikki isännät ovat sallittuja.
- joukkueelle Namenode sisältää luettelon isänistä, joilla on lupa muodostaa yhteys Namenodeen. Jos arvo on tyhjä, kaikki isännät ovat sallittuja.
” dfsadmin ”Ja” mradmin ’-Komennot päivittävät kokoonpanon muutoksilla saadakseen heidät tietämään uuden solmun.
” Orjat Pääpalvelimen tiedosto sisältää luettelon kaikista datasolmuista. Tämä on myös päivitettävä, jotta tulevaisuuden hadoop-daemon-käynnistys / lopetus -ongelmat voidaan varmistaa.
Tärkeä vaihe datasolmujen palkkioprosessissa on suorittaa Cluster Balancer.
> hadoop tasapainotin -kynnys 40
Tasapainottaja yrittää tarjota tasapainon tietylle kynnykselle datasolmujen välillä kopioimalla lohkotiedot vanhemmista solmuista vasta tilattuihin solmuihin.
Joten näin voit tehdä - Käyttöönotto ja Käytöstäpoisto Solmut Hadoop-klusterissa.
Onko sinulla kysymys meille? Mainitse se kommenttiosassa ja palaamme sinuun.
Liittyvät linkit: