Johdanto Hadoop Job Trackeriin



Tämä antaa käsityksen Job trackerin käytöstä

java-luokan kuormaajahaastattelukysymykset

Hadoop Job Tacker

Job Tracker on master-daemon sekä työn resurssien hallintaan että töiden ajoitukseen / seurantaan. Se toimii yhteyshenkilönä Hadoopin ja sovelluksesi välillä.





Prosessi

Käyttäjä kopioi tiedostot ensin hajautettuun tiedostojärjestelmään (DFS) ennen työn lähettämistä asiakkaalle. Sitten asiakas vastaanottaa nämä syötetiedostot. Käyttäjä saa osiot tai lohkot syötetiedostojen perusteella.Asiakas voisiluoda halkeamia tai lohkoja miehessäner se prefkoska sen takana on tiettyjä näkökohtia. Jos analyysi tehdään täydellisistä tiedoista, jaat tiedot jakoiksi. Tiedostoja ei kopioida asiakkaan kautta, vaan ne kopioidaan käyttämällä Flume- tai Sqoop-tiedostoja tai mitä tahansa ulkoista asiakasta.

Kun tiedostot on kopioitu DFS: ään ja asiakas on vuorovaikutuksessa DFS: n kanssa,splitit suorittavat MapReduce j: nob. Työ lähetetään työn seurannan kautta. Työnseuraaja on päädemon, joka toimii samalla solmullakulkeenämä useat työt solmuissa. Nämä tiedot ovat eri solmuissa, mutta työnhakijan vastuulla on huolehtia siitä.



Kun asiakas on antanut ilmoituksentyön seuranta, työ alustetaan työjonoon ja työn seuranta luo karttoja ja pienentää. Karttatoiminnon ja vähennysfunktion sisältämän ohjelman perusteella se luo karttatehtävän ja vähentää tehtävää. Nämä kaksi kulkevat tulohalkoilla. Huomautus: Kun asiakas on luonut tämän syöttöjaon, se sisältää kaikki tiedot.

Jokaisessa syötteen jaossa on karttatyö käynnissä, ja karttatehtävän tulos menee vähennettyyn tehtävään. Työn seuranta suorittaa jäljen tietyillä tiedoilla. Siitä voi olla useita replikointeja, joten se poimii paikalliset tiedot ja suorittaa tehtävän kyseisellä tehtäväseurannalla. Tehtäväseuraaja on se, joka tosiasiallisesti suorittaa tehtävän tietosolmussa. Työnhakija läpäiseetiedottehtävänseurantaan ja tehtävänseuranta suorittaa työn tietosolmussa.

Java-ero pidennysten ja työvälineiden välillä

Kun työ on osoitettu tehtäväluetteloon, kuhunkin tehtäväluetteloon ja työnseurantaan liittyy syke. Se lähettää signaaleja selvittääkseen onko datasolmut vielä elossa. Nämä kaksi ovat usein synkronoituja, koska solmuilla on mahdollisuus häipyä.



Onko sinulla kysymys meille? Mainitse ne kommenttiosassa ja palaamme sinuun.

Aiheeseen liittyvät julkaisut:

menetelmän ylikuormituksen edut Java-tilassa