Asenna Hadoop: Yhden solmun Hadoop-klusterin määrittäminen
Aikaisemmista blogeistamme , sinulla on oltava teoreettinen käsitys Hadoopista, HDFS: stä ja sen arkkitehtuurista.Mutta saada tarvitset hyvää käytännön tietoa.Toivon, että olisit pitänyt edellisestä blogistamme , nyt perehdyn sinut käytännön tietoihin Hadoopista ja HDFS: stä. Ensimmäinen askel eteenpäin on asentaa Hadoop.
Hadoop voidaan asentaa kahdella tavalla, ts. Yksi solmu ja Monisolmu .
Yhden solmun klusteri tarkoittaa vain yhtä DataNodea, joka suorittaa ja asettaa kaikki NameNode, DataNode, ResourceManager ja NodeManager yhteen koneeseen. Tätä käytetään opiskeluun ja testaamiseen. Tarkastellaan esimerkiksi terveystoimialan näytetietoja. Joten testataksemme, ovatko Oozie-työt suunnitelleet kaikki prosessit, kuten tietojen kerääminen, yhdistäminen, tallentaminen ja käsittely oikeassa järjestyksessä, käytämme yhden solmun klusteria. Se voi helposti ja tehokkaasti testata peräkkäisen työnkulun pienemmässä ympäristössä verrattuna suuriin ympäristöihin, jotka sisältävät teratavua tietoa sadoille koneille.
Vaikka a Usean solmun klusteri , DataNode on useita ja yksi DataNode on käynnissä eri koneilla. Monisolmuklusteria käytetään käytännössä organisaatioissa Big Data -analyyseihin. Ottaen huomioon yllä olevan esimerkin, reaaliajassa, kun käsittelemme petatavuja dataa, se on jaettava satojen käsiteltävien koneiden kesken. Siten tässä käytetään monisolmuista klusteria.
Tässä blogissa näytän sinulle, kuinka Hadoop asennetaan yhteen solmuryhmään.
Edellytykset
- VIRTUAALINEN LAATIKKO : Sitä käytetään käyttöjärjestelmän asentamiseen siihen.
- KÄYTTÖJÄRJESTELMÄ : Voit asentaa Hadoopin Linux-pohjaisiin käyttöjärjestelmiin. Ubuntu ja CentOS ovat hyvin yleisiä. Tässä opetusohjelmassa käytämme CentOSia.
- JAVA : Sinun on asennettava Java 8 -paketti järjestelmään.
- HADOOP : Tarvitset Hadoop 2.7.3 -paketin.
Asenna Hadoop
Vaihe 1: Klikkaa tästä ladata Java 8 -paketti. Tallenna tämä tiedosto kotihakemistoon.
Vaihe 2: Pura Java Tar -tiedosto.
Komento : tar -xvf jdk-8u101-linux-i586.tar.gz
Kuva: Hadoop-asennus - Java-tiedostojen purkaminen
Vaihe 3: Lataa Hadoop 2.7.3 -paketti.
Komento : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
Kuva: Hadoop-asennus - Hadoopin lataaminen
Vaihe 4: Pura Hadoop-tar-tiedosto.
Komento : tar -xvf hadoop-2.7.3.tar.gz
Kuva: Hadoop-asennus - Hadoop-tiedostojen purkaminen
Vaihe 5: Lisää Hadoop- ja Java-polut bash-tiedostoon (.bashrc).
Avata . bashrc tiedosto. Lisää nyt Hadoop ja Java Path alla olevan kuvan mukaisesti.
Komento : vi. bashrc
Kuva: Hadoop-asennus - ympäristömuuttujan asettaminen
Tallenna sitten bash-tiedosto ja sulje se.
Suorita lähdekomento, jos haluat soveltaa kaikkia näitä muutoksia nykyiseen päätelaitteeseen.
Komento : lähde .bashrc
Kuva: Hadoop-asennus - Päivitetään ympäristömuuttujia
Varmista, että Java ja Hadoop on asennettu järjestelmääsi oikein ja että niihin pääsee päätelaitteen kauttaxecute java -version ja hadoop version komennot.
Komento : java-versio
Kuva: Hadoop-asennus - Java-version tarkistus
Komento : hadoopversio
sumea logiikka tekoälyssä
Kuva: Hadoop-asennus - Hadoop-version tarkistus
Vaihe 6 : Muokkaa .
Komento: cd hadoop-2.7.3 / etc / hadoop /
Komento: Ls
Kaikki Hadoop-määritystiedostot sijaitsevat hadoop-2.7.3 / etc / hadoop hakemistosta, kuten näet alla olevasta tilannekuvasta:
Kuva: Hadoop-asennus - Hadoop-määritystiedostot
Vaihe 7 : Avata core-site.xml ja muokkaa alla mainittua määritystagin sisällä olevaa ominaisuutta:
core-site.xml ilmoittaa Hadoop-daemonille, missä NameNode toimii klusterissa. Se sisältää Hadoop-ytimen kokoonpanoasetukset, kuten HDFS: lle ja MapReducelle yhteiset I / O-asetukset.
Komento : vi core-site.xml
Kuva: Hadoop-asennus - core-site.xml-määritys
fs.default.name hdfs: // paikallinen isäntä: 9000
Vaihe 8: Muokata hdfs-site.xml ja muokkaa alla mainittua määritystagin sisällä olevaa ominaisuutta:
hdfs-site.xml sisältää HDFS-demonien kokoonpanoasetukset (eli NameNode, DataNode, Secondary NameNode). Se sisältää myös HDFS: n replikointikertoimen ja lohkokoon.
Komento : vi hdfs-site.xml
Kuva: Hadoop-asennus - hdfs-site.xml-määritys
dfs.replication 1 dfs.lupa väärä
Vaihe 9 : Muokkaa mapred-site.xml tiedosto ja muokkaa alla mainittua määritystagin sisällä olevaa ominaisuutta:
mapred-site.xml sisältää MapReduce-sovelluksen kokoonpanoasetukset, kuten rinnakkain ajettavan JVM: n lukumäärän, kartoittimen ja pienennysprosessin koon, prosessille käytettävissä olevat prosessoriytimet jne.
Joissakin tapauksissa mapred-site.xml-tiedosto ei ole käytettävissä. Joten meidän on luotava mapred-site.xml-tiedostokäyttämällä mapred-site.xml-mallia.
Komento : cp mapred-site.xml.template mapred-site.xml
Komento : me mapred-sivusto.xml.
Kuva: Hadoop-asennus - mapred-site.xml-määritys
mapreduce.framework.name -lanka
Vaihe 10: Muokata lanka-site.xml ja muokkaa alla mainittua määritystagin sisällä olevaa ominaisuutta:
lanka-site.xml sisältää ResourceManagerin ja NodeManagerin kokoonpanoasetukset, kuten sovelluksen muistinhallinnan koon, ohjelmalle ja algoritmille tarvittavan toiminnan jne.
Komento : vi lanka-site.xml
Kuva: Hadoop-asennus - langan site.xml määrittäminen
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
Vaihe 11: Muokata hadoop-env.sh ja lisää Java-polku alla mainitulla tavalla:
hadoop-env.sh sisältää ympäristömuuttujia, joita komentosarjassa käytetään Hadoopin suorittamiseen, kuten Java-kotipolku jne.
Komento : me hadoop-env.sh
kuinka luoda dynaaminen taulukko Java
Kuva: Hadoop-asennus - hadoop-env.sh
Vaihe 12: Siirry Hadoopin kotihakemistoon ja muotoile NameNode.
Komento : CD
Komento : cd hadoop-2.7.3
Komento : bin / hadoop purpose -muoto
Kuva: Hadoop-asennus - NameNoden muotoilu
Tämä alustaa HDFS: n NameNoden kautta. Tämä komento suoritetaan vasta ensimmäistä kertaa. Tiedostojärjestelmän alustaminen tarkoittaa muuttujan dfs.name.dir määrittelemän hakemiston alustamista.
Älä koskaan alusta, käynnistä ja käytä Hadoop-tiedostojärjestelmää. Menetät kaikki HDFS: ään tallennetut tiedot.
Vaihe 13: Kun NameNode on alustettu, siirry hadoop-2.7.3 / sbin-hakemistoon ja käynnistä kaikki demonit.
Komento: cd hadoop-2.7.3 / sbin
Voit joko käynnistää kaikki demonit yhdellä komennolla tai tehdä sen erikseen.
Komento: ./ start-all.sh
Yllä oleva komento on yhdistelmä start-dfs.sh, start-yarn.sh & mr-jobhistory-daemon.sh
Tai voit suorittaa kaikki palvelut erikseen seuraavasti:
Start NameNode:
NameNode on HDFS-tiedostojärjestelmän keskipiste. Se pitää kaikkien HDFS: ään tallennettujen tiedostojen hakemistopuun ja seuraa kaikkia klusterin yli tallennettuja tiedostoja.
Komento: ./hadoop-daemon.sh aloitustarkoitus
Kuva: Hadoop-asennus - NameNode-aloitus
Käynnistä DataNode:
Käynnistyksen yhteydessä DataNode muodostaa yhteyden Namenode-palveluun ja se vastaa Namenoden pyyntöihin eri operaatioista.
Komento: ./hadoop-daemon.sh aloittaa datanode
Kuva: Hadoop-asennus - DataNoden käynnistäminen
Käynnistä ResourceManager:
ResourceManager on päällikkö, joka sovittaa kaikki käytettävissä olevat klusteriresurssit ja auttaa siten hallitsemaan YARN-järjestelmässä käynnissä olevia hajautettuja sovelluksia. Sen tehtävänä on hallita kutakin NodeManageria ja kunkin sovelluksen ApplicationMasteria.
Komento: ./lanka-daemon.sh käynnistää resurssienhallinnan
Kuva: Hadoop-asennus - ResourceManagerin käynnistäminen
Käynnistä NodeManager:
Jokaisessa konekehyksessä oleva NodeManager on agentti, joka vastaa konttien hallinnasta, niiden resurssien käytön seurannasta ja raportoinnista samasta ResourceManagerille.
Komento: ./lanka-daemon.sh aloita nodemanager
Kuva: Hadoop-asennus - NodeManagerin käynnistäminen
Käynnistä JobHistoryServer:
JobHistoryServer vastaa kaikkien työhistoriaan liittyvien asiakkaiden pyyntöjen palvelemisesta.
Komento : ./mr-jobhistory-daemon.sh aloittaa historyserver
Vaihe 14: Tarkista alla oleva komento tarkistaaksesi, että kaikki Hadoop-palvelut ovat toiminnassa.
Komento: jps
Kuva: Hadoop-asennus - Daemonien tarkistus
Vaihe 15: Avaa nyt Mozilla-selain ja siirry kohtaan paikallinen isäntä : 50070 / dfshealth.html tarkistaa NameNode-käyttöliittymän.
Kuva: Hadoop-asennus - WebUI: n käynnistäminen
Onnittelut, olet asentanut yhden solmun Hadoop-klusterin onnistuneesti yhdellä kertaa.Seuraavassa blogissamme , käsittelemme myös Hadoopin asentamista monisolmuiseen klusteriin.
Nyt kun olet ymmärtänyt Hadoopin asentamisen, tutustu Edureka, luotettava verkko-oppimisyritys, jolla on yli 250 000 tyytyväisen oppijan verkosto, joka levisi ympäri maailmaa. Edureka Big Data Hadoop -sertifiointikoulutus auttaa oppijoita tulemaan HDFS: n, langan, MapReduce, Pig, Hive, HBase, Oozie, Flume ja Sqoop -asiantuntijoiksi reaaliaikaisilla käyttötapauksilla vähittäiskaupan, sosiaalisen median, ilmailun, matkailun ja rahoituksen aloilla.
Onko sinulla kysymys meille? Mainitse se kommenttiosassa ja palaamme sinuun.