Tässä blogissa katsotaanpa, kuinka Spark rakennetaan tietylle Hadoop-versiolle.
Opimme myös rakentamaan Sparkin HIVE ja LANKA.
menetelmän ylikuormituksen edut Java-tilassa
Ottaen huomioon, että sinulla on Hadoop, jdk, mvn ja mennä valmiiksi asennettu ja konfiguroitu järjestelmään.
Avata Mozilla-selain ja lataa Kipinä käyttämällä alla olevaa linkkiä.
https://edureka.wistia.com/medias/k14eamzaza/
Avaa pääte.
Komento: tar -xvf Lataukset / spark-1.1.1.tgz
Komento: ls
Avaa hakemisto spark-1.1.1.
Voit avata pom.xml tiedosto. Tämä tiedosto antaa sinulle tietoja kaikista tiedostoista riippuvuudet tarvitset.
Älä muokkaa sitä välttääksesi ongelmia.
Komento: CD-kipinä-1.1.1 /
Komento: sudo gedit sbt / sbt-launch-lib.bash
Muokkaa tiedostoa alla olevan tilannekuvan mukaisesti, tallenna se ja sulje se.
Pienennämme muistia välttääksemme esineiden kasaan liittyvän ongelman, kuten alla olevassa tilannekuvassa mainitaan.
Suorita alla oleva komento terminaalissa rakentaaksesi kipinää Hadoop 2.2.0: lle HIVE: llä ja YARNilla.
Komento: ./sbt/sbt -P lanka -P pesä -Padad-2,2 -D hadoop.versio = 2,2,0 -D skipTests kokoonpano
Huomaa: Oma Hadoop-versioni on 2.2.0, voit muuttaa sitä Hadoop-version mukaan.
Muille Hadoop-versioille
# Apache Hadoop 2.0.5-alfa
-Dhadoop.versio = 2,0,5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.versio = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Padad-0,23 -Dhadoop-versio = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.versio = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.versio = 2.4.0
Kokoonpano ja pakkaaminen vie jonkin aikaa, odota, kunnes se on valmis.
Kaksi purkkia kipinäkokoonpano-1.1.1-hadoop2.2.0.jar ja kipinäesimerkkejä-1.1.1-hadoop2.2.0.jar luodaan.
Polku kipinäkokoonpano-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Polku kipinäesimerkkejä-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Onneksi olkoon, olet rakentanut onnistuneesti Spark for Hive & Larnan.
Onko sinulla kysymys meille? Mainitse ne kommenttiosassa ja palaamme sinuun.
Aiheeseen liittyvät julkaisut:
Apache Spark ja Hadoop - miksi sillä on merkitystä?