Olemme oppineet Rakenna pesää ja lankaa Sparkille . Kokeile nyt esimerkkejä pesästä ja langasta Sparkissa.
Hive-esimerkki Sparkista
Suoritamme esimerkin Hive Sparkista. Luomme taulukon, lataamme siihen tietoja ja suoritamme yksinkertaisen kyselyn. Kun työskentelet Hiveen kanssa, on rakennettava a HiveContext joka perii SQLCkonteksti .
Komento: cd-kipinä-1.1.1
Komento: ./bin/spark-shell
Luo syötetiedosto 'näyte' kotihakemistossasi alla olevan tilannekuvan alla (välilehti erotettu).
mihin datatietettä käytetään
Komento: val sqlContext = uusi org.apache.spark.sql.hive.HiveContext (sc)
Komento: sqlContext.sql ('LUO TAULUKKO, JOS EI OLE TESTTI (nimi STRING, sijoitus INT) RIVIMUOTO RAJOITETUT KENTTÄT, JOTKA PÄÄTTYVÄT' RIVIT LOPETETTU
””)
Komento: sqlContext.sql ('LATAA DATA LOCAL INPATH '/ home / edureka / sample' IN PÖYTÄ -testi ')
Komento: sqlContext.sql (“SELECT * FROM test WHERE -luokka<5”).collect().foreach(println)
Lankaesimerkki kipinässä
Suoritamme SparkPi-esimerkin langasta. Voimme ottaa langan käyttöön Sparkissa kahdessa tilassa: klusterimoodissa ja asiakastilassa. Lankaklusteri-tilassa Spark-ohjain toimii sovelluksen pääprosessissa, jota Yarn hallitsee klusterissa, ja asiakas voi mennä pois sovelluksen käynnistämisen jälkeen. Lanka-asiakas-tilassa ohjain toimii asiakasprosessissa, ja sovelluspäällikköä käytetään vain resurssien pyytämiseen langasta.
Komento: cd-kipinä-1.1.1
Komento: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –masterilanka –asennustilan klusteri –luokka org.apache.spark.esimerkkejä. SparkPi –num-toteuttajat 1 –ajurimuisti 2g –suoritusmuisti 1g –suoritusytimet 1 esimerkit / kohde / scala-2.10 / kipinäesimerkit-1.1.1-hadoop2.2.0.jar
Kun olet suorittanut yllä olevan komennon, odota hetki, kunnes saat ONNISTUI viesti.
Selaa paikallinen isäntä: 8088 / klusteri ja napsauta Spark-sovellusta.
java-ohjelma yhteyden muodostamiseksi mysql-tietokantaan
Klikkaa lokit .
miten luoda sovellus Salesforceen
Klikkaa stdout tarkistaa lähtö.
Jos haluat käyttää lankaa Sparkissa asiakastilassa, tee vain –Deploy-mode kuten 'asiakas'. Nyt tiedät kuinka rakentaa pesä ja lanka Sparkille. Teimme myös käytännön harjoituksia niistä.
Onko sinulla kysymys meille? Mainitse ne kommenttiosassa ja palaamme sinuun.
Aiheeseen liittyvät julkaisut
Apache Spark ja Hadoop - miksi sillä on merkitystä?
Kipinä sähköistää pesää ja lankaa