Sikaohjelmointi: Luo ensimmäinen Apache Pig -skripti
Meidän , opimme nyt luomaan Apache Pig -komentosarjan. Apache Pig -skriptejä käytetään joukon Apache Pig -komentojen suorittamiseen yhdessä. Tämä auttaa vähentämään aikaa ja vaivaa, joka investoidaan kunkin komennon kirjoittamiseen ja suorittamiseen manuaalisesti samalla kun teet tämän Pig-ohjelmoinnissa.Se on myös olennainen osa .Tämä blogi on vaiheittainen opas, joka auttaa sinua luomaan ensimmäisen Apache Pig -komentosarjan.
Apache Pig -komentosarjan suoritustilat
Paikallinen tila : ”Paikallisessa tilassa” voit suorittaa pig-komentosarjan paikallisessa tiedostojärjestelmässä. Tässä tapauksessa sinun ei tarvitse tallentaa tietoja Hadoop HDFS-tiedostojärjestelmään, vaan voit työskennellä itse paikalliseen tiedostojärjestelmään tallennettujen tietojen kanssa.
kuinka luoda dynaamisia verkkosivuja
MapReduce-tila : MapReduce-tilassa tiedot on tallennettava HDFS-tiedostojärjestelmään, ja voit käsitellä tietoja pig-komentosarjan avulla.
Apache Pig Script MapReduce-tilassa
Sanotaan, että tehtävämme on lukea tietoja datatiedostosta ja näyttää vaadittu sisältö päätelaitteessa ulostulona.
Esimerkkitiedosto sisältää seuraavat tiedot:
Tallenna tekstitiedosto nimellä ”information.txt”
Esimerkkitiedosto sisältää viisi saraketta Etunimi , Sukunimi , Kännykkänumero , Kaupunki ja Ammatti erotettu sarkainnäppäintä . Tehtävämme on lukea tämän tiedoston sisältö HDFS: stä ja näyttää kaikkien näiden tietueiden sarakkeet.
Jos haluat käsitellä näitä tietoja Pigin avulla, tämän tiedoston tulisi olla Apache Hadoop HDFS: ssä.
Komento : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka
Vaihe 1: Possun käsikirjoituksen kirjoittaminen
Luo ja avaa Apache Pig -komentosarjatiedosto editorissa (esim. Gedit).
Komento : sudo gedit /home/edureka/output.pig
Tämä komento luo ”output.pig” -tiedoston edureka-käyttäjän kotihakemistoon.
Kirjoitetaan muutama PIG-komento output.pig-tiedostoon.
A = LOAD '/edureka/information.txt' käyttäen PigStorage ('') -merkkiä (FName: chararray, LName: chararray, MobileNo: chararray, Kaupunki: chararray, Ammatti: chararray) B = FOREACH A luoda FName, MobileNo, Profession DUMP BTallenna ja sulje tiedosto.
- Ensimmäinen komento lataa tiedoston 'information.txt' muuttujaan A epäsuoralla skeemalla (FName, LName, MobileNo, City, Profession).
- Toinen komento lataa tarvittavat tiedot muuttujasta A muuttujaan B.
- Kolmas rivi näyttää muuttujan B sisällön päätelaitteessa / konsolissa.
Vaihe 2: Suorita Apache Pig Script
Suorita seuraava komento suorittaaksesi pig-komentosarjan HDFS-tilassa:
Komento : sika /home/edureka/output.pig
Kun toteutus on valmis, tarkista tulos. Nämä alla olevat kuvat näyttävät tulokset ja niiden välikartan ja vähentävät toimintoja.
Alla oleva kuva osoittaa, että komentosarja suoritettiin onnistuneesti.
Alla olevassa kuvassa näkyy skriptimme tulos.
Onnittelut ensimmäisen Apache Pig -koodin onnistuneesta suorittamisesta!
pl / sql-poikkeusten käsittely
Nyt tiedät, miten luoda ja suorittaa Apache Pig -komentosarja. Siksi seuraava blogimme kattaa miten luo UDF (käyttäjän määrittelemät toiminnot) Apache Pig -sovellukseen ja suorita se MapReduce / HDFS-tilassa.
Nyt kun olet luonut ja suorittanut Apache Pig Scriptin, tarkista Edureka, luotettava verkko-oppimisyritys, jolla on yli 250 000 tyytyväisen oppijan verkosto, joka levisi ympäri maailmaa. Edureka Big Data Hadoop -sertifiointikoulutus auttaa oppijoita tulemaan HDFS-, Lanka-, MapReduce-, Pig-, Hive-, HBase-, Oozie-, Flume- ja Sqoop-asiantuntijoiksi käyttämällä reaaliaikaisia käyttötapauksia vähittäiskaupan, sosiaalisen median, ilmailun, matkailun ja rahoituksen verkkotunnuksissa.
Onko sinulla kysymys meille? Mainitse se kommenttiosassa ja palaamme sinuun.