Hadoop, kuten me kaikki tiedämme, on big data -julkaisupoika. Hadoop on ohjelmistokehyksenä, joka pystyy käsittelemään elefanttiosuuksien osuuksia tietojenkäsittelytietojen luettelon kärkeen.
Muistipinon ennennäkemätön nousu on kuitenkin tuonut big data -ekosysteemille uuden vaihtoehdon analytiikkaan. MapReduce-analyysitapa korvataan uudella lähestymistavalla, joka mahdollistaa analyysin sekä Hadoop-puitteissa että sen ulkopuolella. Apache Spark on iso data-analytiikan tuore uusi kasvot.
java-ero hashmapin ja hashtabelin välillä
Suurtietoharrastajat ovat sertifioineet Apache Sparkin maailman kuumimmaksi datanlaskentamoottoriksi. MapReduce ja Java poistetaan nopeasti asemastaan, ja työn suuntaukset heijastavat tätä muutosta. TypeSafe-tutkimuksen mukaan 71% maailmanlaajuisista Java-kehittäjistä arvioi tai tutkii Sparkia ja noin 35% heistä on jo aloittanut sen käytön. Spark-asiantuntijat ovat tällä hetkellä kysyttyjä, ja seuraavina viikkoina Sparkiin liittyvien työmahdollisuuksien odotetaan kulkevan vain katon läpi.
Joten, mitä Apache Sparkissa on, mikä tekee siitä näkyvän jokaisen tietohallintojohtajien tehtäväluettelon päällä?
Tässä on joitain Apache Sparkin mielenkiintoisia ominaisuuksia:
- Hadoop-integraatio - Spark voi toimia HDFS: ään tallennettujen tiedostojen kanssa.
- Sparkin interaktiivinen kuori - Spark on kirjoitettu Scalassa, ja sillä on oma versio Scalan tulkkista.
- Sparkin analyyttinen sviitti - Spark sisältää työkalut interaktiiviseen kyselyanalyysiin, laajamittaiseen kaavioiden käsittelyyn ja analysointiin sekä reaaliaikaiseen analyysiin.
- Joustavat hajautetut tietojoukot (RDD) - RDD: t ovat hajautettuja objekteja, jotka voidaan tallentaa välimuistiin muistiin solmujen joukon yli. Ne ovat Sparkin ensisijaisia dataobjekteja.
- Hajautetut operaattorit - MapReducen lisäksi RDD: llä on monia muita operaattoreita.
Organisaatiot, kuten NASA, Yahoo ja Adobe, ovat sitoutuneet Sparkiin. Tämän John Tripier, Alliance and Ecosystem Lead at Databricks sanoo: 'Apache Sparkin omaksuminen suurissa ja pienissä yrityksissä kasvaa uskomattoman nopeasti useilla toimialoilla, ja sertifioidun asiantuntemuksen omaavien kehittäjien kysyntä on nopeaa. seuraava perässä ”. Ei ole koskaan ollut parempaa aikaa oppia Sparkia, jos sinulla on tausta Hadoopissa.
mitä ovat kontekstisuodattimet taulussa
Edureka on erityisesti kuratoinut Apache Spark & Scala -kurssin, jonka ovat luoneet tosielämän ammattilaiset. Jos haluat erilaistua live-oppimiskokemuksen yhdessä teollisuuden kannalta merkittävien projektien kanssa, tutustu kurssillemme. Uudet erät alkavat pian, joten tutustu kurssiin täällä: .
Onko sinulla kysymys meille? Mainitse se kommenttiosassa ja palaamme sinuun.
Aiheeseen liittyvät julkaisut:
mikä on nimitila c ++: ssa