Suurten tietojen käsittely Apache Spark & ​​Scalalla



Apache Spark on tullut loistava kehitys suurten tietojenkäsittelyjen alalla.

kuinka muuntaa luku binaariksi pythonissa

IST: klo 7.00–8.00, 17. lokakuuta’14





PDT: 16.30–19.30, 16. lokakuuta ’14

Rajoitettuja paikkoja !! Täytä oikealla oleva lomake ja varaa paikka tänään.



Hei kaikki, teemme ilmaisen webinaarin Apache Sparkissa ja Scalassa 18. lokakuuta 14. Verkkoseminaarin otsikko on ”Suurten tietojen käsittely Apache Sparkin ja Scalan avulla” . Tässä verkkoseminaarissa käsitellään Apache Sparkia ja Scalaa koskevia keskeisiä aiheita. Kysymykset tai epäilyt voidaan selvittää istunnon aikana.

Käsiteltävät aiheet:

  • Mikä on Big Data?
  • Mikä on Spark?
  • Miksi Spark?
  • Kipinän ekosysteemi
  • Huomautus Scalasta
  • Miksi Scala?
  • Hello Spark - Kädet päällä

Miksi Spark?

Apache Spark on avoimen lähdekoodin klusterilaskentakehys Hadoop-yhteisöklustereille. Se täyttää yhden parhaista data-analyysi- ja käsittelymoottoreista laajamittaisen datan suhteen vertaansa vailla olevan nopeuden, helppokäyttöisyyden ja hienostuneen analytiikan avulla. Seuraavat edut ja ominaisuudet tekevät Apache Sparkista crossover-osuman sekä operatiiviseen että tutkivaan analytiikkaan:

  • Sparkin kautta kehitetyt ohjelmat toimivat 100 kertaa nopeammin kuin Hadoop MapReducessa kehitetyt.
  • Spark kokoaa 80 korkean tason operaattoria.
  • Spark Streaming mahdollistaa reaaliaikaisen tietojenkäsittelyn.
  • GraphX ​​on graafisten laskelmien kirjasto.
  • MLib on koneoppimiskirjasto Sparkille.
  • Ensinnäkin Scalaan kirjoitettu Spark voidaan upottaa mihin tahansa JVM-pohjaiseen käyttöjärjestelmään, ja samalla sitä voidaan käyttää myös REPL (Read, Evaluate, Process and Load) -toiminnolla.
  • Siinä on tehokkaat välimuistin ja levyn pysyvyysominaisuudet.
  • Spark SQL antaa sen hallita taitavasti SQL-kyselyitä
  • Apache Spark voidaan ottaa käyttöön Apache Mesosin, HDFS-langan, HBasen, Cassandran tai Spark Cluster Managerin (Sparkin oma klusterien hallinta) kautta.
  • Spark simuloi Scalan toiminnallista tyyliä ja kokoelmien sovellusliittymää, mikä on suuri etu Scalan ja Java-kehittäjille.

Apache Sparkin tarve:

Spark tarjoaa valtavia etuja teollisuudelle nopeuden, tehtävien monipuolisuuden, joustavuuden, laadukkaiden tietojen analysoinnin, kustannustehokkuuden jne. Suhteen, jotka ovat päivän tarpeita. Se tarjoaa huippuluokan reaaliaikaisia ​​big data -analyysiratkaisuja IT-teollisuudelle vastaamaan kasvavaan asiakaskysyntään. Reaaliaikainen analyysi hyödyntää liiketoiminnan kykyjä kasaan. Sen yhteensopivuus Hadoopin kanssa tekee yrityksille erittäin helpoksi ottaa se nopeasti käyttöön. Spark-oppineille asiantuntijoille ja kehittäjille on jyrkkä tarve, koska tämä on suhteellisen uusi tekniikka, jota käytetään yhä enemmän.