Mikä on datatiede? Aloittelijan opas tietojenkäsittelyyn

Kun maailma saapui big datan aikakauteen, myös sen tallentamisen tarve kasvoi. Se oli yritystoiminnan suurin haaste ja huolenaihe vuoteen 2010 asti. Pääpaino oli puitteiden ja ratkaisujen rakentamisessa tietojen tallentamiseen. Nyt kun Hadoop ja muut kehykset ovat ratkaisseet onnistuneesti tallennusongelman, painopiste on siirtynyt näiden tietojen käsittelyyn. Data Science on salainen kastike täällä. Kaikki ideat, jotka näet Hollywoodin scifi-elokuvissa, voivat tosiasiallisesti muuttua todellisuudeksi Data Science -sivustolla. Datatiede on tekoälyn tulevaisuus. Siksi on erittäin tärkeää ymmärtää, mikä on datatiede ja miten se voi lisätä arvoa yrityksellesi.

Tässä blogissa käsittelen seuraavia aiheita.

• Mikä on datatiede?
• Miksi datatiede?
• Kuka on datatieteilijä?
  • Mitä datatieteilijä tekee?
• Kuinka se eroaa Business Intelligence (BI) ja Data Science -tutkimuksista?
• Datatieteen elinkaari käyttötapauksen avulla

Tämän blogin loppuun mennessä voit ymmärtää, mikä on datatiede ja sen rooli mielekkään oivalluksen hankkimisessa monimutkaisista ja suurista dataryhmistä ympärillämme.Saadaksesi syvällistä tietoa tieteestä, voit ilmoittautua livenä kirjoittanut Edureka 24/7 tuella ja käyttöikä.

Mikä on datatiede?

Data Science on sekoitus erilaisia ​​työkaluja, algoritmeja ja koneoppimisperiaatteita, joiden tarkoituksena on löytää piilotetut mallit raakatiedoista. Mutta miten tämä eroaa siitä, mitä tilastotieteilijät ovat tehneet vuosia?

Vastaus on selityksen ja ennustamisen välisessä erossa.

Kuten yllä olevasta kuvasta näet, data-analyytikkoyleensä selittää mitä tapahtuu käsittelemällä tietojen historiaa. Toisaalta Data Scientist ei pelkästään tee tutkimuksellista analyysiä saadakseen siitä oivalluksia, vaan käyttää myös useita edistyneitä koneoppimisalgoritmeja tietyn tapahtuman esiintymisen tunnistamiseksi tulevaisuudessa. Data-tutkija tarkastelee tietoja monista näkökulmista, joskus kulmista, joita ei tunneta aiemmin.

Joten datatiedettä käytetään ensisijaisesti päätösten ja ennusteiden tekemiseen käyttämällä ennakoivaa kausaalista analytiikkaa, reseptilevää analytiikkaa (ennakoiva plus päätöksenteko) ja koneoppimista.

• Ennakoiva syy-analyysi - Jos haluat mallin, joka voi ennustaa tietyn tapahtuman mahdollisuudet tulevaisuudessa, sinun on käytettävä ennakoivaa syy-analyysiä. Oletetaan, että jos annat rahaa luottona, todennäköisyys, että asiakkaat tekevät tulevia luottomaksuja ajoissa, on sinulle huolestuttava. Täällä voit rakentaa mallin, joka voi tehdä ennakoivan analyysin asiakkaan maksuhistoriaan ennustamaan, tulevatko maksut ajallaan vai eivät.

• Reseptilääke: Jos haluat mallin, jolla on älykkyys tehdä omat päätöksensä ja kyky muokata sitä dynaamisilla parametreilla, tarvitset siihen ehdottomasti määräämistä. Tämä suhteellisen uusi ala koskee neuvontaa. Toisin sanoen se ei vain ennusta, vaan ehdottaa joukkoa määrättyjä toimia ja niihin liittyviä tuloksia.
  Paras esimerkki tästä on Googlen itse ajava auto, josta olin keskustellut myös aiemmin. Ajoneuvojen keräämiä tietoja voidaan käyttää itse ajavien autojen kouluttamiseen. Voit suorittaa näille tiedoille algoritmeja älykkyyden lisäämiseksi. Tämä antaa autollesi mahdollisuuden tehdä päätöksiä, kuten milloin kääntyä, mitä polkua valita,milloin hidastaa tai nopeuttaa.

• Koneoppiminen ennusteiden tekemistä varten - Jos sinulla on finanssiyhtiön transaktiotietoja ja sinun on rakennettava malli tulevaisuuden trendin määrittämiseksi, koneoppimisalgoritmit ovat paras vaihtoehto. Tämä kuuluu valvotun oppimisen paradigmaan. Sitä kutsutaan valvotuksi, koska sinulla on jo tiedot, joiden perusteella voit kouluttaa koneitasi. Esimerkiksi petosten havaitsemismalli voidaan kouluttaa käyttämällä historiallista tietoa vilpillisistä ostoista.

• Koneoppiminen mallin löytämiseksi - Jos sinulla ei ole parametreja, joiden perusteella voit tehdä ennusteita, sinun on selvitettävä tietojoukon piilotetut mallit, jotta voit tehdä mielekkäitä ennusteita. Tämä ei ole muuta kuin valvomaton malli, koska sinulla ei ole ennalta määriteltyjä tunnisteita ryhmittelyä varten. Yleisin algoritmi, jota käytetään kuvion löytämiseen, on klusterointi.
  Oletetaan, että työskentelet puhelinyhtiössä ja sinun on luotava verkko asettamalla tornit alueelle. Sitten voit käyttää klusterointitekniikkaa löytääksesi tornin sijainnit, jotka varmistavat, että kaikki käyttäjät saavat optimaalisen signaalin voimakkuuden.

Katsotaanpa, kuinka edellä kuvattujen lähestymistapojen osuus eroaa sekä data-analyysissä että datatieteessä. Kuten alla olevasta kuvasta näet, Data-analyysisisältää kuvailevan analyysin ja ennustamisen jossain määrin. Toisaalta datatiede on enemmän ennakoivaa syyanalyysiä ja koneoppimista.

Nyt kun tiedät mikä tarkalleen tiedetiede on, selvitä nyt syy, miksi sitä tarvittiin.

Miksi datatiede?

• Perinteisesti meillä olevat tiedot olivat pääosin jäsenneltyjä ja pienikokoisia, mikä voitiin analysoida yksinkertaisten BI-työkalujen avulla.Toisin kuinperinteiset järjestelmät, jotka olivat pääosin jäsenneltyjä, tänään suurin osa tiedoista on strukturoimattomia tai puolistrukturoituja. Katsotaanpa alla olevan kuvan datasuuntauksia, jotka osoittavat, että vuoteen 2020 mennessä yli 80% tiedoista on rakenteettomia.
  
  Nämä tiedot on tuotettu eri lähteistä, kuten talouslokista, tekstitiedostoista, multimediamuodoista, antureista ja välineistä. Yksinkertaiset BI-työkalut eivät pysty käsittelemään tätä valtavaa määrää ja erilaisia ​​tietoja. Siksi tarvitsemme monimutkaisempia ja kehittyneempiä analyyttisiä työkaluja ja algoritmeja mielekkäiden oivallusten käsittelemiseksi, analysoimiseksi ja hyödyntämiseksi.

Tämä ei ole ainoa syy, miksi datatiede on tullut niin suosituksi. Kaivetaan syvemmälle ja katsotaan, miten datatiedettä käytetään eri aloilla.

• Entä jos voisit ymmärtää asiakkaidesi tarkat vaatimukset olemassa olevien tietojen perusteella, kuten asiakkaan aiempi selaushistoria, ostohistoria, ikä ja tulot. Epäilemättä sinulla oli kaikki nämä tiedot myös aikaisemmin, mutta nyt valtavan määrän ja monipuolisen datan avulla voit kouluttaa malleja tehokkaammin ja suositella tuotetta asiakkaillesi tarkemmin. Eikö se olisi hämmästyttävää, koska se tuo lisää liiketoimintaa organisaatioosi?

• Otetaan erilainen skenaario tietojenkäsittelyn roolin ymmärtämiseksi päätöksenteko.Entä jos autollasi olisi älykkyyttä ajaa sinut kotiin? Itse ajavat autot keräävät reaaliaikaisia ​​tietoja antureista, mukaan lukien tutkat, kamerat ja laserit, luodakseen kartan ympäristöstä. Näiden tietojen perusteella se tekee päätöksiä, kuten milloin nopeuttaa, milloin nopeuttaa, milloin ohittaa, missä kääntyä - käyttämällä edistyneitä koneoppimisalgoritmeja.
• Katsotaanpa, kuinka datatiedettä voidaan käyttää ennakoivassa analyysissä. Otetaan sääennuste esimerkkinä. Alusten, lentokoneiden, tutkien, satelliittien tietoja voidaan kerätä ja analysoida mallien rakentamiseksi. Nämä mallit eivät vain ennusta säätä, vaan auttavat myös ennustamaan luonnollisten onnettomuuksien esiintymistä. Se auttaa sinua toteuttamaan asianmukaiset toimenpiteet etukäteen ja säästää monia kallisarvoisia ihmishenkiä.

Katsotaanpa alla olevaa infografiaa nähdäksesi kaikki verkkotunnukset, joissa Data Science luo vaikutelman.

Kuka on datatieteilijä?

Data Scientists -sivustolta on saatavana useita määritelmiä. Yksinkertaisesti sanottuna datatieteilijä harjoittaa datatieteen taidetta.Termi 'Data Scientist' on ollutkeksitty harkittuaan tosiasian, että datatieteilijä ammentaa paljon tietoa tieteenaloilta ja sovelluksilta, olipa kyse sitten tilastoista tai matematiikasta.

Mitä datatieteilijä tekee?

Datatutkijat ovat niitä, jotka murtautuvat monimutkaisiin dataongelmiin vahvan asiantuntemuksensa avulla tietyillä tieteenaloilla. He työskentelevät useiden matematiikkaan, tilastoihin, tietojenkäsittelyyn jne. Liittyvien elementtien kanssa (vaikka he eivät ehkä ole asiantuntijoita kaikilla näillä aloilla).He käyttävät paljon uusinta tekniikkaa ratkaisujen löytämiseen ja johtopäätösten tekemiseen, jotka ovat ratkaisevan tärkeitä organisaation kasvulle ja kehitykselle. Datatutkijat esittävät tietoja paljon hyödyllisemmässä muodossa verrattuna niiden käytettävissä oleviin raakatietoihin sekä strukturoiduista että rakentamattomista muodoista.

Jos haluat tietää enemmän datatieteilijästä, voit viitata tähän artikkeliin

Siirtymällä eteenpäin, nyt keskustellaan BI: stä. Olet varma, että olet ehkä kuullut myös liiketoimintatiedoista (BI). Usein datatiede sekoitetaan BI: n kanssa. Sanon lyhyesti ja selkeästikontrastit näiden kahden välillä, mikä auttaa sinua ymmärtämään paremmin. Katsotaan.

Business Intelligence (BI) vs. datatiede

• Business Intelligence (BI) analysoi periaatteessa aiemmat tiedot löytääkseen jälkikäteen ja oivalluksia liiketoiminnan trendien kuvaamiseksi. Tässä BI: n avulla voit ottaa tietoja ulkoisista ja sisäisistä lähteistä, valmistella niitä, suorittaa kyselyjä siinä ja luoda koontinäyttöjä vastaamaan kysymyksiin, kutenneljännesvuosittainen tuloanalyysitai liike-elämän ongelmia. BI voi arvioida tiettyjen tapahtumien vaikutuksia lähitulevaisuudessa.

• Tietotiede on tulevaisuuteen suuntautunut lähestymistapa, etsivä tapa, jossa keskitytään analysoimaan menneitä tai nykyisiä tietoja ja ennustamaan tulevia tuloksia tietoon perustuvien päätösten tekemiseksi. Se vastaa avoimiin kysymyksiin 'mitä' ja 'miten' tapahtumista.

Katsotaanpa joitain vastakkaisia ​​piirteitä.

Tässä oli kyse datatieteestä, ymmärretään nyt datatieteen elinkaari.

Data Science -projekteissa tehty yleinen virhe on kiire tietojen keräämiseen ja analysointiin ymmärtämättä vaatimuksia tai edes muotoilemalla liiketoimintaongelmaa kunnolla. Siksi on erittäin tärkeää, että seuraat kaikkia datatieteen elinkaaren vaiheita projektin sujuvan toiminnan varmistamiseksi.

Datatieteen elinkaari

Tässä on lyhyt kuvaus datatieteen elinkaaren päävaiheista:

Vaihe 1 - löytäminen: Ennen projektin aloittamista on tärkeää ymmärtää erilaiset eritelmät, vaatimukset, prioriteetit ja vaadittu budjetti. Sinulla on oltava kyky esittää oikeita kysymyksiä.Tässä arvioit, onko sinulla tarvittavat resurssit henkilöiden, tekniikan, ajan ja datan suhteen projektin tukemiseen.Tässä vaiheessa sinun on myös muotoiltava liiketoimintaongelma ja laadittava alustavat hypoteesit (IH) testattavaksi.

Vaihe 2 - Tietojen valmistelu: Tässä vaiheessa tarvitset analyyttisen hiekkalaatikon, jossa voit suorittaa analytiikkaa koko projektin ajan. Sinun on tutkittava, esikäsiteltävä ja kunnon tiedot ennen mallinnusta. Lisäksi suoritat ETLT: n (pura, muunna, lataa ja muunna) saadaksesi tietoja hiekkalaatikkoon. Katsotaanpa alla olevaa tilastollisen analyysin kulkua.

Voit käyttää R: tä tietojen puhdistamiseen, muuntamiseen ja visualisointiin. Tämä auttaa sinua havaitsemaan poikkeamat ja luomaan suhteen muuttujien välille.Kun olet puhdistanut ja valmistellut tiedot, on aika tehdä tutkiminenanalytiikkasen päällä. Katsotaanpa, kuinka voit saavuttaa tämän.

Vaihe 3 - mallin suunnittelu: Tässä määritetään menetelmät ja tekniikat muuttujien välisten suhteiden piirtämiseksi.Nämä suhteet muodostavat perustan algoritmeille, jotka toteutat seuraavassa vaiheessa.Sovellat Exploratory Data Analyticsia (EDA) käyttämällä erilaisia ​​tilastollisia kaavoja ja visualisointityökaluja.

Katsotaanpa erilaisia ​​mallisuunnittelutyökaluja.

1. R on täydellinen joukko mallinnusominaisuuksia ja tarjoaa hyvän ympäristön tulkitsevien mallien rakentamiseen.
2. SQL-analyysipalvelut osaa suorittaa tietokannan sisäisen analyysin käyttämällä yleisiä tiedonlouhintatoimintoja ja ennakoivia perusmalleja.
3. SAS / PÄÄSY Sitä voidaan käyttää tietojen saamiseen Hadoopista ja sitä käytetään toistettavien ja uudelleenkäytettävien mallien vuokaavioiden luomiseen.

Vaikka markkinoilla on monia työkaluja, mutta R on yleisimmin käytetty työkalu.

Nyt kun olet saanut oivalluksen tietojesi luonteesta ja olet päättänyt käytettävistä algoritmeista. Seuraavassa vaiheessa sinäKäytäalgoritmi ja rakenna malli.

Vaihe 4 - mallin rakentaminen: Tässä vaiheessa kehität tietoaineistoja koulutusta ja testausta varten. Tässä ySinun on harkittava, riittävätkö nykyiset työkalusi mallien käyttämiseen vai tarvitsevatko se vankemman ympäristön (kuten nopea ja rinnakkainen käsittely). Analysoi erilaisia ​​oppimistekniikoita, kuten luokittelu, yhdistäminen ja klusterointi mallin rakentamiseksi.

Voit saavuttaa mallin rakentamisen seuraavilla työkaluilla.

Vaihe 5 - Operoi: Tässä vaiheessa toimitat loppuraportit, tiedotukset, ohjeet ja tekniset asiakirjat.Lisäksi joskus pilottihanke toteutetaan myös reaaliaikaisessa tuotantoympäristössä. Tämä antaa sinulle selkeän kuvan suorituskyvystä ja muista siihen liittyvistä rajoituksista pienessä mittakaavassa ennen täydellistä käyttöönottoa.

Vaihe 6 - Tulosten välittäminen: Nyt on tärkeää arvioida, oletko onnistunut saavuttamaan tavoitteesi, jonka olet suunnitellut ensimmäisessä vaiheessa. Joten viimeisessä vaiheessa tunnistat kaikki keskeiset havainnot, välität sidosryhmille ja selvitätkö tuloksetprojektin onnistuminen tai epäonnistuminen vaiheessa 1 kehitettyjen kriteerien perusteella.

Otan nyt tapaustutkimuksen selittääkseni sinulle edellä kuvatut vaiheet.

Tapaustutkimus: Diabeteksen ehkäisy

Entä jos voimme ennustaa diabeteksen esiintymisen ja ryhtyä asianmukaisiin toimenpiteisiin etukäteen sen estämiseksi?
Tässä käyttötapauksessa ennustamme diabeteksen esiintymisen hyödyntämällä koko elinkaarta, josta keskustelimme aiemmin. Käydään läpi eri vaiheet.

Vaihe 1:

• Ensimmäinen,keräämme tietoja sairaushistoriaan perustuenpotilaan potilaan tilaa vaiheen 1 mukaisesti. Voit viitata alla oleviin näytetietoihin.

• Kuten näette, meillä on useita alla mainittuja ominaisuuksia.

Määritteet:

1. npreg - Raskauskertojen määrä
2. glukoosi - plasman glukoosipitoisuus
3. bp - verenpaine
4. iho - Triceps-ihokerroksen paksuus
5. bmi - painoindeksi
6. ped - Diabetes-sukutoiminto
7. ikä - ikä
8. tulot - Tulot

Vaihe 2:

• Nyt kun olemme saaneet tiedot, meidän on puhdistettava ja valmisteltava tiedot tietojen analysointia varten.
• Näissä tiedoissa on paljon epäjohdonmukaisuuksia, kuten puuttuvat arvot, tyhjät sarakkeet, äkilliset arvot ja virheellinen datamuoto, jotka on puhdistettava.
• Täällä olemme järjestäneet tiedot yhteen taulukkoon eri attribuuttien alle - tehden siitä näyttävän jäsennellymältä.
• Tarkastellaan alla olevia esimerkkitietoja.

Näillä tiedoilla on paljon epäjohdonmukaisuuksia.

1. Sarakkeessa npreg , 'Yksi' on kirjoitettusanat,sen pitäisi olla numeerisessa muodossa kuten 1.
2. Sarakkeessa bp yksi arvoista on 6600, mikä on mahdotonta (ainakin ihmisille) koska bp ei voi nousta niin valtavaan arvoon.
3. Kuten näette Tulo sarake on tyhjä eikä myöskään ole mitään järkeä ennustaa diabetesta. Siksi on tarpeeton pitää se täällä ja se tulisi poistaa taulukosta.

• Joten puhdistamme ja esikäsittelemme nämä tiedot poistamalla poikkeamat, täyttämällä nolla-arvot ja normalisoimalla tietotyypin. Jos muistat, tämä on toinen vaihe, joka on tietojen esikäsittely.
• Lopuksi saamme alla olevan kuvan mukaiset puhtaat tiedot, joita voidaan käyttää analyyseihin.

Vaihe 3:

Tehdään nyt analyysi, kuten aiemmin keskusteltiin vaiheessa 3.

• Ensin lataamme tiedot analyyttiseen hiekkalaatikkoon ja käytämme siihen erilaisia ​​tilastofunktioita. Esimerkiksi R: llä on toimintoja, kuten kuvaa mikä antaa meille puuttuvien arvojen ja ainutlaatuisten arvojen määrän. Voimme käyttää myös yhteenvetotoimintoa, joka antaa meille tilastotietoja, kuten keskiarvo, mediaani, alue, min ja maks.
• Sitten käytämme visualisointitekniikoita, kuten histogrammeja, viivakaavioita, laatikkokaavioita saadaksemme oikeudenmukaisen kuvan tiedon jakautumisesta.

Vaihe 4:

Nyt edellisestä vaiheesta saatujen oivallusten perusteella päätöksentekopuu sopii parhaiten tällaiseen ongelmaan. Katsotaan miten?

• Koska meillä on jo tärkeimmät attribuutit analysointiin, kuten npreg, bmi jne., joten käytämmeohjattu oppimistekniikka amalli täällä.
• Lisäksi olemme käyttäneet erityisesti päätöksentekopuuta, koska se ottaa kaikki ominaisuudet huomioon yhdellä kertaa, kuten ne, joilla onsekä lineaarinen suhde että ne, joilla on epälineaarinen suhde. Meidän tapauksessamme on lineaarinen suhde npreg ja ikä, kun taas epälineaarinen suhde npreg ja ped .
• Päätöspuumallit ovat myös erittäin vankkoja, koska voimme käyttää erilaista attribuuttiyhdistelmää erilaisten puiden tekemiseen ja lopulta toteuttaa ne mahdollisimman tehokkaasti.

Katsotaanpa päätöksentekoamme.

c ++ -tyyppinen muunnos

Tässä tärkein parametri on glukoosipitoisuus, joten se on juurisolmumme. Nykyinen solmu ja sen arvo määrittävät nyt seuraavan tärkeän otettavan parametrin. Se jatkuu, kunnes saamme tuloksen pos tai neg . Pos tarkoittaa diabeteksen taipumusta positiiviseksi ja neg tarkoittaa diabeteksen taipumusta negatiiviseksi.

Jos haluat oppia lisää päätöksentekopuun toteuttamisesta, katso tämä blogi

Vaihe 5:

Tässä vaiheessa suoritamme pienen pilottihankkeen tarkistaaksemme, ovatko tuloksemme asianmukaisia. Etsimme myös mahdollisia suorituskykyrajoituksia. Jos tulokset eivät ole tarkkoja, malli on suunniteltava uudelleen ja rakennettava uudelleen.

Vaihe 6:

Kun olemme toteuttaneet projektin onnistuneesti, jaamme tuotoksen täydellistä käyttöönottoa varten.

Datatieteilijäksi oleminen on helpompaa sanoa kuin tehdä. Katsotaanpa, mitä kaikkea tarvitset ollaksesi datatieteilijä.Data-tutkija vaatii taitoja pohjimmiltaankolmelta pääalueelta, kuten alla on esitetty.

Kuten yllä olevasta kuvasta näet, sinun on hankittava erilaisia ​​kovia taitoja. Sinun täytyy olla hyvä tilastot ja matematiikka analysoida ja visualisoida tietoja. Tarpeetonta sanoa, Koneoppiminen muodostaa datatieteen ytimen ja vaatii sinua olemaan siinä hyvä. Lisäksi sinulla on oltava vankka käsitys verkkotunnus yrität ymmärtää liiketoimintaongelmat selvästi. Tehtäväsi ei lopu tähän. Sinun pitäisi pystyä toteuttamaan erilaisia ​​algoritmeja, jotka vaativat hyvää koodaus taitoja. Lopuksi, kun olet tehnyt tietyt keskeiset päätökset, on tärkeää, että toimitat ne sidosryhmille. Niin hyvä viestintä lisää varmasti brownie-pisteitä taitoihisi.

Kehotan teitä tutustumaan tähän Data Science -video-oppaaseen, jossa selitetään mikä on Data Science ja kaikki mitä olemme keskustelleet blogissa. Mene eteenpäin, nauti videosta ja kerro mitä mieltä olet.

Mikä on datatiede? Tietojenkäsittelykurssi - tietojenkäsittelyopastus aloittelijoille | Edureka

Tämä Edureka Data Science -kurssivideo vie sinut läpi datatieteen tarpeen, mikä on datatiede, datatieteen käyttötapaukset yrityksille, BI vs. datatiede, data-analyysityökalut, datatieteen elinkaari sekä demo.

Loppujen lopuksi ei ole väärin sanoa, että tulevaisuus kuuluu datatieteilijöille. On ennustettu, että vuoden 2018 loppuun mennessä tarvitaan noin miljoona datatieteilijää. Yhä useammat tiedot tarjoavat mahdollisuuden ohjata keskeisiä liiketoimintapäätöksiä. Pian se muuttaa tapaa, jolla katsomme maailmaa, joka on ympäröity tiedoillamme. Siksi datatieteilijän tulisi olla erittäin ammattitaitoinen ja motivoitunut ratkaisemaan monimutkaisimmat ongelmat.

Toivottavasti pidit lukemasta blogiani ja ymmärrät mikä tiedetiede on.Katso meidän täällä mukana tulee ohjaajan vetämä live-koulutus ja tosielämän projektikokemus.