Informatica ETL: Aloittelijan opas ETL: n ymmärtämiseen Informatica PowerCenterin avulla

Informatica ETL: n käsitteiden ja ETL: n eri vaiheiden ymmärtäminen ja käytännön käyttötapaus, johon sisältyy työntekijöiden tietokanta.

Informatica ETL: n tarkoituksena on tarjota käyttäjille paitsi prosessi tietojen keräämiseksi lähdekoodijärjestelmistä ja tuominen tietovarastoon, mutta myös tarjota käyttäjille yhteinen foorumi integroimaan tietonsa eri alustoilta ja sovelluksilta.Tämä on johtanut kysynnän kasvuun .Ennen kuin puhumme Informatica ETL: stä, ymmärretään ensin, miksi tarvitsemme ETL: ää.

Miksi tarvitsemme ETL: ää?

Jokainen yritysnäinä päivinä on käsitellä suuria tietoja eri lähteistä. Nämä tiedot on käsiteltävä, jotta ne antavat oivaltavaa tietoa liiketoimintapäätösten tekemiseksi. Mutta usein tällaisilla tiedoilla on seuraavat haasteet:





  • Suuret yritykset tuottavat paljon tietoa, ja tällainen valtava osa tietoja voi olla missä tahansa muodossa. Ne olisivat saatavilla useissa tietokannoissa ja monissa strukturoimattomissa tiedostoissa.
  • Nämä tiedot on koottava, yhdistettävä, vertailtava ja saatettava toimimaan saumattomana kokonaisuutena. Eri tietokannat eivät kuitenkaan kommunikoi hyvin!
  • Monet organisaatiot ovat toteuttaneet rajapintoja näiden tietokantojen välillä, mutta niillä oli seuraavat haasteet:
    • Jokainen tietokantapari vaatii ainutlaatuisen käyttöliittymän.
    • Jos vaihdat yhtä tietokantaa, monet käyttöliittymät on ehkä päivitettävä.

Alla näet organisaation eri tietokannat ja niiden vuorovaikutukset:

Erilaiset organisaation tietojoukot - Informatica - ETL - Edureka

Erilaiset tietokannat, joita organisaation eri osastot käyttävät



Organisaation tietokantojen erilaiset vuorovaikutukset

Kuten yllä nähtiin, organisaatiolla voi olla useita tietokantoja eri osastoillaan, ja niiden välistä vuorovaikutusta on vaikea toteuttaa, koska heille on luotava erilaisia ​​vuorovaikutusrajapintoja. Näiden haasteiden voittamiseksi paras mahdollinen ratkaisu on Tietojen integrointi mikä antaisi eri tietokannoista ja muodoista peräisin olevan datan kommunikoida keskenään. Alla oleva kuva auttaa meitä ymmärtämään, kuinka tietojen integrointityökalusta tulee yhteinen käyttöliittymä eri tietokantojen väliseen viestintään.

Erilaiset tietokannat, jotka on yhdistetty tietojen integroinnin kautta



Tietojen integroinnin suorittamiseen on kuitenkin käytettävissä erilaisia ​​prosesseja. Näistä prosesseista ETL on optimaalisin, tehokkain ja luotettava prosessi. ETL: n kautta käyttäjä ei voi vain tuoda tietoja eri lähteistä, vaan hän voi suorittaa datan eri toiminnot ennen näiden tietojen tallentamista loppukohteeseen.

Informatica PowerCenter on markkinoiden johtava tietojen integrointialusta markkinoiden saatavilla olevista ETL-työkaluista. Testattu lähes 500 000 alustan ja sovelluksen yhdistelmällä Informatica PowerCenter inter toimii mahdollisimman laajan valikoiman erilaisia ​​standardeja, järjestelmiä ja sovelluksia. Ymmärretään nyt Informatica ETL -prosessin vaiheet.

Informatiikka ETL Informatica-arkkitehtuuri | Informatica PowerCenter -opetusohjelma Edureka

Tämä Edureka Informatica -opetusohjelma auttaa sinua ymmärtämään ETL: n perusteet käyttämällä Informatica Powercenteria yksityiskohtaisesti.

Vaiheet Informatica ETL -prosessissa:

Ennen kuin siirrymme Informatica ETL: n eri vaiheisiin, antakaamme meille yleiskatsaus ETL: stä. ETL: ssä purkaminen on paikka, jossa tiedot puretaan homogeenisista tai heterogeenisistä tietolähteistä, muunnos, jossa tiedot muunnetaan varastointia varten oikeassa muodossa tai rakenteessa kyselyä ja analyysiä varten ja lataaminen, jos tiedot ladataan lopulliseen kohdetietokantaan, operatiivinen tietovarasto, datasäilö tai tietovarasto. Alla oleva kuva auttaa sinua ymmärtämään, kuinka Informatica ETL -prosessi tapahtuu.

ETL-prosessin yleiskatsaus

Kuten edellä todettiin, Informatica PowerCenter voi ladata tietoja eri lähteistä ja tallentaa ne yhteen tietovarastoon. Katsokaamme nyt vaiheita, jotka liittyvät Informatica ETL -prosessiin.

Informatica ETL -prosessissa on pääasiassa 4 vaihetta, ymmärretään nyt ne perusteellisesti:

  1. Pura tai sieppaa
  2. Puhdista tai puhdista
  3. Muuttaa
  4. Lataa ja indeksoi

1. Pura tai sieppaa: Kuten alla olevasta kuvasta näkyy, sieppaus tai poimi on Informatica ETL -prosessin ensimmäinen vaihe.Se on prosessi, jolla saadaan tilannekuva valitusta tietojoukosta lähteestä, joka on ladattava tietovarastoon. Tilannekuva on vain lukukelpoinen staattinen näkymä tietokannan tiedoista. Pura-prosessi voi olla kahden tyyppinen:

  • Täysi ote: Tiedot puretaan kokonaan lähdekoodijärjestelmästä, eikä tietolähteen muutoksia tarvitse seurata edellisen onnistuneen purkamisen jälkeen.
  • Lisäuute: Tämä tallentaa vain muutokset, jotka ovat tapahtuneet edellisen täydellisen otteen jälkeen.

Vaihe 1: Pura tai sieppaa

2. Puhdista tai puhdista: Tämä on prosessi, joka puhdistaa lähteestä peräisin olevan datan käyttämällä erilaisia ​​kuviointunnistus- ja tekoälytekniikoita edistämään edistyneiden tietojen laatua. Yleensä virheet, kuten kirjoitusvirheet, virheelliset päivämäärät, virheellinen kentän käyttö, yhteensopimattomat osoitteet, puuttuvat tiedot, päällekkäiset tiedot, epäjohdonmukaisuudetkorostettu ja korjattu tai poistettutässä vaiheessa. Myös tässä vaiheessa suoritetaan toimintoja, kuten dekoodaus, alustaminen, aikaleimaus, muuntaminen, avainten luominen, yhdistäminen, virheiden havaitseminen / kirjaaminen, puuttuvien tietojen paikantaminen. Kuten alla olevasta kuvasta näkyy, tämä on Informatica ETL -prosessin toinen vaihe.

Vaihe 2: Tietojen puhdistus tai puhdistus

3. Muunna: Kuten alla olevasta kuvasta näkyy, tämä on kolmas ja tärkein vaihe Informatica ETL -prosessissa. Transformaatiot ovat tietojen muuntaminen lähdejärjestelmän muodosta Data Warehousen luurankoon. Muunnosta käytetään periaatteessa edustamaan joukkoa sääntöjä, jotka määrittelevät tietovirran ja kuinka data ladataan kohteisiin. Jos haluat tietää enemmän muutoksesta, tarkista Muutokset Informaticassa Blogi.

Vaihe 3: Muutos

4. Kuormitus ja hakemisto: Tämä on Informatica ETL -prosessin viimeinen vaihe, kuten alla olevasta kuvasta näkyy. Tässä vaiheessa sijoitamme muunnetut tiedot varastoon ja luomme tiedoille hakemistot. Latausprosessin perusteella on käytettävissä kaksi päätyyppiä datakuormaa:

  • Täysi kuorma tai irtotavarana :Tiedon latausprosessi, kun teemme sen ensimmäisellä kerralla. Työ poimii koko tietomäärän lähdetaulukosta ja latautuu kohdetietovarastoon tarvittavien muunnosten suorittamisen jälkeen. Se on kertaluonteinen työ, jonka jälkeen pelkästään muutokset kaapataan osana osittaista otetta.
  • Lisäkuorma tai Päivitä kuorma : Pelkästään muokatut tiedot päivitetään kohteena, jota seuraa täysi kuorma. Muutokset otetaan huomioon vertaamalla luotua tai muokattua päivämäärää työn viimeiseen juoksupäivään.Pelkästään muokatut tiedot on saatu lähteestä, ja ne päivitetään kohteessa vaikuttamatta olemassa oleviin tietoihin.

Vaihe 4: Lataa ja indeksoi

Jos olet ymmärtänyt Informatica ETL -prosessin, voimme nyt paremmin arvioida, miksi Informatica on paras ratkaisu tällaisissa tapauksissa.

Informatica ETL: n ominaisuudet:

Informatica on toimittanut meille kaikki tietojen integrointi- ja ETL-toiminnot Informatica PowerCenter . Katsotaanpa nyt joitain Informatica ETL: n keskeisiä piirteitä:

  • Tarjoaa mahdollisuuden määrittää suuri määrä muunnossääntöjä graafisella käyttöliittymällä.
  • Luo ohjelmia tietojen muuntamiseksi.
  • Käsittele useita tietolähteitä.
  • Tukee tietojen purkamista, puhdistamista, yhdistämistä, uudelleenjärjestämistä, muuntamista ja lataamista.
  • Luo ohjelmat automaattisesti tietojen purkamista varten.
  • Kohdetietovarastojen nopea lataus.

Seuraavassa on joitain tyypillisiä tilanteita, joissa Informatica PowerCenteriä käytetään:

  1. Tiedonsiirto:

Yritys on ostanut uuden ostovelkasovelluksen tiliosastolleen. PowerCenter voi siirtää olemassa olevat tilitiedot uuteen sovellukseen. Alla oleva kuva auttaa sinua ymmärtämään, kuinka voit käyttää Informatica PowerCenteria tietojen siirtämiseen. Informatica PowerCenter voi helposti säilyttää tietolinjan verotusta, kirjanpitoa ja muita laillisesti määrättyjä tarkoituksia varten tietojen siirtoprosessin aikana.

Tietojen siirtäminen vanhemmasta kirjanpitosovelluksesta uuteen sovellukseen

  1. Sovellusten integrointi:

Oletetaan, että yritys-A ostaa yritys-B: n. Joten konsolidoinnin hyötyjen saavuttamiseksi Company-B: n laskutusjärjestelmä on integroitava Company-A: n laskutusjärjestelmään, joka voidaan helposti tehdä Informatica PowerCenterin avulla. Alla oleva kuva auttaa sinua ymmärtämään, kuinka voit käyttää Informatica PowerCenter -ohjelmaa sovellusten integrointiin yritysten välillä.

Sovellusten integrointi yritysten välillä

  1. Tietovarastointi

Tietovarastoissa vaaditaan tyypillisiä toimia:

  • Yhdistämällä monista lähteistä saatuja tietoja analyysia varten.
  • Tietojen siirtäminen monista tietokannoista tietovarastoon.

Kaikki edellä mainitut tyypilliset tapaukset voidaan suorittaa helposti Informatica PowerCenter -sovelluksella. Alla näet, että Informatica PowerCenteria käytetään yhdistämään tietoja erilaisista tietokannoista, kuten Oracle, SalesForce jne., Ja tuomaan ne yhteiseen tietovarastoon, jonka Informatica PowerCenter on luonut.

Tiedot eri tietokannoista integroituna yhteiseen tietovarastoon

  1. Väliohjelmisto

Oletetaan, että vähittäiskaupan organisaatio käyttää SAP R3: ta vähittäiskaupan sovelluksissaan ja SAP BW: tä tietovarastona. Suora tiedonsiirto näiden kahden sovelluksen välillä ei ole mahdollista tiedonsiirtoliitännän puuttumisen vuoksi. Informatica PowerCenteria voidaan kuitenkin käyttää väliohjelmana näiden kahden sovelluksen välillä. Alla olevasta kuvasta näet arkkitehtuurin siitä, miten Informatica PowerCenteria käytetään väliohjelmana SAP R / 3: n ja SAP BW: n välillä. SAP R / 3 -sovellukset siirtävät tietonsa ABAP-kehykseen, joka sitten siirtää neSAP-myyntipisteet (POS) ja SAPPalvelulaskut (BOS). Informatica PowerCenter auttaa siirtämään tietoja näistä palveluista SAP Business Warehouseen (BW).

Informatica PowerCenter välittäjänä SAP Retail Architecture -sovelluksessa

Vaikka olet nähnyt muutamia Informatica ETL: n tärkeimpiä ominaisuuksia ja skenaarioita, toivon ymmärtävänne, miksi Informatica PowerCenter on paras työkalu ETL-prosessiin. Katsotaanpa nyt Informatica ETL: n käyttötapaus.

Käyttötapaus: Kahden taulukon yhdistäminen saadaksesi yhden yksityiskohtaisen taulukon

Oletetaan, että haluat tarjota osastolle viisaan kuljetuksen työntekijöillesi, koska osastot sijaitsevat eri paikoissa. Tätä varten sinun on ensin tiedettävä, mihin osastoon kukin työntekijä kuuluu, ja osaston sijainti. Henkilöstön tiedot tallennetaan kuitenkin eri taulukoihin, ja sinun on liitettävä osaston tiedot olemassa olevaan tietokantaan, jossa on kaikkien työntekijöiden tiedot. Tätä varten lataamme ensin molemmat taulukot Informatica PowerCenteriin, suoritamme lähdekelpoisuuden muunnoksen tiedoille ja lopuksi lataamme tiedot kohdetietokantaan.Aloitetaanpas:

Vaihe 1 : Avaa PowerCenter Designer.

Alla on Informatica PowerCenter Designerin kotisivu.

Yhdistä nyt arkistoon. Jos et ole määrittänyt arkistojasi tai sinulla on ongelmia, voit tarkistaa meidän Blogi.

Vaihe 2: Napsauta hiiren kakkospainikkeella arkistoa ja valitse yhteysvaihtoehto.

Kun napsautat yhteysvaihtoehtoa, sinua pyydetään antamaan alla oleva näyttö, jossa pyydetään arkiston käyttäjätunnusta ja salasanaa.

Kun olet muodostanut yhteyden arkistoon, sinun on avattava työkansio alla olevan kuvan mukaisesti:

Sinua pyydetään kysymään kartoituksen nimi. Määritä kartoituksen nimi ja napsauta OK (olen nimennyt sen nimellä m-TYÖNTEKIJÄ ).

Vaihe 3: Lataa nyt taulukot tietokannasta, aloita muodostamalla yhteys tietokantaan. Voit tehdä tämän valitsemalla Lähteet-välilehden ja Tuo tietokannasta -vaihtoehdon alla olevan kuvan mukaisesti:

Kun valitset Tuo tietokannasta, sinua pyydetään alla olevalla näytöllä, jossa pyydetään tietoja tietokannastasi sekä sen käyttäjätunnuksesta ja salasanasta yhteyden muodostamiseksi (käytän Oracle-tietokantaa ja HR-käyttäjää).

Napsauta Yhdistä muodostaaksesi yhteyden tietokantaan.

Vaihe 4: Haluan liittyä TYÖNTEKIJÄT ja OSASTO valitsen ne ja napsautan OK.
Lähteet näkyvät kartoitussuunnittelijan työtilassa alla näkyvällä tavalla.

Vaihe 5: Vastaavasti kohdetaulukko ladataan kartoitukseen.

Vaihe 6: Yhdistä nyt lähdemääritin ja kohdetaulukko. Napsauta hiiren kakkospainikkeella mitä tahansa työtilan tyhjää kohtaa ja valitse Automaattinen linkitys alla olevan kuvan mukaisesti:

Alla on kartoitus, jonka Autolink linkittää.

Vaihe 7: Koska meidän on linkitettävä molemmat taulukot lähdekokoonpanoon, valitse osastotaulukon sarakkeet ja pudota se lähdekelpoisuuseen alla olevan kuvan mukaisesti:

Pudota sarakkeiden arvot Source Qualifieriin SQ_EMPLOYEES .

Alla on päivitetty Source Qualifier.

Vaihe 8: Muokkaa muunnosta kaksoisnapsauttamalla Source Qualifier -kuvaketta.

Saat Muokkaa muunnosta -ponnahdusikkunan alla olevan kuvan mukaisesti. Napsauta Ominaisuudet-välilehteä.

Vaihe 9: Napsauta Ominaisuudet-välilehden UserDefined Join -rivin Arvo-kenttää.

Saat seuraavan SQL-editorin:

Vaihe 10: Tulla sisään EMPLOYEES.DEPARTMENT_ID = DEPARTMENT.DEPARTMENT_ID ehdoksi liittää molemmat taulukot SQL-kenttään ja napsauta OK.

Vaihe 11: Napsauta nyt SQL-kysely-riviä ja luo SQL liittymistä varten alla esitetyllä tavalla:

Saat seuraavan SQL-editorin, napsauta Luo SQL -vaihtoehtoa.

Seuraava SQL luodaan ehdolle, jonka olimme määrittäneet edellisessä vaiheessa. Napsauta OK.

Vaihe 12: Napsauta Käytä ja OK.

Alla on valmis kartoitus.

mikä on virtuaalinen menetelmä

Olemme saaneet päätökseen suunnitelman siitä, miten data on siirrettävä lähteestä kohteeseen. Tosiasiallista tiedonsiirtoa ei kuitenkaan ole vielä tapahtunut, ja meidän on käytettävä PowerCenter Workflow Designia. Työnkulun suorittaminen johtaa tietojen siirtämiseen lähteestä kohteeseen. Jos haluat tietää enemmän työnkulusta, tarkista meidän Informatica-opetusohjelma: työnkulku Blogi

Vaihe 13: LKäynnistämme nyt työnkulun hallinnan napsauttamalla W-kuvaketta alla olevan kuvan mukaisesti:

Alla on työnkulun suunnittelijan kotisivu.

Vaihe 14: Luodaan nyt uusi työnkulku kartoituksellemme. Napsauta Työnkulku-välilehteä ja valitse Luo vaihtoehto.

Saat alla olevan ponnahdusikkunan. Määritä työnkulun nimi ja napsauta OK.

Vaihe 15 : Kun työnkulku on luotu, saamme aloituskuvakkeen Workflow Manager -työtilaan.

Lisää nyt uusi istunto alla olevaan työtilaan napsauttamalla istunnon kuvaketta ja napsauttamalla työtilaa:

Napsauta työtilaa sijoittaa Istunto-kuvake.

Vaihe 16: Kun lisäät istunnon, sinun on valittava luomasi ja tallentamasi kartoitus yllä olevissa vaiheissa. (Olin tallentanut sen nimellä m-EMPLOYEE).

Alla on työtila istunnon kuvakkeen lisäämisen jälkeen.

Vaihe 17 : Nyt kun olet luonut uuden istunnon, meidän on linkitettävä se aloitustehtävään. Voimme tehdä sen napsauttamalla Link Task -kuvaketta alla näkyvällä tavalla:

Napsauta ensin Käynnistä-kuvaketta ja sitten Istunto-kuvaketta muodostaaksesi linkin.

Alla on yhdistetty työnkulku.

Vaihe 18: Nyt kun suunnittelu on valmis, aloitetaan työnkulku. Napsauta Työnkulku-välilehteä ja valitse Aloita työnkulku -vaihtoehto.

Työnkulunhallinta käynnistää Työnkulun seuranta.

Vaihe 19 : Kun työnkulku on aloitettu, Workflow Manager käynnistyy automaattisestijaavulla voit seurata työnkulun suoritusta. Alla näet Työnkulkumonitori näyttää työnkulun tilan.

Vaihe 20: Voit tarkistaa työnkulun tilan napsauttamalla hiiren kakkospainikkeella työnkulkua ja valitsemalla Get Run Properties alla olevan kuvan mukaisesti:

Valitse Lähde / kohdetilastot -välilehti.

Alla näet rivien määrän, jotka on siirretty lähteen ja kohteen välillä muunnoksen jälkeen.

Voit myös vahvistaa tulosi tarkistamalla kohdetaulukon alla esitetyllä tavalla.

Toivon, että tämä Informatica ETL -blogi auttoi rakentamaan ymmärrystäsi Informaticaa käyttävän ETL: n käsitteistä ja on herättänyt tarpeeksi kiinnostusta oppia lisää Informaticasta.

Jos pidit tästä blogista hyödyllisenä, voit myös tutustua Informatica Tutorial -blogisarjaamme , Informatica-opetusohjelma: Tietotekniikan ymmärtäminen ja Informatica Transformations: Informatica PowerCenterin sydän ja sielu . Jos etsit lisätietoja Informatica-sertifioinnista, voit tarkistaa blogiimme Informatica-sertifikaatti: Kaikki mitä tarvitsee tietää .

Jos olet jo päättänyt ryhtyä Informaticaan urana, suosittelen, että katsot meidän kurssisivu. Edurekan Informatica-sertifiointikoulutus tekee sinusta Informatican asiantuntijan suorien ohjaajien vetämien istuntojen ja käytännön koulutuksen avulla, jossa käytetään tosielämän käyttötapauksia.