Azure Data Factory, servis za modernu obradu podataka u cloudu

Vukadin Ratomir

Ostali podaci

Data Platform & Business Intelligence
300
Na našem
10:45 - 11:45
005

Opis predavanja

Data Factory je preživio dosta promijena od verzije 1 do verzije 2. Pruža vrlo fleksibilan rad sa različitim formatima podataka. Podržava rad sa Cloud sistemima, tako i on-premise. Za verziju 2 najviše se radilo na uspostavljanju stabilnog UI-a koji je u mnogome poboljšao rad sa pipelinima te kompletno upravljanje ETL procesa. Omogućava rad sa različitim tipovima izvora podataka, njihovu obradu te skladištenje. Da je podatke moguće preuzeti iz AWS-a te prebaciti u Azure, pokazaćemo na ovom predavanju. Data source ce biti AWS S3, nakon toka podaci će proći kroz transformaciju uz pomoć activity-ja, skladištenje na Spark klusteru, obradu pomoću Hive-a. Na kraju, odredjeni setovi podataka biće skladišteni u Azure Cosmos DB-u, Azure SQL serveru i Azure Table Storage-u. Kroz demo, biće prikazano kako je moguće postaviti alerting pomoću LogicApp servisa te dobiti informaciju dokle je stigla obrada podataka. Microsoft donosi u preview opciji DataFlow feature koji ce biti prikazan u sklopu demoa.

Ratomir has almost five years of experience in software development. Mostly, he has been working on enterprise systems as a Full-Stack Developer for Web applications. Now, he works as a DevOps Engineer at Klika, mostly focused on Cloud applications. He has experience in programming, database design and software architecture and has been a mentor for various Microsoft course sessions. Ratomir is interested in BigData, AI, Cloud, and containers architecture as well. He had a speech at regional conferences, WinDays 2019, Network9, Azure Bootcamp 2019, SQLSaturday Banja Luka 2018, MS Community, etc., and on a couple of local Meetups. He holds a number of certificates: MCT for 2019/2020, MCSA for web development, MCSD and MTA. He is currently doing his master’s degree in Computer Science.

Klika

Tarabica # IT Conference je najveća tehnička konferencija u Srbiji koju organizuju ljudi koji se profesionalno ili iz hobija bave Microsoft tehnologijama.