Azure Data Factory, servis za modernu obradu podataka u cloudu
Vukadin Ratomir
Ostali podaci
Data Platform & Business Intelligence
300
Na našem
10:45 - 11:45
005
Opis predavanja
Data Factory je preživio dostapromijenaodverzije 1 do verzije 2. Pruža vrlo fleksibilan rad sa različitim formatima podataka. Podržava rad sa Cloud sistemima, takoi on-premise. Za verziju 2 najviše se radilo na uspostavljanju stabilnog UI-a koji je u mnogome poboljšao rad sa pipelinima te kompletno upravljanje ETL procesa. Omogućava rad sa različitim tipovima izvora podataka, njihovu obradu te skladištenje. Da je podatke moguće preuzeti iz AWS-a te prebaciti u Azure, pokazaćemo na ovom predavanju. Data source ce biti AWS S3, nakon toka podaci će proći kroz transformaciju uz pomoć activity-ja, skladištenje na Spark klusteru, obradu pomoću Hive-a. Nakraju, odredjenisetovipodataka biće skladišteni u Azure Cosmos DB-u, Azure SQLserverui Azure Table Storage-u. Kroz demo, biće prikazano kako je moguće postaviti alerting pomoću LogicApp servisa te dobiti informaciju dokle je stigla obrada podataka. Microsoft donosi u preview opciji DataFlow feature kojice biti prikazan u sklopudemoa.
Ratomir has almost five years of experience in software development. Mostly, he has been working on enterprise systems as a Full-Stack Developer for Web applications. Now, he works as a DevOps Engineer at Klika, mostly focused on Cloud applications. He has experience in programming, database design and software architecture and has been a mentor for various Microsoft course sessions. Ratomir is interested in BigData, AI, Cloud, and containers architecture as well. He had a speech at regional conferences, WinDays 2019, Network9, Azure Bootcamp 2019, SQLSaturday Banja Luka 2018, MS Community, etc., and on a couple of local Meetups. He holds a number of certificates: MCT for 2019/2020, MCSA for web development, MCSD and MTA. He is currently doing his master’s degree in Computer Science.
Tarabica # IT Conference je najveća tehnička konferencija
u Srbiji koju organizuju ljudi koji se profesionalno ili iz hobija bave Microsoft
tehnologijama.