Azure Data Factory, servis za modernu obradu podataka u cloudu

Data Factory je preživio dosta promijena od verzije 1 do verzije 2. Pruža vrlo fleksibilan rad sa različitim formatima podataka. Podržava rad sa Cloud sistemima, tako i on-premise. Za verziju 2 najviše se radilo na uspostavljanju stabilnog UI-a koji je u mnogome poboljšao rad sa pipelinima te kompletno upravljanje ETL procesa. Omogućava rad sa različitim tipovima izvora podataka, njihovu obradu te skladištenje. Da je podatke moguće preuzeti iz AWS-a te prebaciti u Azure, pokazaćemo na ovom predavanju. Data source ce biti AWS S3, nakon toka podaci će proći kroz transformaciju uz pomoć activity-ja, skladištenje na Spark klusteru, obradu pomoću Hive-a. Na kraju, odredjeni setovi podataka biće skladišteni u Azure Cosmos DB-u, Azure SQL serveru i Azure Table Storage-u. Kroz demo, biće prikazano kako je moguće postaviti alerting pomoću LogicApp servisa te dobiti informaciju dokle je stigla obrada podataka. Microsoft donosi u preview opciji DataFlow feature koji ce biti prikazan u sklopu demoa.