Data Engineering v Microsoft Fabric

• Zoznámite sa s platformou Microsoft Fabric a jej komponentmi pre data engineering
• Naučíte sa načítavať a transformovať dáta pomocou Dataflows Gen2, Pipelines a Apache Spark
• Vyskúšate si ukladať dáta v úložiskách Lakehouse a Data Warehouse a pracovať s Delta Lake tabuľkami
• Naučíte sa organizovať dáta v lakehouse s využitím medailónovej architektúry
• Dozviete sa, ako spracovávať real-time dáta pomocou Eventstreams, Eventhouse a jazyka KQL
• Vyskúšate si automatizovať nasadzovanie zmien s využitím CI/CD, Git integrácie a deployment pipelines
• Naučíte sa monitorovať a zabezpečiť analytické riešenie v Microsoft Fabric

• Dátovým inžinierom, ktorí chcú navrhovať a vyvíjať procesy na načítanie a transformáciu dát, dátové architektúry a ich orchestráciu v prostredí Microsoft Fabric.
• Dátovým profesionálom so skúsenosťami s extrakciou, transformáciou a načítaním dát, ktorí si chcú svoje znalosti rozšíriť o platformu Microsoft Fabric.
• Záujemcom o prípravu na certifikačnú skúšku DP-700: Implementing Data Engineering Solutions Using Microsoft Fabric.

• Skúsenosti s extrakciou, transformáciou a načítaním dát (ETL/ELT procesy)
• Skúsenosť s manipuláciou a transformáciou dát aspoň v jednom z jazykov SQL, PySpark alebo KQL
• Odporúčaná základná znalosť dátových konceptov a dátových služieb v Microsoft Azure na úrovni kurzu MOC DP-900

1 Kompletné analytické riešenie v Microsoft Fabric

• Zoznámite sa s platformou Microsoft Fabric, úložiskom OneLake a jednotlivými službami Data Factory, Data Engineering, Data Warehouse, Data Science, Real-Time Intelligence a Power BI
• Dozviete sa, aké roly v dátových tímoch pracujú s ktorými službami v Microsoft Fabric
• Zistíte, ako povoliť Microsoft Fabric vo Vašom tenante a ako priradiť workspace k výpočtovej kapacite

2 Začíname s Lakehouse v Microsoft Fabric

• Pochopíte, čo je Lakehouse a ako kombinuje flexibilitu úložiska Data Lake s analytickými schopnosťami dátového skladu
• Naučíte sa vytvoriť vlastný Lakehouse vrátane automaticky vytvoreného SQL analytics endpointu a predvoleného sémantického modelu
• Vyskúšate si načítavať dáta do súborov a tabuliek Lakehouse a využívať shortcuts na prístup k externým dátam bez ich kopírovania
• Naučíte sa dotazovať tabuľky v Lakehouse pomocou jazyka SQL
• Zoznámite sa s nástrojmi na prieskum, transformáciu a vizualizáciu dát v Lakehouse

3 Použitie Apache Spark v Microsoft Fabric

• Zoznámite sa s frameworkom Apache Spark a princípmi distribuovaného spracovania dát v Spark pooloch
• Naučíte sa konfigurovať Spark prostredie vrátane runtime verzií, knižníc a vlastností
• Vyskúšate si spúšťať Spark kód interaktívne v notebooku aj neinteraktívne pomocou Spark Job Definition
• Naučíte sa načítavať, transformovať a ukladať dáta v Spark dataframoch a dotazovať ich pomocou Spark SQL
• Zistíte, ako vizualizovať dáta priamo v notebooku

4 Práca s Delta Lake tabuľkami v Microsoft Fabric

• Pochopíte princípy formátu Delta Lake a jeho úlohu v Microsoft Fabric
• Naučíte sa ukladať dataframy ako spravované aj externé delta tabuľky a upravovať dáta v nich
• Vyskúšate si spracovať streamované dáta pomocou Spark Structured Streaming s delta tabuľkou v úlohe zdroja aj cieľa
• Dozviete sa, ako optimalizovať delta tabuľky pomocou funkcií OptimizeWrite, Optimize, V-Order, Vacuum a rozdelenia dát do partition
• Zistíte, ako funguje verziovanie dát a dotazovanie historických verzií tabuľky (time travel)

5 Načítanie dát pomocou Dataflow Gen2

• Pochopíte princípy Dataflow Gen2, jeho výhody a obmedzenia
• Naučíte sa vytvoriť dataflow na extrakciu a transformáciu dát v grafickom prostredí Power Query
• Dozviete sa, ako nastaviť cieľové úložisko dát a ako integrovať Dataflow Gen2 do pipeline

6 Orchestrácia procesov a presunov dát

• Zoznámite sa s možnosťami pipelines v Microsoft Fabric, ich aktivitami a parametrizáciou
• Naučíte sa používať aktivitu Copy Data na presun dát
• Vyskúšate si vytvoriť pipeline na základe preddefinovaných šablón
• Naučíte sa pipeline validovať, spúšťať, plánovať a monitorovať ich beh

7 Organizácia Lakehouse podľa medailónovej architektúry

• Pochopíte princípy medailónovej architektúry a účel vrstiev bronze, silver a gold
• Naučíte sa navrhnúť a implementovať jednotlivé vrstvy a vybrať vhodné nástroje na presun a transformáciu dát medzi nimi
• Dozviete sa, ako analyzovať dáta uložené v Lakehouse s využitím režimu Direct Lake v Power BI
• Zistíte, ako zabezpečiť jednotlivé vrstvy pomocou oprávnení na úrovni workspace a položiek

8 Začíname s Real-Time Intelligence v Microsoft Fabric

• Pochopíte koncepty analýzy dát v reálnom čase
• Zoznámite sa s komponentmi Real-Time Intelligence: Eventstream, Eventhouse, Real-Time Dashboard a Activator
• Dozviete sa, ako vyhľadávať a pripájať zdroje real-time dát pomocou Real-Time Hubu

9 Použitie Eventstreams v Microsoft Fabric

• Zoznámite sa s komponentmi eventstreamov a podporovanými zdrojmi a cieľmi streamovaných dát
• Naučíte sa nastaviť zdroje a ciele eventstreamu
• Vyskúšate si zachytávať, transformovať a smerovať real-time dáta s využitím transformácií ako filtrovanie či agregácia

10 Práca s real-time dátami v Eventhouse

• Naučíte sa vytvoriť Eventhouse a KQL databázu a načítavať do tabuliek statické aj streamované dáta
• Vyskúšate si dotazovať real-time dáta jazykom Kusto Query Language (KQL)
• Naučíte sa vytvárať materializované pohľady a uložené funkcie v KQL databáze

11 Tvorba real-time dashboardov

• Naučíte sa vytvoriť real-time dashboard nad streamovaným zdrojom dát
• Dozviete sa, ako organizovať a filtrovať dáta dashboardu pomocou base queries, stránok a parametrov
• Zistíte, ako dashboard spravovať a optimalizovať podľa odporúčaných postupov

12 Použitie služby Activator

• Pochopíte, ako Activator pracuje s udalosťami, objektmi, vlastnosťami a pravidlami
• Naučíte sa definovať objekty a ich vlastnosti nad dátami z eventstreamu
• Naučíte sa vytvárať pravidlá vyhodnocujúce podmienky nad dátami
• Vyskúšate si nakonfigurovať akcie spúšťané pri splnení podmienok, ako je odoslanie e-mailu, správy do Teams či spustenie Power Automate flow

13 Začíname s dátovými skladmi v Microsoft Fabric

• Zoznámite sa so základmi dátových skladov v Microsoft Fabric a ich odlišnosťami od Lakehouse
• Naučíte sa navrhnúť schému dátového skladu vrátane tabuliek faktov, tabuliek dimenzií a schém star a snowflake
• Vyskúšate si vytvoriť dátový sklad, klonovať tabuľky a dotazovať dáta pomocou T-SQL aj vizuálneho editora dotazov
• Dozviete sa, ako definovať vzťahy medzi tabuľkami, ako funguje predvolený sémantický model a ako dáta vizualizovať
• Zistíte, ako riadiť prístup k dátovému skladu pomocou oprávnení na úrovni workspace a položiek

14 Načítanie dát do dátového skladu

• Pochopíte stratégie načítania dát vrátane plného a inkrementálneho načítania a využitia staging tabuliek
• Naučíte sa pracovať s kľúčmi dimenzií a implementovať slowly changing dimensions
• Vyskúšate si načítať dáta pomocou pipeline s aktivitou Copy Data, príkazov T-SQL (COPY INTO, CREATE TABLE AS SELECT) aj pomocou Dataflows Gen2
• Dozviete sa, ako si pri transformácii dát pomôcť nástrojom Copilot

15 Monitorovanie dátového skladu

• Naučíte sa sledovať spotrebu kapacitných jednotiek pomocou aplikácie Microsoft Fabric Capacity Metrics
• Vyskúšate si monitorovať aktuálne bežiace dotazy pomocou Dynamic Management Views
• Zistíte, ako analyzovať trendy dotazovania pomocou pohľadov Query Insights

16 Zabezpečenie dátového skladu

• Zoznámite sa s konceptmi zabezpečenia dátového skladu v Microsoft Fabric
• Naučíte sa implementovať dynamické maskovanie dát (Dynamic Data Masking)
• Vyskúšate si nastaviť zabezpečenie na úrovni riadkov (row-level security) a stĺpcov (column-level security)
• Naučíte sa konfigurovať granulárne oprávnenia na objekty dátového skladu pomocou jazyka T-SQL

17 Implementácia CI/CD v Microsoft Fabric

• Pochopíte princípy continuous integration a continuous delivery a ich implementáciu v Microsoft Fabric
• Naučíte sa prepojiť workspace so systémom správy verzií Azure DevOps či GitHub, commitovať a synchronizovať zmeny a pracovať s vetvami
• Vyskúšate si automatizovať nasadzovanie obsahu medzi prostrediami pomocou deployment pipelines
• Dozviete sa, ako automatizovať CI/CD procesy s využitím Fabric REST API

18 Monitorovanie aktivít v Microsoft Fabric

• Zoznámite sa s konceptmi a odporúčanými postupmi monitorovania v Microsoft Fabric
• Naučíte sa používať Monitoring Hub na sledovanie stavu a priebehu aktivít naprieč Fabric položkami
• Zistíte, ako spúšťať automatické akcie nad dátami pomocou služby Activator

19 Zabezpečenie prístupu k dátam v Microsoft Fabric

• Pochopíte bezpečnostný model Microsoft Fabric a postupné vyhodnocovanie prístupu od autentizácie v Microsoft Entra ID
• Naučíte sa konfigurovať roly na úrovni workspace a oprávnenia na úrovni jednotlivých položiek
• Dozviete sa, ako riadiť prístup na čítanie dát v Lakehouse cez SQL endpoint a Apache Spark
• Vyskúšate si nastaviť granulárne oprávnenia pomocou T-SQL a zabezpečiť priečinky a súbory pomocou OneLake data access roles

20 Správa Microsoft Fabric

• Zoznámite sa s architektúrou a konceptmi Microsoft Fabric vrátane tenanta, kapacít a workspace
• Dozviete sa, aké úlohy rieši administrátor Fabric a aké nástroje má k dispozícii: admin portál, admin monitoring workspace a aplikáciu Capacity Metrics
• Zistíte, ako prideľovať a spravovať používateľské licencie
• Dozviete sa o možnostiach data governance, ako je odporúčanie obsahu (endorsement), sledovanie dátovej línie (lineage) a skenovanie metadát

Predošlé kurzy

Základy práce s dátami v Microsoft Azure [MOC DP-900]

Nasledujúce kurzy

Pokročilý Data Engineering v Microsoft Fabric [GOC681]

Súvisiace kurzy

Pythonové minimum pre Microsoft Fabric [GOC685]

Alternatívne kurzy

Úvod do Microsoft Fabric [GOC680]