Pokročilý Data Engineering v Microsoft Fabric

• Navrhovať a implementovať medallion architektúru v Microsoft Fabric v prostredí Lakehouse
• Implementovať dátovú logiku a transformácie pomocou Pythonu (Polars, DuckDB) a PySparku v Notebooks
• Pracovať s rôznymi metódami načítavania dát – Dataflows Gen2, Pipelines a vlastný kód
• Kopírovať a opätovne využívať dáta v rámci OneLake
• Profilovať, čistiť a transformovať dáta pomocou kódu v rôznych praktických scenároch
• Pracovať s Lakehouse a Data Warehouse vrátane zabezpečenia dát
• Automatizovať a orchestrovať dátové workflow pomocou Pipelines
• Optimalizovať výkon (partitioning, kompresia, optimalizácia Spark jobov)
• Verzovať kód a nasadzovať zmeny pomocou Git integrácie a deployment pipelines

Kurz je určený predovšetkým pre dátových inžinierov a vývojárov, ktorí chcú pracovať s Microsoft Fabric na úrovni kódu a navrhovať, implementovať a prevádzkovať dátové riešenia v produkčnom prostredí. Kurz je vhodný aj pre pokročilých analytikov a dátových architektov, ktorí majú skúsenosť s Pythonom a chcú sa posunúť smerom k data engineeringu a práci v distribuovanom prostredí.

• Základná znalosť prostredia Microsoft Fabric aspoň v rozsahu kurzu GOC680
• Znalosť Pythonu (pandas, list comprehensions, funkcie, error handling) a PySparku aspoň v rozsahu kurzu GOC685
• Základná znalosť relačných databáz a jazyka SQL
• Základná skúsenosť s data warehouses alebo data lakes
• Pochopenie konceptov extrakcie, načítavania, profilovania a transformácie dát
• Skúsenosť s nástrojmi na dátovú analýzu a integráciu dát (ETL procesy, data pipelines)
• Znalosť verzovania a Git integrácie je výhodou

1. Nastavenie prostredia a základné princípy

• Medallion architektúra – princípy a komponenty
  • Lakehouse, Data Warehouse, analytické enginy, sémantické vrstvy
  • Nastavenie tenantu, voľba kapacity, dopady na výkon a cenu

2. Načítavanie a kopírovanie dát

• Metódy načítavania dát
  • Dataflows Gen2
  • Pipelines
  • Vlastný ingest pomocou Python / PySpark v Notebooks
• Kopírovanie a opätovné použitie dát v OneLake
  • Shortcuts
  • Rozhodovacia metodika a architektonické dopady
  • Praktická implementácia

3. Data profiling, čistenie a transformácia

• Data profiling
  • Princípy a metódy
  • Implementácia v Pythone / PySparku (Notebooks)
• Čistenie a transformácia dát
  • Návrh čistiacich mechanizmov na základe profilovania
  • Transformácia dát pomocou kódu
  • Slowly Changing Dimensions a pokročilé scenáre

4. Ukladanie dát

• Lakehouse vs. Data Warehouse – rozdiely a použitie
• Dotazovanie nad dátami
  • SQL dotazy
  • Dotazovanie nad Lakehouse a Warehouse
• Pokročilé komponenty
  • Stored procedures, functions, role, schémy
  • RLS, CLS, data masking

5. Automatizácia

• Orchestračné Pipelines
  • Koordinácia a závislosti
  • Integrácia notebookov, dataflows a SQL objektov
• Orchestrácia notebookov
  • Riadenie nadväzujúcich krokov v Pythone / PySparku
  • Fail-over a error handling

6. Monitoring a optimalizácia

• Optimalizácia výkonu Spark workloadov
• Partitioning, kompresia, V-order, vacuuming
• Monitoring Fabric kapacít a efektivity spracovania

7. Verzovanie a nasadzovanie zmien

• Git integrácia
• Deployment pipelines

Predošlé kurzy

Úvod do Microsoft Fabric [GOC680]

Pythonové minimum pre Microsoft Fabric [GOC685]