Návrh a implementácia moderného dátového skladu a ETL/ELT procesov v Microsoft Fabric

• Zoznámite sa s architektúrou moderných dátových skladov a ich implementáciou v Microsoft Fabric
• Naučíte sa navrhovať dimenzionálne modely – faktové tabuľky, dimenzie vrátane pomaly sa meniacich dimenzií (SCD) a voľbu granularity dát
• Vyskúšate si implementovať kompletnú schému dátového skladu vo Fabric Warehouse v jazyku T-SQL
• Naučíte sa budovať parametrizované a metadátami riadené pipelines v Data Factory vrátane ošetrenia chýb a auditovania
• Osvojíte si transformácie dát v T-SQL vrátane načítavania dimenzií typu SCD 1 a SCD 2 a faktových tabuliek
• Naučíte sa navrhovať a implementovať inkrementálne načítavanie dát z transakčných systémov
• Dozviete sa, ako dátový sklad zabezpečiť, monitorovať a ladiť jeho výkon
• Zistíte, ako nasadzovať zmeny riešenia medzi prostrediami a ako migrovať existujúce riešenia z Microsoft SQL Servera a SSIS

• Vývojárom a architektom dátových skladov, ktorí chcú budovať riešenia v prostredí Microsoft Fabric.
• Špecialistom na dátové sklady na Microsoft SQL Serveri a vývojárom ETL procesov v SQL Server Integration Services, ktorí chcú svoje know-how preniesť do prostredia Microsoft Fabric.
• BI vývojárom a dátovým inžinierom, ktorí preferujú prácu v jazyku T-SQL.
• Záujemcom o ucelený a prakticky zameraný úvod do návrhu a implementácie dátových skladov.

• Dôrazne odporúčané znalosti platformy Microsoft Fabric na úrovni kurzu GOC680 – kurz neopakuje všeobecné témy platformy (kapacity, licencovanie, práca s Lakehouse a Apache Spark) a bez týchto vstupných znalostí bude tempo kurzu veľmi náročné.
• Znalosť jazyka T-SQL na úrovni tvorby dotazov, ideálne na úrovni kurzu GOC278; skúsenosť s tvorbou uložených procedúr výhodou.
• Skúsenosť s dátovými skladmi alebo SQL Server Integration Services výhodou, nie však podmienkou.

1 Moderný dátový sklad a zoznámenie s Fabric Data Warehouse

• Pochopíte úlohu dátového skladu v modernej dátovej platforme a jeho miesto medzi komponentmi Microsoft Fabric
• Zoznámite sa s klasickými architektúrami dátových skladov a prístupmi Kimball a Inmon
• Dozviete sa, ako mapovať medallion architektúru (bronze/silver/gold) na schémy Warehouse či kombináciu Lakehouse a Warehouse
• Pochopíte posun od ETL k ELT a jeho dopad na návrh procesov v porovnaní s myslením v SSIS
• Zoznámite sa s kľúčovými vlastnosťami Fabric Data Warehouse a naučíte sa rozhodovať medzi Lakehouse a Warehouse
• Vyskúšate si možnosti práce s Warehouse od webového editora po SQL Server Management Studio
• Zistíte, v čom sa Fabric Warehouse koncepčne líši od dátového skladu na Microsoft SQL Serveri a Azure Synapse

2 Dimenzionálne modelovanie dátového skladu

• Naučíte sa postup návrhu dimenzionálneho modelu – identifikáciu biznis procesov, voľbu granularity a zostavenie bus matrix
• Pochopíte rozdiely medzi star a snowflake schémou a kedy ktorú použiť
• Naučíte sa navrhovať dimenzie vrátane náhradných kľúčov, dimenzie dátumu a pomaly sa meniacich dimenzií (SCD Type 0 až 3)
• Zoznámite sa so špeciálnymi typmi dimenzií – role-playing, junk, degenerované a mini-dimenzie
• Naučíte sa navrhovať faktové tabuľky rôznych typov (transakčné, snapshoty, factless) a pochopíte aditivitu metrík
• Dozviete sa, ako na úrovni návrhu ošetriť neznámych členov dimenzií a neskoro prichádzajúce dáta
• Vyskúšate si navrhnúť kompletný dimenzionálny model pre zadanú obchodnú doménu

3 Implementácia schémy dátového skladu vo Fabric Warehouse

• Dozviete sa, v čom sa T-SQL vo Fabric Warehouse líši od Microsoft SQL Servera – dátové typy, collation, obmedzenia DDL
• Naučíte sa organizovať vrstvy skladu pomocou databázových schém a dotazovať dáta naprieč databázami
• Pochopíte úlohu NOT ENFORCED constraints a osvojíte si stratégie generovania náhradných kľúčov
• Vyskúšate si zero-copy klonovanie tabuliek a time travel dotazy pre vývoj, testovanie a audit
• Dozviete sa, ako fungujú štatistiky a fyzické uloženie dát vo formáte Delta-parquet
• Vyskúšate si implementovať schému navrhnutého dimenzionálneho modelu v jazyku T-SQL vrátane naplnenia dimenzie dátumu

4 Zoznámenie s Data Factory v Microsoft Fabric

• Zoznámite sa s komponentmi Data Factory a ich úlohami – Pipelines, Dataflows Gen2 a Copy Job
• Pochopíte koncept aktivít pipeline a naučíte sa spravovať pripojenia k dátovým zdrojom
• Zistíte silné a slabé stránky Dataflows Gen2 oproti transformáciám v T-SQL a kedy siahnuť po ktorom nástroji
• Dozviete sa, ako sa pripojiť k on-premises dátovým zdrojom cez data gateway
• Naučíte sa plánovať spúšťanie a sledovať behy v Monitor hub
• Pochopíte, ako sa koncepty SSIS mapujú na ich náprotivky v Data Factory

5 Pokročilá práca s Pipelines

• Naučíte sa parametrizovať pipelines a používať výrazový jazyk pre dynamický obsah
• Osvojíte si aktivity riadenia toku (ForEach, If Condition, Switch, Until) a aktivity Lookup, Get Metadata a Script
• Pochopíte vzor metadátami riadeného načítavania dát s riadiacou tabuľkou zdrojov
• Naučíte sa ošetrovať chyby, nastavovať retry politiky a odosielať notifikácie cez Teams a Outlook
• Vyskúšate si vytvoriť metadátami riadenú pipeline pre plnenie staging vrstvy vrátane ošetrenia chýb

6 Techniky načítavania dát do dátového skladu

• Spoznáte do hĺbky Copy activity – konektory, mapovanie stĺpcov a výkonnostné nastavenia
• Naučíte sa načítavať súbory z OneLake v jazyku T-SQL pomocou príkazu COPY INTO a funkcie OPENROWSET
• Dozviete sa, ako načítavať dáta dotazom naprieč databázami nad SQL analytics endpointom Lakehouse
• Zoznámite sa s Copy Job a zrkadlením (Mirroring) databáz ako takmer real-time zdrojom dát
• Zistíte, v ktorých scenároch je Python notebook najjednoduchšou cestou – volanie REST API či spracovanie komplexných JSON dát
• Vyskúšate si načítať dáta zo súborov v OneLake do staging tabuliek a naučíte sa voliť správnu techniku načítavania

7 Transformácie dát v T-SQL a načítavanie dimenzií a faktov

• Naučíte sa implementovať ELT transformácie pomocou uložených procedúr, CTAS, INSERT ... SELECT a príkazu MERGE
• Pochopíte transakcie a úroveň izolácie vo Fabric Warehouse a naučíte sa písať idempotentné procedúry
• Vyskúšate si implementovať načítavanie dimenzií typu SCD 1 a SCD 2 vrátane detekcie zmien
• Naučíte sa načítavať faktové tabuľky vrátane vyhľadania náhradných kľúčov a ošetrenia nenájdených členov dimenzií
• Dozviete sa, ako čistiť a validovať dáta v T-SQL a ako vybudovať auditný rámec načítavania

8 Inkrementálne načítavanie dát

• Pochopíte, prečo plné načítavanie nestačí a aké sú vzory inkrementálneho spracovania
• Naučíte sa implementovať načítavanie s vodoznakom (watermark) s riadiacou tabuľkou a dynamickými dotazmi
• Dozviete sa, ako využiť Change Tracking a Change Data Capture na strane SQL Server zdrojov vrátane zachytenia mazania záznamov
• Zistíte, ako inkrementálne kopírovať dáta pomocou Copy Job a ako využiť zrkadlenú databázu ako zdroj zmien
• Naučíte sa v cieli implementovať upsert, ošetriť neskoro prichádzajúce dáta a zaistiť opakovateľnosť behov
• Vyskúšate si implementovať kompletné inkrementálne načítavanie transakčnej tabuľky

9 Orchestrácia, monitoring a ladenie výkonu

• Naučíte sa navrhovať master orchestráciu so závislosťami medzi dimenziami a faktami, paralelizáciou a reštartovateľnosťou
• Dozviete sa, ako spúšťať spracovanie plánovane aj na základe udalostí, napríklad príchodu súboru do OneLake
• Naučíte sa monitorovať riešenie pomocou Monitor hub, pohľadov Query Insights a Dynamic Management Views
• Zistíte, ako ladiť výkon dátového skladu – štatistiky, caching výsledkov, V-Order a kompakcia dát
• Dozviete sa, ako sledovať a optimalizovať spotrebu kapacity ETL procesov
• Vyskúšate si zostaviť master pipeline pre kompletné denné načítanie skladu a analyzovať jej beh

10 Zabezpečenie dátového skladu a sprístupnenie dát konzumentom

• Pochopíte model zabezpečenia Fabric Warehouse – role workspace, zdieľanie položiek a ich skladanie s právami v T-SQL
• Naučíte sa nastavovať granulárne oprávnenia v T-SQL na úrovni databázy, schémy, objektu a stĺpca
• Vyskúšate si implementovať Row-Level Security a Dynamic Data Masking pre ochranu citlivých údajov
• Dozviete sa, ako sprístupniť dáta konzumentom cez SQL analytics endpoint a externé nástroje
• Zoznámite sa s odporúčaniami pre návrh gold vrstvy ako zdroja pre sémantické modely a reporting

11 Nasadzovanie riešenia a migrácia z Microsoft SQL Servera a SSIS

• Naučíte sa spravovať životný cyklus riešenia pomocou Git integrácie a nasadzovať zmeny cez deployment pipelines
• Dozviete sa, ako pracovať s Warehouse ako databázovým projektom a riadiť zmeny schémy
• Zistíte, ako posúdiť a vykonať migráciu dátového skladu z Microsoft SQL Servera vrátane využitia Migration Assistant
• Pochopíte, ako namapovať SSIS procesy na komponenty Fabric a zvoliť stratégiu postupnej migrácie
• Vyskúšate si pripojiť workspace na Git a nasadiť zmenu schémy do ďalšieho prostredia
• Zoznámite sa s odporúčanými postupmi a najčastejšími chybami pri stavbe dátového skladu vo Fabric

Predošlé kurzy

Úvod do Microsoft Fabric [GOC680]

Tvorba pokročilých T-SQL dotazov v prostredí Microsoft SQL Servera [GOC278]

Súvisiace kurzy

Pokročilý Data Engineering v Microsoft Fabric [GOC681]

Pokročilé techniky dátovej analýzy a reportingu v Microsoft Fabric [GOC682]

Pythonové minimum pre Microsoft Fabric [GOC685]