Základy neurónových sietí a NLP
- Čo je jazykový model
- Pravdepodobnosť a predikcia ďalšieho slova / tokenu
- Tokenizácia
- Embeddingy
- Neurónová sieť (perceptrón, vrstvy, aktivácie)
- Backpropagation (intuícia)
- Python + NumPy
- Implementácia unigram modelu
- Implementácia bigram modelu
- Tréning malej siete v PyTorch
- Výstup dňa: malý jazykový model predikujúci ďalšie slovo na malých
vzorkách textu
Rekurentné siete a prvé generovanie textu
- RNN
- LSTM
- Problém miznúceho gradientu
- Teacher forcing
- Sampling (temperature, top-k)
- Implementácia LSTM modelu v PyTorch
- Tréning na malom datasete (napr. Shakespeare)
- Generovanie textu
- Výstup dňa: model generujúci krátke texty
Transformer architektúra
- Attention mechanizmus
- Self-attention
- Multi-head attention
- Positional encoding
- Encoder vs Decoder
- Prečo je transformer škálovateľný
- Implementácia mini-transformera
- Vytvorenie malého GPT-like modelu
- Tréning na malom datasete
- Výstup dňa: funkčný mini GPT model
Tréning, fine-tuning a práca s hotovými modelmi
- Pretraining vs Fine-tuning
- Transfer learning
- LoRA a parameter-efficient fine-tuning (PEFT)
- Tokenizéry (BPE)
- Použitie knižnice Hugging Face Transformers
- Fine-tuning malého modelu
- Práca s modelmi (napr. LLaMA / kompatibilné open-source modely podľa
dostupnosti)
- Vytvorenie vlastného chatbot skriptu
- Výstup dňa: fine-tuned model na vlastných dátach
RAG, nasadenie a produkčné aspekty
- Embeddingy pre vyhľadávanie
- Vektorové databázy (FAISS)
- RAG architektúra
- Latencia a optimalizácia
- Kvantizácia modelov
- Nasadenie (API, Docker)
- Generovanie embeddingov
- Uloženie do FAISS
- Implementácia RAG pipeline
- Vytvorenie jednoduchého API (FastAPI)
- Finálny projekt: interný chatbot nad vlastnými dokumentmi
Používané technológie
- Python 3.11+
- PyTorch
- Hugging Face Transformers
- FAISS
- FastAPI
- Jupyter Notebook
Čo si účastník odnesie
- Rozumie, ako LLM fungujú vnútorne a aké sú ich stavebné bloky
- Vie postaviť jednoduchý transformer a mini GPT na malom datasete
- Vie fine-tunovať model vrátane LoRA/PEFT
- Vie postaviť RAG aplikáciu nad vlastnými dokumentmi
- Vie nasadiť model ako API a rozumie základným produkčným aspektom
(latencia, optimalizácia, kvantizácia)
