Návrh Školení
Kurz je rozdělen do tří samostatných dnů, přičemž třetí je volitelný.
Den 1 - Machine Learning & Deep Learning: teoretické koncepty
1. Úvod AI, Machine Learning & Deep Learning
- Historie, základní pojmy a obvyklé aplikace umělé inteligence daleko od fantazií nesených tímto oborem
- Kolektivní inteligence: souhrnné znalosti sdílené mnoha virtuálními agenty
- Genetické algoritmy: vyvíjení populace virtuálních agentů výběrem
- Machine Learning obvyklé: definice.
- Typy úkolů: učení pod dohledem, učení bez dozoru, posilovací učení
- Typy akcí: klasifikace, regrese, shlukování, odhad hustoty, redukce rozměrů
- Příklady algoritmů Machine Learning: Lineární regrese, Naive Bayes, Random Tree
- Strojové učení VS Deep Learning: problémy, u kterých Machine Learning zůstává dnes nejmodernější (Random Forests & XGBoosts)
2. Základní pojmy neuronové sítě (Aplikace: vícevrstvý perceptron)
- Připomenutí matematických základů.
- Definice neuronové sítě: klasická architektura, aktivační a váhové funkce předchozích aktivací, hloubka sítě
- Definice učení neuronové sítě: nákladové funkce, zpětné šíření, sestup stochastického gradientu, maximální věrohodnost.
- Modelování neuronové sítě: modelování vstupních a výstupních dat podle typu problému (regrese, klasifikace atd.). Prokletí dimenzionality. Rozdíl mezi vícefunkčními daty a signálem. Volba nákladové funkce podle údajů.
- Aproximace funkce pomocí neuronové sítě: prezentace a příklady
- Aproximace rozdělení pomocí neuronové sítě: prezentace a příklady
- Data Augmentation: jak vyvážit datovou sadu
- Zobecnění výsledků neuronové sítě.
- Inicializace a regularizace neuronové sítě: regularizace L1/L2, dávková normalizace...
- Optimalizace a konvergenční algoritmy.
3. Běžné nástroje ML/DL
V plánu je jednoduchá prezentace s výhodami, nevýhodami, postavením v ekosystému a využitím.
- Nástroje pro správu dat: Apache Spark, Apache Hadoop
- Obvyklé nástroje Machine Learning: Numpy, Scipy, Sci-kit
- Rámce DL na vysoké úrovni: PyTorch, Keras, Lasagne
- Nízkoúrovňové rámce DL: Theano, Torch, Caffe, Tensorflow
Den 2 – Konvoluční a rekurentní sítě
4. Konvoluční Neural Networks (CNN).
- Prezentace CNN: základní principy a aplikace
- Základní operace CNN: konvoluční vrstva, použití jádra, padding & krok, generování map prvků, vrstvy typu 'sdružování'. 1D, 2D a 3D rozšíření.
- Prezentace různých architektur CNN, které přinesly nejmodernější klasifikaci obrazu: LeNet, VGG Networks, Network in Network, Inception, Resnet. Prezentace inovací jednotlivých architektur a jejich globálnějších aplikací (1x1 konvoluce nebo zbytková připojení)
- Použití modelu pozornosti.
- Aplikace na obvyklý scénář klasifikace (text nebo obrázek)
- CNN pro generaci: super-rozlišení, segmentace pixel-to-pixel. Prezentace hlavních strategií pro rozšiřování map funkcí pro generování obrázku.
5. Rekurentní Neural Networks (RNN).
- Prezentace RNN: základní principy a aplikace.
- Základní operace RNN: skrytá aktivace, zpětné šíření v čase, rozložená verze.
- Vývoj směrem k GRU (Gated Recurrent Units) a LSTM (Long Short Term Memory). Prezentace různých stavů a vývoje, který tyto architektury přinesly
- Problémy konvergence a mizejících gradientů
- Typy klasických architektur: Predikce časové řady, klasifikace...
- RNN Encoder Architektura typu dekodéru. Použití modelu pozornosti.
- NLP aplikace: kódování slov/znaků, překlad.
- Video aplikace: predikce dalšího generovaného obrazu video sekvence.
Den 3 – Generační modely a Reinforcement Learning
6. Generační modely: Variational AutoEncoder (VAE) a Generative Adversarial Networks (GAN).
- Prezentace generačních modelů, propojení s CNN viděnými v den 2
- Automatické kódování: redukce rozměrů a omezené generování
- Variační automatický kodér: generační model a aproximace distribuce dat. Definice a využití latentního prostoru. Reparametrizační trik. Aplikace a dodržované limity
- Generativní nepřátelské sítě: základní principy. Dvousíťová architektura (generátor a diskriminátor) se střídavým učením, k dispozici jsou nákladové funkce.
- Konvergence GAN a vzniklé potíže.
- Vylepšená konvergence: Wasserstein GAN, BeGAN. Země Pohyblivá Vzdálenost.
- Aplikace pro generování obrázků nebo fotografií, generování textu, super
rozlišení.
7.HlubokéReinforcement Learning.
- Prezentace posilovacího učení: ovládání agenta v prostředí definovaném stavem a možnými akcemi
- Použití neuronové sítě k aproximaci stavové funkce
- Hluboké učení Q: zažijte opakované přehrávání a aplikaci na ovládání videohry.
- Optimalizace vzdělávací politiky. On-policy && off-policy. Herecká kritická architektura. A3C.
- Aplikace: ovládání jednoduché videohry nebo digitálního systému.
Požadavky
Inženýrská úroveň