Návrh Školení
Část 1 – Deep Learning a koncepty DNN
Úvod AI, Machine Learning a hluboké učení
- Historie, základní koncepty a obvyklé aplikace umělé inteligence daleko Od fantazií nesených touto doménou Kolektivní inteligence: agregace znalostí sdílených mnoha virtuálními agenty Genetické algoritmy: vyvinout populaci virtuálních agentů výběrem Obvyklý učící stroj: definice. Typy úkolů: učení pod dohledem, učení bez dozoru, posílení učení Typy akcí: klasifikace, regrese, shlukování, odhad hustoty, redukce dimenzionality Příklady algoritmů strojového učení: Lineární regrese, Naive Bayes, Random Tree Strojové učení VS Deep Learning: problémy na které strojové učení dnes zůstává nejmodernější (Random Forests & XGBoosts)
Základní pojmy neuronové sítě (Aplikace: vícevrstvý perceptron)
- Připomenutí matematických základů. Definice sítě neuronů: klasická architektura, aktivace a vážení předchozích aktivací, hloubka sítě Definice učení sítě neuronů: funkce nákladů, zpětné šíření, sestup stochastického gradientu, maximální pravděpodobnost. Modelování neuronové sítě: modelování vstupních a výstupních dat podle typu problému (regrese, klasifikace ...). Prokletí dimenzionality. Rozdíl mezi daty s více funkcemi a signálem. Volba nákladové funkce podle údajů. Aproximace funkce sítí neuronů: prezentace a příklady Aproximace distribuce sítí neuronů: prezentace a příklady Augmentace dat: jak vyvážit soubor dat Zobecnění výsledků sítě neuronů. Inicializace a regularizace neuronové sítě: regularizace L1 / L2, dávková normalizace Optimalizace a konvergenční algoritmy
Standardní nástroje ML / DL
V plánu je jednoduchá prezentace s výhodami, nevýhodami, postavením v ekosystému a využitím.
- Nástroje pro správu dat: Apache Spark, Apache Hadoop Tools Strojové učení: Numpy, Scipy, Sci-kit DL rámce vysoké úrovně: PyTorch, Keras, Lasagne Nízkoúrovňové DL rámce: Theano, Torch, Caffe, Tensorflow
Konvoluční Neural Networks (CNN).
- Prezentace CNN: základní principy a aplikace Základní operace CNN: konvoluční vrstva, použití jádra, Padding & stride, generování map prvků, sdružování vrstev. Rozšíření 1D, 2D a 3D. Prezentace různých architektur CNN, které přinesly stav techniky v klasifikaci Obrázky: LeNet, VGG Networks, Network in Network, Inception, Resnet. Prezentace inovací jednotlivých architektur a jejich globálnějších aplikací (konvoluce 1x1 nebo zbytková spojení) Použití modelu pozornosti. Aplikace na společný případ klasifikace (text nebo obrázek) CNN pro generování: super-rozlišení, segmentace pixel-to-pixel. Prezentace hlavních strategií pro zvýšení map funkcí pro generování obrázků.
Opakující se Neural Networks (RNN).
- Prezentace RNN: základní principy a aplikace. Základní operace RNN: skrytá aktivace, zpětné šíření v čase, rozložená verze. Vývoj směrem k Gated Recurrent Units (GRU) a LSTM (Long Short Term Memory). Prezentace různých stavů a evoluce, kterou tyto architektury přinášejí. Problémy konvergence a mizivých gradientů Klasické architektury: Predikce časové řady, klasifikace ... Architektura typu RNN Encoder Dekodér. Použití modelu pozornosti. NLP aplikace: kódování slov / znaků, překlad. Video aplikace: predikce dalšího generovaného obrazu videosekvence.
Generační modely: Variational AutoEncoder (VAE) a Generative Adversarial Networks (GAN).
- Prezentace generačních modelů, propojení s CNNs Auto-kodér: redukce rozměrů a omezená generace Variační auto-kodér: generační model a aproximace distribuce daného. Definice a využití latentního prostoru. Reparametrizační trik. Pozorované aplikace a limity Generativní adversariální sítě: Základy. Duální síťová architektura (generátor a diskriminátor) s alternativním učením, dostupnými nákladovými funkcemi. Konvergence GAN a vzniklé potíže. Zlepšená konvergence: Wasserstein GAN, Began. Země Pohyblivá Vzdálenost. Aplikace pro generování obrázků nebo fotografií, generování textu, super-rozlišení.
Hluboké Reinforcement Learning.
- Prezentace posilovacího učení: ovládání agenta v definovaném prostředí stavem a možnými akcemi Využití neuronové sítě k aproximaci stavové funkce Deep Q Learning: opakování zážitku a aplikace na ovládání videohry. Optimalizace vzdělávací politiky. On-policy && off-policy. Herecký kritik architektury. A3C. Aplikace: ovládání jedné videohry nebo digitálního systému.
Část 2 – Theano pro Deep Learning
Základy Theano
- Úvod Instalace a konfigurace
Funkce Theano
- vstupy, výstupy, aktualizace, danosti
Trénink a optimalizace neuronové sítě pomocí Theano
- Modelování neuronové sítě Logistická regrese Trénink skrytých vrstev Výpočetní technika a klasifikace Optimalizace Log Loss
Testování modelu
Část 3 – DNN pomocí Tensorflow
TensorFlow Základy
- Vytváření, inicializace, ukládání a obnovování TensorFlow proměnných Zavádění, čtení a předběžné načítání TensorFlow Data Jak používat infrastrukturu TensorFlow k trénování modelů v měřítku Vizualizace a vyhodnocování modelů pomocí TensorBoard
TensorFlow Mechanika
- Připravte si vstupy pro stahování dat a zástupné symboly Sestavte GraphS Inference Loss Training
Od perceptronu k podpoře vektorových strojů
- Jádra a kernel trik Maximální klasifikace okrajů a vektory podpory
Umělé Neural Networks
- Nelineární hranice rozhodování Dopředné a zpětnovazební umělé neuronové sítě Vícevrstvé perceptrony Minimalizace nákladové funkce Dopředné šíření Zpětné šíření Zlepšení způsobu, jakým se neuronové sítě učí
konvoluční Neural Networks
- Goals Principy architektury modelu Kód Organizace Spuštění a školení modelu Vyhodnocení modelu
- Základní úvody k níže uvedeným modulům (Krátký úvod bude poskytnut na základě časové dostupnosti):
Tensorflow – pokročilé použití
Distribuované vlákna a fronty TensorFlow Psaní dokumentace a sdílení modelu Přizpůsobení čteček dat Manipulace TensorFlow Soubory modelu
TensorFlow Servírování
- Úvod Výukový program pro základní servírování Výukový program pro pokročilé servírování Výukový program pro počáteční model servírování
Požadavky
Základní znalosti z fyziky, matematiky a programování. Zapojení do činností zpracování obrazu.
Delegáti by měli předem rozumět konceptům strojového učení a měli by pracovat na Python programování a knihovnách.