Porozumění hlubokým neuronovým sítím Počítačový Kurz

Část 1 – Koncepty hlubokého učení a DNN

Úvod do AI, strojového učení & hlubokého učení

• Historie, základní koncepty a běžné aplikace umělé inteligence mimo fantazii spojenou s touto oblastí
• Kolaborativní inteligence: agregace znalostí sdílených mnoha virtuálními agenty
• Genetické algoritmy: evoluce populace virtuálních agentů selekcí
• Běžné strojové učení: definice.
• Typy úkolů: dozorované učení, nedozorované učení, posilovací učení
• Typy akcí: klasifikace, regrese, shlukování, odhad hustoty pravděpodobnosti, redukce dimenzionality
• Příklady algoritmů strojového učení: lineární regrese, Naive Bayes, Náhodný strom
• Strojové učení VS hluboké učení: problémy, na kterých zůstává strojové učení dnes stavem umění (Random Forests & XGBoosts)

Základní koncepty neuronové sítě (aplikace: vícevrstvý perceptron)

• Opakování matematických základů.
• Definice neuronové sítě: klasická architektura, aktivační funkce a
• Váhování předchozích aktivací, hloubka sítě
• Definice učení neuronové sítě: funkce nákladů, backpropagace, stochastický gradientní spust, maximální pravděpodobnost.
• Modelování neuronové sítě: modelování vstupních a výstupních dat podle typu problému (regrese, klasifikace atd.). Kletba dimenzionality.
• Rozdíl mezi vícevrstvými daty a signály. Volba funkce nákladů podle dat.
• Aproximace funkce neuronovou sítí: prezentace a příklady
• Aproximace distribuce neuronovou sítí: prezentace a příklady
• Zvýšení množství dat: jak vyrovnat dataset
• Obecné výsledky neuronové sítě.
• Inicializace a regularizace neuronové sítě: L1 / L2 regularizace, normalizace dávek
• Optimalizační algoritmy a konvergence

Standardní nástroje ML / DL

Jednoduché prezentace s výhodami, nevýhodami, pozicí v ekosystému a použitím jsou plánované.

• Nástroje pro správu dat: Apache Spark, Apache Hadoop
• Strojové učení: Numpy, Scipy, Sci-kit
• Vyspělé rámce DL: PyTorch, Keras, Lasagne
• Nižší úrovni rámce DL: Theano, Torch, Caffe, TensorFlow

Svouvné neuronové sítě (CNN).

• Prezentace CNN: základní principy a aplikace
• Základní fungování CNN: konvoluční vrstva, použití jádra,
• Padding & stride, generace feature mapy, pooling vrstvy. Rozšíření 1D, 2D a 3D.
• Prezentace různých architektur CNN, které přinesly stavy umění v klasifikaci
• Obrázky: LeNet, VGG Networks, Network in Network, Inception, Resnet. Prezentace inovací přinášených každou architekturou a jejich širších aplikací (konvoluce 1x1 nebo reziduální spojení)
• Použití modelu pozornosti.
• Aplikace na běžný případ klasifikace (text nebo obrázek)
• CNN pro generování: superrezoluce, pixel-to-pixel segmentace. Prezentace
• Hlavní strategie pro zvýšení feature map při generování obrázků.

Rekurzivní neuronové sítě (RNN).

• Prezentace RNN: základní principy a aplikace.
• Základní fungování RNN: skrytá aktivace, backpropagace v čase, rozložená verze.
• Evoluce směrem k Gated Recurrent Units (GRUs) a LSTM (Long Short Term Memory).
• Prezentace různých stavů a evolučních změn přinášených těmito architekturami
• Konvergence a problémy s mizícím gradientem
• Klasické architektury: předpověď časové řady, klasifikace atd.
• Architektura RNN Encoder-Decoder. Použití modelu pozornosti.
• Aplikace v NLP: kódování slov / znaků, překlad.
• Video aplikace: předpověď další generovaného obrázku ze videosekvence.

Generační modely: Variational AutoEncoder (VAE) a Generative Adversarial Networks (GAN).

• Prezentace generačních modelů, odkaz na CNN
• Auto-encoder: redukce dimenzionality a omezená generace
• Variational Auto-encoder: generační model a aproximace distribuce dané. Definice a použití latentního prostoru. Reparametrizační trik. Aplikace a pozorovaná omezení
• Generative Adversarial Networks: Základy.
• Dvoudílná architektura (generátor a diskriminátor) s alternativním učením, dostupné funkce nákladů.
• Konvergence GANu a potíže, které se setkávají.
• Vylepšená konvergence: Wasserstein GAN, Began. Earth Moving Distance.
• Aplikace pro generování obrázků nebo fotografií, generování textu, superrezoluce.

Hluboké posilovací učení.

• Prezentace posilovacího učení: řízení agenta v definovaném prostředí
• V daném stavu a možných akcích
• Použití neuronové sítě pro aproximaci funkce stavu
• Deep Q Learning: zkušební opakování a aplikace na řízení videohry.
• Optimalizace učící politiky. On-policy && off-policy. Architektura actor-critic. A3C.
• Aplikace: řízení jedné videohry nebo digitálního systému.

Část 2 – Theano pro hluboké učení

Základy Theano

• Úvod
• Instalace a konfigurace

TheanoFunkce

• vstupy, výstupy, aktualizace, givens

Trénování a optimalizace neuronové sítě pomocí Theano

• Modelování neuronové sítě
• Logistická regrese
• Skryté vrstvy
• Trénování sítě
• Výpočty a klasifikace
• Optimalizace
• Log Loss

Testování modelu

Část 3 – DNN pomocí TensorFlow

Základy TensorFlow

• Vytváření, inicializace, ukládání a obnovení proměnných TensorFlowu
• Krmivá, čtení a předzpracování dat TensorFlowu
• Jak použít infrastrukturu TensorFlowu k trénování modelů v měřítku
• Vizualizace a hodnocení modelů pomocí TensorBoard

Mechanika TensorFlow

• Příprava dat
• Stažení
• Vstupy a zástupci
• Vytvoření grafů
  • Inferování
  • Ztráta
  • Trénování
• Trénování modelu
  • Graf
  • Relace
  • Trénovací smyčka
• Hodnocení modelu
  • Vytvoření grafu hodnocení
  • Výstup hodnocení

Perceptron

• Aktivační funkce
• Algoritmus učení perceptronu
• Binární klasifikace pomocí perceptronu
• Klasifikace dokumentů pomocí perceptronu
• Omezení perceptronu

Od Perceptronu k Support Vector Machines (SVM)

• Jádra a trik s jádry
• Klasifikace s maximálním rozdílem a support vektory

Umělé neuronové sítě

• Nelineární rozhodovací hranice
• Feedforward a feedback umělých neuronových sítí
• Multilayer perceptrony
• Minimalizace funkce nákladů
• Forward propagation
• Backpropagation
• Vylepšení způsobu učení neuronových sítí

Svouvné neuronové sítě (CNN)

• Cíle
• Modelová architektura
• Principy
• Organizace kódu
• Spuštění a trénování modelu
• Hodnocení modelu

Základní úvod do následujících modulů (stručný úvod bude poskytnut podle dostupnosti času):

Pokročilé použití TensorFlow

• Vláknění a fronty
• Distribuovaný TensorFlow
• Psaní dokumentace a sdílení modelů
• Přizpůsobení čtecích nástrojů dat
• Manipulace s soubory TensorFlowu

Serving TensorFlow

• Úvod
• Základní tutoriál Servingu
• Pokročilý tutoriál Servingu
• Tutoriál Servingu modelu Inception