Pochopení hlubokých neuronových sítí Počítačový Kurz

Část 1 – Koncepty hlubokého učení a DNN

Úvod do AI, strojového učení a hlubokého učení

• Historie, základní koncepty a běžné aplikace umělé inteligence daleko za fantaziemi, které toto odvětví neslo
• Kolektivní inteligence: agregace znalostí sdílených mnoha virtuálními agenty
• Genetické algoritmy: evoluce populace virtuálních agentů prostřednictvím selekce
• Běžné strojové učení: definice.
• Typy úloh: učení s dozorem, učení bez dozoru, učení posilováním
• Typy akcí: klasifikace, regrese, klasterování, odhad hustoty, redukce dimenzionality
• Příklad algoritmů strojového učení: lineární regrese, Naive Bayes, Random Tree
• Strojové učení vs. hluboké učení: problémy, u kterých je strojové učení i dnes stavem techniky (Random Forests a XGBoosts)

Základní koncepty neuronové sítě (Aplikace: vícevrstvý perceptron)

• Připomenutí matematických základů.
• Definice sítě neuronů: klasická architektura, aktivace a
• váhování předchozích aktivací, hloubka sítě
• Definice učení sítě neuronů: funkce nákladů, zpětná propagace, stochastický gradientní descent, maximální pravděpodobnost.
• Modelování neuronové sítě: modelování vstupních a výstupních dat podle typu problému (regrese, klasifikace ...). Prokletí dimenzionality.
• Rozlišení mezi daty s více funkcemi a signálem. Volba funkce nákladů podle dat.
• Aproximace funkce sítí neuronů: prezentace a příklady
• Aproximace distribuce sítí neuronů: prezentace a příklady
• Augmentace dat: jak vyvážit datový sada
• Generalizace výsledků sítě neuronů.
• Inicializace a regularizace neuronové sítě: L1 / L2 regularizace, Batch Normalization
• Algoritmy optimalizace a konvergence

Standardní nástroje ML / DL

Je plánována jednoduchá prezentace s výhody, nevýhodami, pozicí v ekosystému a použitím.

• Nástroje pro správu dat: Apache Spark, nástroje Apache Hadoop
• Strojové učení: Numpy, Scipy, Sci-kit
• Frameworky DL vyšší úrovně: PyTorch, Keras, Lasagne
• Frameworky DL nižší úrovně: Theano, Torch, Caffe, Tensorflow

Konvoluční neuronové sítě (CNN).

• Prezentace CNN: základní principy a aplikace
• Základní provoz CNN: konvoluční vrstva, použití jádra,
• Padding & stride, generování map vlastností, vrstvy pooling. Rozšíření 1D, 2D a 3D.
• Prezentace různých architektur CNN, které přinesly stav techniky v klasifikaci
• Obrazy: LeNet, VGG Networks, Network in Network, Inception, Resnet. Prezentace inovací, které každá architektura přinesla, a jejich širších aplikací (Konvoluce 1x1 nebo reziduální spoje)
• Použití modelu pozornosti.
• Aplikace na běžný případ klasifikace (text nebo obrázek)
• CNN pro generování: super-rozlišení, segmentace pixel-to-pixel. Prezentace
• Hlavní strategie pro zvyšování map vlastností pro generování obrázků.

Rekurzivní neuronové sítě (RNN).

• Prezentace RNN: základní principy a aplikace.
• Základní provoz RNN: skryté aktivace, zpětná propagace v čase, Rozvinutá verze.
• Vývoj směrem k bráněným rekurentním jednotkám (GRUs) a LSTM (Long Short Term Memory).
• Prezentace různých stavů a vývojů, které tyto architektury přinesly
• Problemy konvergence a mizícího gradientu
• Klasické architektury: Predikce časové řady, klasifikace ...
• Architektura typu RNN Encoder Decoder. Použití modelu pozornosti.
• Aplikace NLP: kódování slov / znaků, překlad.
• Video aplikace: predikce další generované snímku video sekvenční.

Genační modely: Variational AutoEncoder (VAE) a Generative Adversarial Networks (GAN).

• Prezentace generačních modelů, spojení s CNN
• Auto-encoder: redukce dimenzionality a omezené generování
• Variational Auto-encoder: generační model a aproximace distribuce daného. Definice a použití latentního prostoru. Trik reparametrizace. Aplikace a pozorované limity
• Generative Adversarial Networks: Zásady.
• Dualní architektura sítě (Generátor a diskriminátor) s střídavým učením, dostupné funkce nákladů.
• Konvergence GAN a potíže, se kterými se potkáváme.
• Zlepšená konvergence: Wasserstein GAN, Began. Earth Moving Distance.
• Aplikace pro generování obrázků nebo fotografií, generování textu, super-rozlišení.

Hluboké učení posilováním.

• Prezentace učení posilováním: řízení agenta v definovaném prostředí
• Podmíněné stavy a možné akce
• Použití neuronové sítě ke aproximaci funkce stavu
• Deep Q Learning: přehrání zkušeností a aplikace na řízení video hry.
• Optimalizace učební politiky. On-policy & off-policy. Architektura Actor critic. A3C.
• Aplikace: řízení jednoho video hry nebo digitálního systému.

Část 2 – Theano pro hluboké učení

Základy Theano

• Úvod
• Instalace a konfigurace

Functionality Theano

• vstupy, výstupy, aktualizace, dané hodnoty (givens)

Trénování a optimalizace neuronové sítě pomocí Theano

• Modelování neuronové sítě
• Logistická regrese
• Skryté vrstvy
• Trénování sítě
• Výpočet a klasifikace
• Optimalizace
• Log Loss

Testování modelu

Část 3 – DNN pomocí Tensorflow

Základy TensorFlow

• Vytvoření, inicializace, ukládání a obnovování proměnných TensorFlow
• Napájení, čtení a předčítání dat TensorFlow
• Jak používat infrastrukturu TensorFlow pro trénování modelů ve velkém měřítku
• Vizualizace a vyhodnocování modelů pomocí TensorBoard

Mechanismy TensorFlow

• Příprava dat
• Stahování
• Vstupy a placeholder
• Stavba grafů
  • Inferenční
  • Ztráta
  • Trénování
• Trénování modelu
  • Graf
  • Sesze
  • Trénovací smyčka
• Vyhodnocení modelu
  • Stavba evaluačního grafu
  • Evaluační výstup

Perceptron

• Aktivace funkce
• Učební algoritmus perceptron
• Binární klasifikace pomocí perceptron
• Klasifikace dokumentů pomocí perceptron
• Omezení perceptron

Od Perceptron k Support Vector Machines

• Jádra a kernel trick
• Klasifikace maximálního okraje a podpůrné vektory

Umělé neuronové sítě

• Nelineární rozhodovací hranice
• Feedforward a feedback umělé neuronové sítě
• Vícevrstvé perceptron
• Minimalizace funkce nákladů
• Přední propagace
• Zpětná propagace
• Zlepšení způsobu, jakým neuronové sítě učí

Konvoluční neuronové sítě

• Cíle
• Architektura modelu
• Principy
• Organizace kódu
• Spouštění a trénování modelu
• Vyhodnocování modelu

Základní úvody, které mají být poskytnuty pro níže uvedené moduly (Stručný úvod bude poskytnut podle dostupnosti času):

Tensorflow - Pokročilé použití

• Hlámkování a fronty
• Distributivní TensorFlow
• Psaní dokumentace a sdílení vašeho modelu
• Přizpůsobení čtečů dat
• Manipulace se soubory modelu TensorFlow

TensorFlow Serving

• Úvod
• Základní tutoriál servírování
• Pokročilý tutoriál servírování
• Tutoriál servírování modelu Inception