Návrh Školení

Část 1 – Deep Learning a koncepty DNN


Úvod AI, Machine Learning & Deep Learning

  • Historie, základní pojmy a obvyklé aplikace umělé inteligence daleko od fantazií nesených touto doménou

  • Kolektivní inteligence: agregace znalostí sdílených mnoha virtuálními agenty

  • Genetické algoritmy: k vývoji populace virtuálních agentů výběrem

  • Obvyklý výukový stroj: definice.

  • Typy úkolů: učení pod dohledem, učení bez dozoru, posilovací učení

  • Typy akcí: klasifikace, regrese, shlukování, odhad hustoty, redukce dimenzionality

  • Příklady Machine Learning algoritmů: Lineární regrese, Naive Bayes, Random Tree

  • Strojové učení VS Deep Learning: problémy, na kterých Machine Learning zůstává Dnes nejmodernější (Random Forests & XGBoosts)

Základní pojmy neuronové sítě (Aplikace: vícevrstvý perceptron)

  • Připomenutí matematických základů.

  • Definice sítě neuronů: klasická architektura, aktivace a

  • Vážení předchozích aktivací, hloubka sítě

  • Definice učení sítě neuronů: funkce nákladů, zpětné šíření, Stochastický gradient sestup, maximální pravděpodobnost.

  • Modelování neuronové sítě: modelování vstupních a výstupních dat podle typu problému (regrese, klasifikace ...). Prokletí dimenzionality.

  • Rozdíl mezi daty s více funkcemi a signálem. Volba nákladové funkce podle údajů.

  • Aproximace funkce sítí neuronů: prezentace a příklady

  • Aproximace rozdělení sítí neuronů: prezentace a příklady

  • Data Augmentation: jak vyvážit datovou sadu

  • Zobecnění výsledků sítě neuronů.

  • Inicializace a regularizace neuronové sítě: regularizace L1 / L2, dávková normalizace

  • Optimalizační a konvergenční algoritmy

Standardní nástroje ML / DL

V plánu je jednoduchá prezentace s výhodami, nevýhodami, postavením v ekosystému a využitím.

  • Nástroje pro správu dat: Apache Spark, Apache Hadoop Nástroje

  • Machine Learning: Numpy, Scipy, Sci-kit

  • Rámce DL vysoké úrovně: PyTorch, Keras, Lasagne

  • Nízkoúrovňové rámce DL: Theano, Torch, Caffe, Tensorflow

Konvoluční Neural Networks (CNN).

  • Prezentace CNN: základní principy a aplikace

  • Základní operace CNN: konvoluční vrstva, použití jádra,

  • Padding & krok, funkce generování mapy, sdružování vrstev. Rozšíření 1D, 2D a 3D.

  • Prezentace různých architektur CNN, které přinesly nejmodernější klasifikaci

  • Obrázky: LeNet, VGG Networks, Network in Network, Inception, Resnet. Prezentace inovací, které přináší jednotlivé architektury a jejich globálnější aplikace (Convolution 1x1 nebo zbytková připojení)

  • Použití modelu pozornosti.

  • Aplikace na běžný případ klasifikace (text nebo obrázek)

  • CNN pro generaci: super-rozlišení, segmentace pixel-to-pixel. Prezentace

  • Hlavní strategie pro zvýšení map prvků pro generování obrázků.

Recidivující Neural Networks (RNN).

  • Prezentace RNN: základní principy a aplikace.

  • Základní operace RNN: skrytá aktivace, zpětné šíření v čase, rozložená verze.

  • Vývoj směrem k Gated Recurrent Units (GRU) a LSTM (Long Short Term Memory).

  • Prezentace různých stavů a evolucí, které tyto architektury přinášejí

  • Problémy konvergence a mizení gradientu

  • Klasické architektury: Predikce časové řady, klasifikace ...

  • RNN Encoder Architektura typu dekodéru. Použití modelu pozornosti.

  • NLP aplikace: kódování slov / znaků, překlad.

  • Video aplikace: predikce dalšího generovaného obrazu videosekvence.


Generační modely: Variational AutoEncoder (VAE) a Generative Adversarial Networks (GAN).

  • Prezentace generačních modelů, propojení s CNN

  • Auto-kodér: redukce rozměrů a omezené generování

  • Variační automatický kodér: generační model a aproximace distribuce daného. Definice a využití latentního prostoru. Reparametrizační trik. Aplikace a limity dodrženy

  • Generativní adversariální sítě: Základy.

  • Duální síťová architektura (generátor a diskriminátor) s alternativním učením, dostupnými nákladovými funkcemi.

  • Konvergence GAN a vzniklé potíže.

  • Zlepšená konvergence: Wasserstein GAN, Began. Země Pohyblivá Vzdálenost.

  • Aplikace pro generování obrázků nebo fotografií, generování textu, super-rozlišení.

Hluboké Reinforcement Learning.

  • Prezentace posilovacího učení: ovládání agenta v definovaném prostředí

  • Stavem a možnými činy

  • Použití neuronové sítě k aproximaci stavové funkce

  • Deep Q Learning: zažijte opakované přehrávání a aplikaci pro ovládání videohry.

  • Optimalizace vzdělávací politiky. On-policy && off-policy. Herecký kritik architektury. A3C.

  • Aplikace: ovládání jedné videohry nebo digitálního systému.

Část 2 – Theano pro Deep Learning

Základy Theano

  • Zavedení

  • Instalace a konfigurace

Funkce Theano

  • vstupy, výstupy, aktualizace, danosti

Trénink a optimalizace neuronové sítě pomocí Theano

  • Modelování neuronových sítí

  • Logistická regrese

  • Skryté vrstvy

  • Školení sítě

  • Výpočetní technika a klasifikace

  • Optimalizace

  • Log Loss

Testování modelu


Část 3 – DNN pomocí Tensorflow

TensorFlow Základy

  • Vytváření, inicializace, ukládání a obnovování TensorFlow proměnných

  • Podávání, odečítání a přednačítání TensorFlow Data

  • Jak používat infrastrukturu TensorFlow k trénování modelů v měřítku

  • Vizualizace a vyhodnocování modelů pomocí TensorBoard

TensorFlow Mechanika

  • Připravte Data

  • Stáhnout

  • Vstupy a zástupné symboly

  • Sestavte GraphS

    • Odvození

    • Ztráta

    • Výcvik

  • Trénujte modelku

    • Graf

    • Zasedání

    • Vlaková smyčka

  • Vyhodnoťte model

    • Sestavte Eval Graph

    • Výstup Eval

Perceptron

  • Aktivační funkce

  • Algoritmus učení perceptronu

  • Binární klasifikace s perceptronem

  • Klasifikace dokumentů pomocí perceptronu

  • Omezení perceptronu

Od perceptronu k podpoře vektorových strojů

  • Jádra a jádrový trik

  • Maximální klasifikace okrajů a podpůrné vektory

Umělé Neural Networks

  • Nelineární hranice rozhodování

  • Umělé neuronové sítě s dopřednou a zpětnou vazbou

  • Vícevrstvé perceptrony

  • Minimalizace nákladové funkce

  • Dopředná propagace

  • Zpětná propagace

  • Zlepšení způsobu, jakým se neuronové sítě učí

konvoluční Neural Networks

  • Goals

  • Architektura modelu

  • Zásady

  • Organizace kódu

  • Spuštění a výcvik modelu

  • Hodnocení modelu

Základní úvody k níže uvedeným modulům (Krátký úvod bude poskytnut na základě časové dostupnosti):

Tensorflow – pokročilé použití

  • Řezání vláken a fronty

  • Distribuováno TensorFlow

  • Psaní Documentation a sdílení vašeho modelu

  • Přizpůsobení čteček dat

  • Manipulace se soubory modelu TensorFlow


TensorFlow Podávání

  • Zavedení

  • Základní výuka servírování

  • Pokročilý výukový program servírování

  • Výukový program servírování počátečního modelu

Požadavky

Základní znalosti z fyziky, matematiky a programování. Zapojení do činností zpracování obrazu.

Delegáti by měli předem rozumět konceptům strojového učení a měli by pracovat na Python programování a knihovnách.

 35 hodiny

Počet účastníků


Price per participant

Reference (5)

Upcoming Courses

Související kategorie