Návrh Školení
Část 1 – Deep Learning a koncepty DNN
Úvod AI, Machine Learning & Deep Learning
Historie, základní pojmy a obvyklé aplikace umělé inteligence daleko od fantazií nesených touto doménou
Kolektivní inteligence: agregace znalostí sdílených mnoha virtuálními agenty
Genetické algoritmy: k vývoji populace virtuálních agentů výběrem
Obvyklý výukový stroj: definice.
Typy úkolů: učení pod dohledem, učení bez dozoru, posilovací učení
Typy akcí: klasifikace, regrese, shlukování, odhad hustoty, redukce dimenzionality
Příklady Machine Learning algoritmů: Lineární regrese, Naive Bayes, Random Tree
Strojové učení VS Deep Learning: problémy, na kterých Machine Learning zůstává Dnes nejmodernější (Random Forests & XGBoosts)
Základní pojmy neuronové sítě (Aplikace: vícevrstvý perceptron)
Připomenutí matematických základů.
Definice sítě neuronů: klasická architektura, aktivace a
Vážení předchozích aktivací, hloubka sítě
Definice učení sítě neuronů: funkce nákladů, zpětné šíření, Stochastický gradient sestup, maximální pravděpodobnost.
Modelování neuronové sítě: modelování vstupních a výstupních dat podle typu problému (regrese, klasifikace ...). Prokletí dimenzionality.
Rozdíl mezi daty s více funkcemi a signálem. Volba nákladové funkce podle údajů.
Aproximace funkce sítí neuronů: prezentace a příklady
Aproximace rozdělení sítí neuronů: prezentace a příklady
Data Augmentation: jak vyvážit datovou sadu
Zobecnění výsledků sítě neuronů.
Inicializace a regularizace neuronové sítě: regularizace L1 / L2, dávková normalizace
Optimalizační a konvergenční algoritmy
Standardní nástroje ML / DL
V plánu je jednoduchá prezentace s výhodami, nevýhodami, postavením v ekosystému a využitím.
Nástroje pro správu dat: Apache Spark, Apache Hadoop Nástroje
Machine Learning: Numpy, Scipy, Sci-kit
Rámce DL vysoké úrovně: PyTorch, Keras, Lasagne
Nízkoúrovňové rámce DL: Theano, Torch, Caffe, Tensorflow
Konvoluční Neural Networks (CNN).
Prezentace CNN: základní principy a aplikace
Základní operace CNN: konvoluční vrstva, použití jádra,
Padding & krok, funkce generování mapy, sdružování vrstev. Rozšíření 1D, 2D a 3D.
Prezentace různých architektur CNN, které přinesly nejmodernější klasifikaci
Obrázky: LeNet, VGG Networks, Network in Network, Inception, Resnet. Prezentace inovací, které přináší jednotlivé architektury a jejich globálnější aplikace (Convolution 1x1 nebo zbytková připojení)
Použití modelu pozornosti.
Aplikace na běžný případ klasifikace (text nebo obrázek)
CNN pro generaci: super-rozlišení, segmentace pixel-to-pixel. Prezentace
Hlavní strategie pro zvýšení map prvků pro generování obrázků.
Recidivující Neural Networks (RNN).
Prezentace RNN: základní principy a aplikace.
Základní operace RNN: skrytá aktivace, zpětné šíření v čase, rozložená verze.
Vývoj směrem k Gated Recurrent Units (GRU) a LSTM (Long Short Term Memory).
Prezentace různých stavů a evolucí, které tyto architektury přinášejí
Problémy konvergence a mizení gradientu
Klasické architektury: Predikce časové řady, klasifikace ...
RNN Encoder Architektura typu dekodéru. Použití modelu pozornosti.
NLP aplikace: kódování slov / znaků, překlad.
Video aplikace: predikce dalšího generovaného obrazu videosekvence.
Generační modely: Variational AutoEncoder (VAE) a Generative Adversarial Networks (GAN).
Prezentace generačních modelů, propojení s CNN
Auto-kodér: redukce rozměrů a omezené generování
Variační automatický kodér: generační model a aproximace distribuce daného. Definice a využití latentního prostoru. Reparametrizační trik. Aplikace a limity dodrženy
Generativní adversariální sítě: Základy.
Duální síťová architektura (generátor a diskriminátor) s alternativním učením, dostupnými nákladovými funkcemi.
Konvergence GAN a vzniklé potíže.
Zlepšená konvergence: Wasserstein GAN, Began. Země Pohyblivá Vzdálenost.
Aplikace pro generování obrázků nebo fotografií, generování textu, super-rozlišení.
Hluboké Reinforcement Learning.
Prezentace posilovacího učení: ovládání agenta v definovaném prostředí
Stavem a možnými činy
Použití neuronové sítě k aproximaci stavové funkce
Deep Q Learning: zažijte opakované přehrávání a aplikaci pro ovládání videohry.
Optimalizace vzdělávací politiky. On-policy && off-policy. Herecký kritik architektury. A3C.
Aplikace: ovládání jedné videohry nebo digitálního systému.
Část 2 – Theano pro Deep Learning
Základy Theano
Zavedení
Instalace a konfigurace
Funkce Theano
vstupy, výstupy, aktualizace, danosti
Trénink a optimalizace neuronové sítě pomocí Theano
Modelování neuronových sítí
Logistická regrese
Skryté vrstvy
Školení sítě
Výpočetní technika a klasifikace
Optimalizace
Log Loss
Testování modelu
Část 3 – DNN pomocí Tensorflow
TensorFlow Základy
Vytváření, inicializace, ukládání a obnovování TensorFlow proměnných
Podávání, odečítání a přednačítání TensorFlow Data
Jak používat infrastrukturu TensorFlow k trénování modelů v měřítku
Vizualizace a vyhodnocování modelů pomocí TensorBoard
TensorFlow Mechanika
Připravte Data
Stáhnout
Vstupy a zástupné symboly
Sestavte GraphS
Odvození
Ztráta
Výcvik
Trénujte modelku
Graf
Zasedání
Vlaková smyčka
Vyhodnoťte model
Sestavte Eval Graph
Výstup Eval
Perceptron
Aktivační funkce
Algoritmus učení perceptronu
Binární klasifikace s perceptronem
Klasifikace dokumentů pomocí perceptronu
Omezení perceptronu
Od perceptronu k podpoře vektorových strojů
Jádra a jádrový trik
Maximální klasifikace okrajů a podpůrné vektory
Umělé Neural Networks
Nelineární hranice rozhodování
Umělé neuronové sítě s dopřednou a zpětnou vazbou
Vícevrstvé perceptrony
Minimalizace nákladové funkce
Dopředná propagace
Zpětná propagace
Zlepšení způsobu, jakým se neuronové sítě učí
konvoluční Neural Networks
Goals
Architektura modelu
Zásady
Organizace kódu
Spuštění a výcvik modelu
Hodnocení modelu
Základní úvody k níže uvedeným modulům (Krátký úvod bude poskytnut na základě časové dostupnosti):
Tensorflow – pokročilé použití
Řezání vláken a fronty
Distribuováno TensorFlow
Psaní Documentation a sdílení vašeho modelu
Přizpůsobení čteček dat
Manipulace se soubory modelu TensorFlow
TensorFlow Podávání
Zavedení
Základní výuka servírování
Pokročilý výukový program servírování
Výukový program servírování počátečního modelu
Požadavky
Základní znalosti z fyziky, matematiky a programování. Zapojení do činností zpracování obrazu.
Delegáti by měli předem rozumět konceptům strojového učení a měli by pracovat na Python programování a knihovnách.
Reference (5)
Hunter je báječný, velmi poutavý, nesmírně informovaný a sympatický. Velmi dobře.
Rick Johnson - Laramie County Community College
Kurz - Artificial Intelligence (AI) Overview
Machine Translated
The trainer explained the content well and was engaging throughout. He stopped to ask questions and let us come to our own solutions in some practical sessions. He also tailored the course well for our needs.
Robert Baker
Kurz - Deep Learning with TensorFlow 2.0
Tomasz really know the information well and the course was well paced.
Raju Krishnamurthy - Google
Kurz - TensorFlow Extended (TFX)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Kurz - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.