Webové scraping s Pythonem Počítačový Kurz
Webové scraping je technika pro extrahování dat z webové stránky a následné ukládání do místního souboru nebo databáze.
Tato instruktorem vedená, živá školení (online nebo na místě) je určená pro programátory, kteří chtějí použít Python k automatizaci procesu procházení mnoha webových stránek a extrakce dat pro zpracování a analýzu.
Konec školení bude účastníci schopni:
- Nainstalovat a nakonfigurovat Python a všechny relevantní balíčky.
- Získávat a analyzovat data uložená na mnoha různých webových stránkách.
- Porozumět, jak fungují weby a jak je jejich HTML strukturované.
- Vytvářet pavouky pro široké procházení webu.
- Používat Selenium k procházení webových stránek řízených AJAXem.
Formát kurzu
- Interaktivní přednáška a diskuse.
- Mnoho cvičení a praktiky.
- Rukou prováděná implementace v živé laboratorním prostředí.
Možnosti přizpůsobení kurzu
- Tento kurz předpokládá znalost programování.
- Pokud si chcete tento kurz nechat přizpůsobit, kontaktujte nás pro řízení.
Návrh Školení
Úvod
Nastavení vývojového prostředí
Základy Pythonu: datové struktury, podmínky, práce se soubory atd.
Python balíčky pro webové scraping: Scrapy a BeautifulSoup
Jak fungují weby
Jak je HTML strukturované
Vytvoření webové žádosti
Webové scraping HTML stránky
Práce s XPath a CSS
Filtrování dat pomocí regulárních výrazů
Vytvoření web crawleru
Procházení webových stránek řízených AJAXem a JavaScriptem pomocí Selenium.
Nejlepší praktiky pro webové scraping
Rozhodování při problémech
Závěr a shrnutí
Požadavky
- Zkušenosti s programováním, preferabilně v Pythonu. Pokud mají účastníci zkušenosti s programováním jiným než Pythonem, školení lze rozšířit o více úvodních cvičení v Pythonu.
Účastníci
- Programátoři
Veřejné školení vyžaduje minimálně 5 účastníků.
Webové scraping s Pythonem Počítačový Kurz - Rezervace
Webové scraping s Pythonem Počítačový Kurz - Dotaz
Webové scraping s Pythonem - Dotaz ohledně konzultace
Dotaz ohledně konzultace
Reference (1)
Many different examples and topics has been covered, from basic investigation to login management and dynamic page management.
Daniele Tagliaferro - Creditsafe Italia Srl
Kurz - Web Scraping with Python
Nadcházející kurzy
Související kurzy
Škálování analýzy dat s Pythonem a Dask
14 hodinyTato vedená instruktorem živá školení (online nebo na místě) je zaměřena na datové analytiky a softwarové inženýry, kteří chtějí použít Dask s ekosystémem Pythonu k vytváření, škálování a analýze velkých datasetů.
Koncepcí tohoto školení je, že účastníci budou schopni:
- Nastavit prostředí pro zahájení vytváření zpracování velkých dat s Daskem a Pythonem.
- Prozkoumat funkce, knihovny, nástroje a rozhraní API dostupné v Dasku.
- Pochopit, jak Dask zrychluje paralelní výpočty v Pythonu.
- Naučit se škálovat ekosystém Pythonu (Numpy, SciPy a Pandas) pomocí Dasku.
- Optimalizovat prostředí Dask pro udržení vysokého výkonu při zpracování velkých datasetů.
Analýza dat s Pythonem, Pandas a NumPy
14 hodinyTento vedený instruktorem živý školení na místě nebo online je určen pro středně pokročilé Python vývojáře a analytiky dat, kteří chtějí posílit své dovednosti v analýze a manipulaci s daty pomocí Pandas a NumPy.
Do konce tohoto školení budou účastníci schopni:
- Nastavit vývojové prostředí, které zahrnuje Python, Pandas a NumPy.
- Vytvořit aplikaci pro analýzu dat pomocí Pandas a NumPy.
- Provádět pokročilou manipulaci s daty, řazení a filtrování operací.
- Provádět agregované operace a analyzovat časové série dat.
- Vizualizovat data pomocí Matplotlibu a dalších knihoven pro vizualizaci.
- Ladit a optimalizovat svůj kód pro analýzu dat.
FARM (FastAPI, React a MongoDB) Full Stack Vývoj
14 hodinyTato vedená instruktorem živá školení (online nebo na místě) je určená pro vývojáře, kteří chtějí použít stack FARM (FastAPI, React a MongoDB) k vytváření dynamických, vysokorychlostních a škálovatelných webových aplikací.
Koncem tohoto školení budou účastníci schopni:
- Nastavit nezbytné vývojové prostředí, které integruje FastAPI, React a MongoDB.
- Porozumět klíčovým konceptům, funkcím a výhodám stacku FARM.
- Přihrádat, jak vytvářet REST API pomocí FastAPI.
- Přihrádat, jak navrhovat interaktivní aplikace s Reactem.
- Vývoj, testování a nasazování aplikací (front-end i back-end) pomocí stacku FARM.
Vývoj API s Pythonem a FastAPI
14 hodinyToto instruktorem vedené živé školení (online nebo na místě) je zaměřeno na vývojáře, kteří se chtějí naučit používat FastAPI s Pythonem k snadnějšímu a rychlejšímu vytváření, testování a nasazování RESTful API.
Na konci tohoto školení budou účastníci schopni:
- Nastavit nezbytné vývojové prostředí pro vytváření API pomocí Pythonu a FastAPI.
- Vytvářet API rychleji a snadněji s použitím knihovny FastAPI.
- Naučit se, jak vytvářet datové modely a schémata založená na Pydanticu a OpenAPI.
- Připojovat API k databázím s použitím SQLAlchemy.
- Implementovat bezpečnostní mechanismy a ověřování v API pomocí nástrojů FastAPI.
- Vytvářet kontejnerové image a nasazovat webové API na cloudový server.
Machine Learning s Pythonem – 2 dny
14 hodinyCílem tohoto kurzu je poskytnout základní dovednosti při uplatňování Machine Learning metod v praxi. Prostřednictvím používání Python programovacího jazyka a jeho různých knihoven a na základě mnoha praktických příkladů se tento kurz učí, jak používat nejdůležitější stavební bloky Machine Learning, jak činit data modelování rozhodnutí, interpretovat výstupy algoritmů a validovat výsledky.
Naším cílem je poskytnout vám dovednosti k pochopení a důvěryhodnému používání nejzákladnějších nástrojů z nástrojové krabice Machine Learning a vyhnout se běžným úderům aplikací Data Science.
Studium strojového učení s Pythonem – 4 dny
28 hodinyCílem tohoto kurzu je poskytnout obecné znalosti v aplikaci metod strojového učení v praxi. Pomocí programovacího jazyka Python a jeho různých knihoven a na základě množství praktických příkladů tento kurz učí, jak používat nejdůležitější stavební bloky strojového učení, jak se rozhodovat o datovém modelování, interpretovat výstupy algoritmy a ověřovat výsledky.
Naším cílem je poskytnout vám dovednosti, abyste rozuměli a používali nejzákladnější nástroje z Machine Learning sady nástrojů s jistotou a vyhnuli se běžným nástrahám aplikací Data Sciences.
Zrychlování Python Pandas pracovních postupů s využitím Modin
14 hodinyToto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové vědce a vývojáře, kteří chtějí používat Modin k sestavení a implementaci paralelních výpočtů s Pandas pro rychlejší analýzu dat.
Na konci tohoto školení budou účastníci schopni:
- Nastavte potřebné prostředí, abyste mohli začít vyvíjet pracovní postupy Pandas ve velkém měřítku s Modin.
- Pochopte funkce, architekturu a výhody Modin.
- Poznejte rozdíly mezi Modin, Dask a Rayem.
- Pomocí Modin provádějte operace Pandas rychleji.
- Implementujte celé Pandas API a funkce.
Python pro Generování Přirozeného Jazyka (NLG)
21 hodinyV tomto instruktážním živém tréninku v České republice se účastníci naučí používat Python pro výrobu kvalitního textu v přirozené řeči, postupně sestavují vlastní systém NLG. Budou rovněž analyzovány případové studie a relevantní koncepty budou aplikovány na živých laboratorních projektech pro generování obsahu.
Koncem tohoto tréninku budou účastníci schopni:
- Používat NLG k automatickému generování obsahu pro různé odvětví, od tiskárny po nemovitosti a zprávy o počasí a sportu.
- Vybírat a organizovat zdrojový obsah, plánovat věty a připravovat systém pro automatické generování originálního obsahu.
- Pochopit průmyslovou linii NLG a aplikovat správné techniky na každém stupni.
- Pochopit architekturu Natural Language Generation (NLG) systému.
- Implementovat nejvhodnější algoritmy a modely pro analýzu a uspořádání.
- Dobyvat data ze veřejných zdrojů i z kurátorovských databází k použití jako materiál pro generovaný text.
- Nahrazovat ruční a pracné procesy psaní počítačem generovaným, automatizovaným vytvářením obsahu.
Pokročilé strojové učení s Pythonem
21 hodinyV tomto instruktorem vedeném živém školení na České republice se účastníci naučí nejrelevantnější a nejoblíbenější strojové učení v Pythonu, zatímco budou budovat řadu ukázkových aplikací obsahujících obrázky, hudbu, text a finanční data.
Konec tohoto školení se účastníci budou schopni:
- Implementovat algoritmy a techniky strojového učení pro řešení složitých problémů.
- Používat hluboké učení a poloznačované učení v aplikacích zahrnujících obrázky, hudbu, text a finanční data.
- Vyčerpat potenciál Pythonových algoritmů do plna.
- Používat knihovny a balíčky jako NumPy a Theano.
Python: Automatizace nudných věcí
14 hodinyToto instruktor-em védané, živé školení v České republice je založeno na populární knize „Automate the Boring Stuff with Python“ od Ala Sweigarta. Je určené začínajícím a pokrývá základní koncepty programování v Pythonu prostřednictvím praktických, interaktivních cvičení a diskusí. Hlavní důraz je kladen na naučení psát kód, který drastičtě zvyšuje účinnost práce v kanceláři.
Na konci tohoto školení budou účastníci znát programování v Pythonu a budou schopni použít tuto novou dovednost pro:
- Automatizaci úkolů psaním jednoduchých programů v Pythonu.
- Psaní programů, které dokáží rozpoznávat textové vzory pomocí „regulárních výrazů“.
- Programově generování a aktualizaci Excelových tabulek.
- Zpracování PDF a Word dokumentů.
- Crawling webových stránek a získávání informací z online zdrojů.
- Psaní programů, které odesílají e-mailová oznámení.
- Použití ladících nástrojů Pythonu k rychlému odstraňování chyb.
- Programově řízení myši a klávesnice pro klikání a psaní za vás.
Python Programming for Finance
35 hodinyPython je programovací jazyk, který získal obrovskou popularitu v finančním průmyslu. Přijatý největšími investičními bankami a hedge fondy se používá k vytváření širokého spektra finančních aplikací, od základních obchodních programů po systémy řízení rizik.
V tomto vedeném instruktorem živém školení se účastníci naučí používat Python k vývoji praktických aplikací pro řešení mnoha specifických problémů souvisejících s financemi.
Na konci tohoto školení budou účastníci schopni:
- Pochopit základy programovacího jazyka Python
- Stáhnout, nainstalovat a udržovat nejlepší vývojové nástroje pro vytváření finančních aplikací v Pythonu
- Vybrat a využít nejvhodnější balíčky a programovací techniky Pythonu k organizaci, vizualizaci a analýze finančních dat z různých zdrojů (CSV, Excel, databáze, webové stránky atd.)
- Stavět aplikace, které řeší problémy související s alokací aktiv, analýzou rizik, výkonem investic a dalšími aspekty
- Odrážet, integrovat, nasazovat a optimalizovat aplikaci v Pythonu
Cílová skupina
- Vývojáři
- Analytici
- Quants (kvantitativní analytici)
Formát kurzu
- Část přednáška, část diskuse, cvičení a významná praktická práce
Poznámka
- Toto školení má za cíl poskytnout řešení některých hlavních problémů, s kterými se finanční profesionálové setkávají. Pokud máte konkrétní téma, nástroj nebo techniku, kterou byste chtěli přidat nebo podrobněji rozpracovat, prosím, kontaktujte nás pro uspořádání.
Pokročilý Python - 4 dní
28 hodinyToto instruktorem védané živé školení v České republice (online nebo na místě) je určeno vývojářům, kteří chtějí naučit pokročilé techniky programování v Pythonu, včetně použití tohoto univerzálního jazyka k řešení problémů v oblastech jako jsou distribuované aplikace, analýza a vizualizace dat, programování uživatelského rozhraní a údržbové skripty.
Python Programming - 4 dny
28 hodinyTento kurz je určen pro ty, kteří se chtějí naučit programovací jazyk Python. Důraz je kladen na jazyk Python, základní knihovny a také na výběr nejlepších a nejužitečnějších knihoven vyvinutých komunitou Python. Python pohání podniky a je používán vědci po celém světě – je to jeden z nejpopulárnějších programovacích jazyků.
Kurz lze realizovat s využitím nejnovější verze Python 3.x s praktickými cvičeními, které využívají jeho plný potenciál. Kurz je možné realizovat na jakémkoli operačním systému (všechny varianty UNIX, včetně Linux a Mac OS X, stejně jako Microsoft Windows).
Praktická cvičení tvoří asi 70 % času kurzu a asi 30 % tvoří demonstrace a prezentace. Během kurzu lze diskutovat a klást otázky.
Poznámka: školení lze přizpůsobit konkrétním potřebám na základě předchozí žádosti před navrhovaným termínem kurzu.
Automatizace testování s Selenium a Pythonem
14 hodinySelenium je otevřený rámec pro automatizaci testování webových aplikací napříč různými prohlížeči. V Selenium 4 jsou k dispozici vylepšené WebDriver API, nativní relativní lokátory a zlepšená podpora gridu. Python nabízí jednoduchost a silnou integraci s testovacími rámci jako Pytest, což ho činí mohutnou volbou pro vytváření škálovatelných a udržitelných testovacích automatizací.
Tuto instruktorem vedené, živé školení (online nebo na místě) je zaměřeno na začínající až středně pokročilé testery a vývojáře, kteří chtějí používat Selenium s Pythonem pro automatizaci testování webových aplikací v reálných prostředích.
Na konci tohoto školení budou účastníci schopni:
- Nainstalovat a nakonfigurovat Selenium s Pythonem v testovacím prostředí.
- Vytvářet robustní skripty pro automatizaci testů pomocí Selenium WebDriver a Pytestu.
- Používat Model objektové stránky (POM) pro udržitelné testovací rámce.
- Spouštět testy napříč více prohlížeči pomocí Selenium Gridu.
- Integrovat automatizované testy do CI/CD cest.
- Řešit běžné problémy a aplikovat osvědčené postupy pro stabilitu automatizace.
Formát kurzu
- Interaktivní přednáška a diskuse.
- Množství cvičení a praktiky.
- Praktické implementace v živém laboratořním prostředí.
Možnosti přizpůsobení kurzu
- Pro požadavek na přizpůsobené školení pro tento kurz, prosím nás kontaktujte k zajištění.
Shrnutí textu s využitím Pythonu
14 hodinyV pythonovském strojovém učení je funkce Shrnutí textu schopna přečíst vstupní text a vygenerovat jeho shrnutí. Tato možnost je dostupná z příkazového řádku nebo jako Python API/bibliotéka. Jednou ze vzrušujících aplikací je rychlé vytváření exekutivních shrnutí; tato funkce je obzvláště užitečná pro organizace, které potřebují před generováním zpráv a prezentací analyzovat velké množství textových dat.
V tomto instruktorem vedeném živém školení se účastníci naučí používat Python k vytvoření jednoduché aplikace, která automaticky generuje shrnutí z vstupního textu.
Na konci tohoto školení budou účastníci schopni:
- Použít příkazový nástroj, který shrnuje text.
- Návrhnout a vytvořit kód pro Shrnutí textu pomocí pythonovských knihoven.
- Oceňovat tři Python knihovny: sumy 0.7.0, pysummarization 1.0.4, readless 1.0.17
Cílová skupina
- Vývojáři
- Data scientists
Formát kurzu
- Část přednášky, část diskuse, cvičení a mnoho praktické praxe