Python: Práce s logy

Obsah:
Proč jsou základy datové analýzy důležitější než kdy dřív Kurz postavený na Pythonu Proč absolvovat kurz Datová analýza pro tradery Osnova kurzu Jak kurz probíhá Zapojení do kurzu Obchodování na finančních trzích se obvykle spojuje s představou klikání do grafů a intuitivního vyhodnocování různých ukazatelů. Dnešní svět ale vyžaduje mnohem preciznější přístup: většina profesionálních traderů pracuje s daty – sbírají je, čistí, zpracovávají a analyzují. Následně na jejich základě dělají rozhodnutí, která stojí na pevných základech místo pouhých dojmů a emocí. Pokud chcete coby retailoví obchodníci posunout svůj trading na vyšší úroveň, je nezbytné osvojit si, jak s daty pracovat. A právě proto nyní v TechLabu spouštíme nový kurz Datová analýza pro tradery.
Cílem kurzu je ukázat i naprostým začátečníkům ověřené taktiky zpracování tržních dat, které profesionální obchodníci využívají prakticky denně. Naučíte se data stahovat, třídit, čistit, interpretovat a využívat je k vytváření efektivnějších obchodních strategií.
Proč jsou základy datové analýzy důležitější než kdy dřív
I když se necítíte na to, abyste se pustili do klasického programování, dnešní doba nabízí stále víc „AI“ nástrojů, které umožňují pracovat s daty bez nutnosti psát vlastní kód. Přesto se podle našich dlouholetých zkušeností vyplatí rozumět základním principům, na kterých tyto nástroje fungují. Jen tak nad nimi získáte lepší kontrolu a jistotu, že reálně chápete, jak (a proč) vytvářejí určité výstupy.
Kurz Datová analýza pro tradery vám proto přinese základní datovou gramotnost – takovou, abyste uměli data získat, zkontrolovat jejich správnost, očistit je či je zadat do AI nástroje a následně poznat, zda jsou jeho výstupy relevantní a použitelně interpretované.
Kurz postavený na Pythonu
Celý program je vystavěný na skriptovacím jazyce Python, který dnes tvoří jádro obrovského množství „AI“ i standardních datových nástrojů. Díky know-how, které v kurzu získáte, budete moct následně své dovednosti rozšířit do mnoha směrů.

Proč absolvovat kurz Datová analýza pro tradery
Praktické zaměření
Kurz je navržen tak, aby každý krok ilustroval reálné obchodní situace. Nejde o akademické teorie. Na konci dvanáctitýdenního programu se budete umět postavit k reálným datům, provést jejich úpravu a vyvodit z nich užitečné závěry pro vlastní trading. Dva komplexní projekty
V rámci kurzu nebudete jen pasivně naslouchat, ale rovnou si vyzkoušíte dva samostatné projekty. Díky tomu se učíte nejúčinněji – praxí. Vstřícný výklad
Mnoho lidí odrazuje představa „datových tabulek“ a „programování“. Postupujeme proto pozvolna a názorně. Začneme definicí datových zdrojů a formátů, ukážeme si, jak data načíst a čistit a postupně se dostaneme k pokročilejším technikám. Vše probíhá ve vstřícném prostředí Jupyter Labu, kde můžete kód spouštět po malých částech a hned vyhodnocovat výsledky. Lektorská podpora
Po celou dobu kurzu bude k dispozici Bogdan, kterého se můžete kdykoli ptát na cokoli nejasného. Pokud budete tápat, společně projdete daný problém tak, abyste se reálně posunuli z bodu A do bodu B. Bogdan stojí na Finančníkovi za vývojem autotraderu SignalTrader a má dlouholeté zkušenosti se systematickým tradingem. Skvělý start
I když zatím o datové analýze nevíte vůbec nic, ukážeme vám, jak si vytvořit svůj první „datový pracovní postup“ (workflow). Ten pak můžete dále rozšiřovat a stavět na jeho základech. Osnova kurzu
Kurz je rozdělen do deseti základních lekcí a dvou praktických projektů:
Definice zdrojů a formátů
Vysvětlení, kde data hledat, jak se k nim dostat a co všechno může být užitečným zdrojem pro trading. Budeme mluvit o různých formátech (CSV, Excel, databáze, online API) a jak s nimi pracovat. Zpracování a očištění dat
Prakticky si ukážeme, jak data načíst do tabulek či specializovaných nástrojů, jak identifikovat chybějící hodnoty či duplicity a co to znamená pro naši analýzu. Naučíme se metody „čištění“ tak, aby nám v datech nezůstávaly nesmysly. Specifika práce s finančními daty a převody dat
Ať už sbíráte data o akciích, futures nebo kryptoměnách, narazíte na rozdíly v časových pásmech, úpravy pro dividendy, případně splity. V této lekci se naučíte, na co si dát pozor, abyste měli data správně připravena pro obchodní rozhodnutí. Projekt A
Po lekci 3 se pustíme do prvního praktického projektu. Ukážeme si kompletní workflow: od načtení surových dat a jejich očištění až po sjednocení formátů a prvotní vyhodnocení. Naučíte se vytvořit si vlastní „datový balík“, se kterým budete dále pracovat.
Zkoumání trendů a sezónnosti
Vysvětlíme si, co je trend, jak ho měřit a jak do analýz zahrnout sezónnost. Na reálných příkladech uvidíte, že sezónní vlivy se netýkají jen zemědělských komodit, ale mohou se vyskytovat i v indexech či akciích. Statistika pro datovou analýzu
Představíme si základy statistiky: min/max, průměr, medián, směrodatnou odchylku. Ukážeme si histogramy, rozptylové grafy a naučíme se je číst v kontextu reálných tržních příkladů. Pokročilá agregace a transformace dat
Zaměříme se na tvarování a přeskupování dat (pivoty), shrnutí denních dat do týdenních průměrů a podobně. Také se naučíte připravit pokročilejší funkce a vypočítat Sharpe ratio nebo drawdown. Korelace, porovnávání hodnot a heatmapy
Různé instrumenty se mohou chovat podobně, nebo naopak zcela protichůdně. Naučíte se vyhodnocovat korelace, porovnávat volatilitu jednotlivých akcií a z heatmap hned vyčíst vzájemné vztahy na trhu. Volatilita a její vliv na cenové pohyby
Ať už obchodujete opce nebo jen akcie, volatilita hraje klíčovou roli. Ukážeme si práci s indexem VIX a porovnání s ETF SPY. Zjistíte, jak využít VIX k filtraci obchodů nebo ke zkoumání vztahu mezi prudce rostoucí a následně klesající volatilitou. Modelování časových řad pomocí lineární regrese a predikce vývoje cen
Zabrousíme do základů strojového učení v rámci retailového tradování a srozumitelného přístupu. Naučíte se stavět jednodušší modely lineární regrese, abyste získali přehled o možném budoucím vývoji cen. Reportování a automatizace analýzy
Poslední lekce se zaměří na tvorbu a automatizaci reportů. Ukážeme, jak převést Jupyter Notebook do Python skriptu a spouštět jej plánovaně, abyste měli třeba každé ráno k dispozici vlastní shrnutí trhů. Projekt B
Kurz zakončí druhý projekt, jehož konkrétní zaměření vzejde z průběžného zájmu účastníků. Může to být například vytvoření automatizovaného denního reportu sentimentu (vývoj SPY, VIX, RSI, tituly s největšími pohyby v S&P 500 atd.). Získáte tak hotovou šablonu, kterou si můžete kdykoliv rozšířit nebo upravit pro své vlastní potřeby.
Jak kurz probíhá
Kurz je rozdělen na výukové bloky, jež na sebe navazují. Každý týden získáte přístup k nové lekci, abyste měli dostatek času vše pochopit a samostatně vyzkoušet. Součástí výuky je:
Video návod ke každé lekci, kde uvidíte krok za krokem, co a jak dělat. Z každé lekce vychází také jednoduchý domácí úkol. Ukázkové datasety a hotové skripty, se kterými můžete sami experimentovat a přizpůsobovat je svým potřebám. Uzavřené diskuzní fórum, kde budete v kontaktu s lektorem po celou dobu kurzu. Lektor vám pomůže vše zprovoznit, a pokud narazíte na zádrhel, vysvětlí, jak se posunout dál. Stačí hlavně chuť se něco nového naučit. Všechno ostatní společně doladíme.
Zapojení do kurzu
Kurz je zdarma dostupný všem účastníkům TechLabu. První lekci naleznete v členské sekci na této adrese.
Pokud zatím do TechLabu přístup nemáte, zaregistrujte se zde: TechLab - zaměřeno na automatizaci a technickou podporu v obchodování. Nejvýhodnější je roční předplatné TechLab Automatizace, které kromě hotového autotraderu otevírá i kompletní archiv již publikovaných minikurzů: https://www.financnik.cz/forum/info/ostatni/minikurzy-prehled
Pojďte s námi proniknout do světa datové analýzy a posuňte svůj trading na novou úroveň. Právě teď je ten správný čas začít – těšíme se na vás v kurzu Datová analýza pro tradery!

Trading, ať už je to na akciovém, komoditním nebo měnovém trhu, vyžaduje stále sofistikovanější nástroje a postupy, aby trader mohl konkurovat a zůstat o krok napřed před trhem. Jeden z nástrojů, který získal značnou oblibu v oboru tradingu, je programovací jazyk Python.
Python je programovací jazyk, který je známý svou čitelností a pružností, což z něj činí ideální volbu pro rychlé prototypování a vývoj komplexních algoritmů.
Profesionální trader může využívat Python k analýze dat, backtestingu obchodních strategií nebo dokonce k automatizaci svých obchodů. Díky široké škále knihoven, jako jsou Pandas pro manipulaci s daty, NumPy pro výpočty nebo QuantConnect pro backtesting a obchod, může trader snadno a rychle vytvářet nástroje a aplikace přizpůsobené jeho specifickým potřebám.
Python rovněž umožňuje snadné propojení s různými datovými zdroji, od tradičních databází po real-time streamingové služby. Toto umožňuje traderovi mít vždy aktuální informace a rychle reagovat na měnící se tržní podmínky.
Navíc, díky komunitě vývojářů, která za Pythonem stojí, je zde obrovské množství dostupných zdrojů, tutoriálů a knihoven, což umožňuje traderům neustále se zdokonalovat a rozšiřovat své schopnosti v oblasti programování a analýzy dat.
Na Finančníkovi vytváříme v Pythonu všechny skripty, které nám slouží k analýze dat a obchodování. Aplikace Trading Room je vytvořena v Pythonu a také náš autotrader. Jak se naučit skriptovat v Pythonu od nulových znalostí (sami nejsme programátoři) vyučujeme průběžně v TechLabu.
Oficiální stránka Pythonu: https://www.python.org/
 

Při práci s analytickými programy také jistě často narážíte na to, že některé výstupy nejde ukládat, či je jejich ruční ukládání časově náročné. Přitom počítače dnes umožňují automatizovat prakticky jakoukoliv činnost. Buď s pomocí specializovaných komerčních programů, anebo zcela zdarma. Takové řešení vám dnes demonstruji krok za krokem na ukázce ukládání historie obchodů z WFO analýzy TradeStation, které nejsou samy o sobě k dalšímu zpracování k dispozici. Článek obsahuje i kompletní kód skriptu ke stažení.
Využití dále popisovaného principu je velmi široké. V rámci zjednodušení se zaměřím na řešení jediného problému – jak dostat do Excelu historii obchodů z okna TradeStation Walk-Forward Optimizeru pro další zkoumání? Data jsou k dispozici v okně P/L History, ale TradeStation je „jako na potvoru“ ukládá na disk jen v binární podobě. Přitom zejména při různých analytických činnostech se seznam obchodů hodí.
Samozřejmě – můžeme se přepnout ručně do dané záložky, zkopírovat data do schránky a pak do Excelu. Ale co když chceme data od všech běhů najednou? To už je práce na delší čas. Nebo případně, co když danou činnost chceme dělat zcela automaticky v rámci nějakého dalšího workflow? Nebo, co když potřebujeme podobným způsobem zpracovávat další data, třeba v jiných programech? Pak je čas na nějakou automatizaci.
Osobně k podobným účelům používám bezplatný programovací jazyk Python, který už jsem na Finančníkovi několikrát zmiňoval.
S jeho pomocí může stažení dat do Excelu (kde každá záložka bude obsahovat samostatný běh optimalizace) vypadat jako na následujícím videu, kde jsou všechny kroky prováděny samotným skriptem:

Kód, který jsem si pro daný úkol vytvořil, jsem pro vás veřejně publikoval zde do Gitu: https://github.com/podhajsky/Tradestation-scripts
Můžete jej použít jako hotové řešení, ale spíše k inspiraci, jak lze podobné problémy řešit. Upozorňuji, že nejsem programátor, ale o to více může být kód inspirující i pro ty, kteří se programováním také profesionálně nezabývají.
Jakých principů kód využívá?
Vše se točí kolem modulu pyautogui, který si můžete do Pythonu jednoduše instalovat v Shellu přes pip install pyautogui. Pyautogui pak umí ovládat klávesnici a myš stejně, jako uživatel. A dokonce má základní funkce pro porovnání obsahu obrazovky.
Při automatizaci podobných principů pak postupuji například následovně:
Nejprve si jako screenshot uložím nějakou část obrazovky - takto mám třeba uložené ikony pro otevření nového běhu optimalizace.
Následně v programu zadám příkaz:
button_loc=pyautogui.locateOnScreen("images/open-WFO-button.png")
který mi do proměnné button_loc načte pozici dané bitmapy (pokud je okno otevřené a program bitmapu najde). Tímto se program „zkalibruje“ vůči poloze otevřeného okna a následně již není problém jej „nacvičit“ na různé sekvence klikání a mačkání kláves.
Určitou volbu v menu mohu vyvolat například sekvencí:
pyautogui.click(button_loc[0]+124, button_loc[1]-19)
pyautogui.press("down")
pyautogui.press("down")
pyautogui.press("enter")
která zajistí, že program klikne do určitého místa na obrazovce (odvíjející se od pozice referenčního tlačítka zjištěného v předešlém kroku), následně například stiskne na klávesnici 2x šipku dolu a poté „enter“.
Dalšími sekvencemi (podrobně popsanými v publikovaném kódu) tak není problém například načíst určitou oblast do schránky počítače a odtud data přenést do proměnné. Proměnnou zpracovat a uložit do Excelu.
V kódu je vidět, že se občas musíme při podobném procesu vypořádat s různými drobnými zádrhely. Například ve formátech čísel. Tradestation například (alespoň na mém počítači) zobrazuje číslice jinak, než je umí načítat Excel. Je to způsobené oddělením tisíců v číslicích pomocí čárky. To ale pro Python není vůbec žádný problém. Řetězec konvertuji na čísla ve správném formátu a uložím do Excelu. V něm pak můžeme vše podrobně analyzovat nebo graficky zpracovávat.
Kompletní kód skriptu je tedy k dispozici na adrese: https://github.com/podhajsky/Tradestation-scripts
Upozorňuji, že jeho smyslem je poskytnout inspiraci. Neposkytuji k němu žádnou podporu a nemusí fungovat na všech počítačích (například proto, že budete pracovat s trochu jiným formátem čísel a bude tak třeba nepatrně upravit příslušnou část kódu). Také pochopitelně vyžaduje instalovaný Python (ve verzi 3 a vyšší) a základní znalost spouštění programů. Pokud chcete do základů Pythonu proniknout, existuje na internetu mnoho bezplatných zdrojů, řada z nich i v češtině (například on-line učebnice Učíme se programovat v jazyce Python 3, Učebnice jazyka Python (aneb Létající cirkus) a mnoho dalších).
P.S.: Jak vidíte, Pythonem lze provádět velmi efektivně ohromné množství analytických činností, které nám traderům usnadňují práci a pomáhají získávat a analyzovat informace. Pythonem lze programovat prakticky cokoliv, sám se zaměřuji zejména na analýzu finančních dat. Jelikož dostávám dotazy, jak konkrétně s Pythonem začít a analyzovat data (například i ve stylu dnešního článku), uvažuji, jestli bychom na toto téma neuspořádali na Finančníkovi kurz. Ten by mohl mít za cíl naučit neprogramátory (jako jsem já) pracovat s Pythonem na základní úrovni využitelnou pro finanční analýzu burzovních dat. Tedy zprostředkovat znalosti, které sám v dnešních trzích s tímto nástrojem používám (a nezabíhal příliš do samotného programování). Prosím napište mi na petr@financnik.cz naprosto nezávazný email, pokud byste měli o podobný kurz zájem.