Umela inteligencia, realny system?

[flakac]

Tak k tomu Matlabu
Mám API od Gloriosie.. no .. moc dobrá volba to není ale o lepší nevím.. Musím řešit různé věci.., např. jak na podmíněné ordery (a na stoploss).. atd..
Ještě podotýkám, že v poslední době se rozjíždí iniciativa JSystemTrader.. více na webu IB v buletin board diskusi o API. Myslím že by to pro vás mohlo stát za úvahu..

[SonnY]

No co pani, ako ste pokrocili?

[Wiggy]

Nějak nám to tady umřelo...a zrovna když mě tyhle hi-tech vychytávky taky chytly:o) Je tu ještě někdo kdo se o to zajímá nebo už jste všichni na Bahamách se svýma laptopama?

[petr.wolf]

Ve světě komoditního obchodování se teprve rozkoukávám, ale jakožto programátor a nadšenec pro umělou inteligenci si občas nechávám zdát o vhodném skloubení těchto technologií a vytvoření spolehlivého OS. Napadla mne spousta věcí, ale stejně jako již několikrát, jsem zjistil, že totéž už dávno vymyslel někdo jiný.

Jelikož se na tomto fóru již dlouho neobjevil žádný příspěvek, je to možná zbytečné, ale rád bych se obrátil na bývalé diskutující s otázkou, jak s časovým odstupem hodnotí tuto problematiku a jestli s dříve navrhovanými postupy dosáhli nějakých výsledků.

Pokud má pravdu Wiggy, tak gratuluji :)

[fxmagico]

Zdravím, tak jak se daří? Už jsou to 3 roky co tu probíhala diskuze, tak si myslím, že by mohly být na světě zajímavé závěry. Podělí se někdo?

Osobně se teď pouštím do fuzzy. Používám k tomu toolbox v matlabu, zatím se mi moc nedaří odladit regulator tak aby na testových datech (forward test) to k něčemu stálo...

[flakac]

No.., mám -li být upřimný, žádná sláva to není. Zabředl jsem do programování, konce to nebere. Principielně by tento přístup fungovat měl, jenomže něco jiného je princip, a něco jiného je praktická realizace. (Princip raketového motoru zná každý školák ale dostat vlastní raketu na oběžnou dráhu se každému nepodaří..., takže asi tak) je Milionáři obchodující diskréčně systém FinWin se jistě škodolibě usmívají....
Abych shrnul úspěchy a problémy:
Pokud se staví vlastní systém "from scratch", je to fůra práce. Napojit zdroj dat na brokera, teď ty data se musí konzolidovat, počítat indikátory, pak vlastní rozhodovací mechanismus, nakonec order execution, neustálá kontrola jestli vše funguje.. no hrůza..
Pokud se celý systém staví v Matlabu, tak hned prnví problém je napojení na brokera. I když API existuje, a existuje i komerční řešení (matlab2IB), i nekomerční řešení (Activex), pořád je tam fura práce a problémů.
Pokud jde o vlastní rozhodovací /prediktivní mechanismus. i zde je řada otevřených otázek: Volba targetu je hotová věda, to co je publikováno se nedá použít, nikdo vám nic neřekne. Vyzkoušel jsem a testuji několik řešení, uzavřené to nemám.
Pokud jde o predikci, klasické data miningové metody fungují na stacionární data. Na burzovní data musí být tyto metody poněkud upraveny. (zadejte do google "concept drift" "time series" .., a pochopíte odkud fouká severák...)
Apropo: fxmagico: Fuzzy toolbox k tomuto účelu není příliš vhodný. Fuzzy prediktivní mechanismy nejsou stavěné na velké objemy dat. Také to co je v Matlabu (Anfis) má moc parametrů. Raděj použijte treebagger, ten se umí vyrovnat s velkým počtem proměnných a s jejich redundancí. To fuzzy inferenční systémy neumí.
No a na závěr.. když už máme ten data mining a velký objěm dat (jakože z trochy dat se nic nevymyslí, takže vezmem časovou řadu (=náš oblíbený trh), nějaké ty indikátory, k tomu přidáme další trhy o kterých si myslíme že by mohlý mít nějaký význam.. (jejich synchronizace a řešení situací kdy nějaká ta data vypadnou nebo jsou blbě je na samostatnou kapitolu..., pracovně ji nazvěme Jobova noční můra.. (někdy příště....)) no a budem spracovávat intradenní data.., takže třeba 5minutová.. rok dva dozadu.., nějaká ta stovka proměnných a Matlab jde spolehlivě do kytek...

[flakac]

Ale abych nebyl tak skeptický:
Nejsem sám kdo jde touto cestou:
Docela dobrý blog je www.maxdama.com/ , poslední dobou to chlapec moc neobnovuje, nicméně doporučuji prostudovat příspěvky z minulých let.
Další informace o matlabu a tradingu: tradingwithmatlab.blogspot.com/
Přes Matlab trejdí taky Ernie Chan, jeho blog epchan.blogspot.com/ doporučuji k prostudování. Napsal taky docela dobrou knížku: "Quantitative Trading: How to Build Your Own Algorithmic Trading Business", je tam dost příkladů v Matlabu a vůbec doporučuji, je to dobré čtivo i když dle mého moc do hloubky nejde. Ernie Chan má taky tzv. Premium Contents sekci, kam se dostanete když zadáte heslo které tu psát nebudu aby mi to moderátor nesmáznul...
Pokud máte zájem o komerční řešení - propojení IB a Matlab za xxxUS$/rok, pak mohu doporučit www.exchangeapi.com/ .., (kde není konkurence..., tam se dobře podniká)
Nekomerční řešení (Activex) viz www.tradingwithmatlab.com/ , je tam i videotutoriál
Nakonec i samotná firma Mathworks uznala že Matlab a trading patří k sobě, takže jsou dvě videa k tématu, např: www.mathworks.com/company/events/webinars/wbnr34139.html?id=34139
Literaturu k dataminingu tu psát nebudu, je jí plný internet.

[fubu]

flakac,
mam par otazok. preco si sa pustil cestou tvorby vlastneho automatickeho obchodneho systemu? Mas(mal si) realne skusenosti s dolovanim dat (data-mining) a obchodovanim skor ako si zacal navrhovat svoj system?

[flakac]

Fubu:Cestou tvorby vlastního systému jsem se pustil proto, jelikož chci postavit obchodní systém na základě prediktivního modelování. No a která že to platforma toto umožňuje? O žádné nevím. (vyjma těch drahých jako OpenQant, možná RigthEdge) a pár těch super drahých, kde je stejně potřeba tým programátorů aby se to rozchodilo. S dataminingem mám zkušenosti několikaleté a jsem v něm v obraze. S tradingem je to horší, jelikož jsem něměl hotový systém tak jsem zkoušel obchodovat diskréčně a projel jsem co jsem mohl.

[fubu]

flakac,
kolko casu si uz celkovo stravil vyvojom?

[xanathar]

2flakac:
Jen jestli na to nejdeš ze špatneho konce? Jestli by nebylo lepší nejprve do hloubky porozumět tradingu, a teprve potom své poznatky přetavit do nějakého automatického systému...

[vladko11]

flakac
myslim, ze najlepsia cesta je prevziat zverejneny system, (kvoli diverzifikacii aj viac) dokladne sa ich naucit a dodrziavat pravidla
sam mozes sice vytvorit svaty gral, ale sanca je miziva
rovnako nevidim zmysel usilovat sa o uplne pochopenie, na trhu sa denne objavuju necakane spravy a nepochopitelne reakcie a napriek tomu mozes uspesne obchodovat
este dodam ze ak nedokazes diskretne obchodovat dobry system, mozno pomoze prejst na vyssi tf
napokon mozno z teba nebude trader ale odbornik na dolovanie dat a uspesny predajca nefunkcnych systemov frustrovanym traderom
prajem vela uspechov

[Airmike]

flakac

velmi ma zaujali tvoje prispevky ohladom tvorby systemu na zaklade prediktivneho modelovania a rad by som sa ta opytal na par veci. aby som tomu lepsie porozumel.

v prvom rade by si mi vedel odpovedat na vyhody kombinacia matlab-API-datafeed brokeraoproti excel-API-datafeed
brokera. dalej by som sa chcel opytat z akymi datami pracujes. ci by bolo mozne do tvojho systemu zakonponovat vsetky data ktore z burzy dostavas. popripade ake data vlastne z burzy dostavas a si s nimi schopny pracovat.

priklad.

cena High ,low, open, close, last, za urcity cas. objem exekuovany ask/bid v casovom slede, objem objednavok doplnanych, nad/pod last cenou, objen exekuovany nad/pod cenou V urcitom range od ask/bid

proste ma zaujima ci si schopny do matlabu naladovat vsetky tieto data a potom ich pouzit na vygenerovanie nejakeho prediktivneho modelu. skratene. si schopny pracovat z datami v Time and sales, level II. a grafom a ich kombinaciou?

dokazes tieto data dostat do matlabu?, excelu? alebo niecoho kde sa da vzorcovat ?

dakujem

[flakac]

> kolko casu si uz celkovo stravil vyvojom?
- Raděj se neptat. Moc.
> vyhody kombinacia matlab-API-datafeed brokeraoproti excel-API-datafeed
- Excel není stavěný na online data. (Matlab ale taky ne..) Matlab se lépe programuje, má řadu funkcí, Matlab umím, makra v exclu neumím.
> sam mozes sice vytvorit svaty gral, ale sanca je miziva
- Nechci vytvářet svatý grál, chci vytvářet něco co by mi vnitřně sedělo. A nenašel jsem zatím zveřejněný systém který by mi vnitřně seděl
> z akymi datami pracujes. ci by bolo mozne do tvojho systemu zakonponovat vsetky data ktore z burzy dostavas
- Ani Matlab není pro tento účel ideální. Jak jsem psal výše, zvolil jsme si ho proto jelikož v něm umím. Principielně by sice šlo zakomponovat do systému všechna data (z hlediska teorie je to dokonce ten správný přístup), ale Matlab by to nerozdejchal... Takže to chce buď kompromis, a nebo použít něco co ty velké objemy dat opravdu umí spracovat (SAS, STATISTICA, KXEN), tyto programy však nejsou vhodné na online zpracování, navíc by se musel řešit import - export, což není jednoduché (pro mně).
> cena High ,low, open, close, last, za urcity cas. ...
- Data v původní formě do systému vstupovat nemůžou. Musí se transformovat. Transformace data a výběr relevantních proměnných je základ. (Výběr relevantních proměnných se ovšem děje automaticky, a to buď v samostatním kroku nebo přímo v modelu). Naprosto klíčovou kapitolou je definování si targetu. K tomu vám nikdo nic neřekne. A další věc je jak přizpůsobit metody stavěné na stacionární data (SVM, stromy) těm nestacionárním.

Podle mne problém v dataminingu víceméně není. Problém je, jak to dát dohromady. V klasickém přístupu mám program, třeba NinjaTrader nebo MetaTrader, který žere data od brokera. Do něj naprogramuji podmínky vstupů a výstupů, a můžu backtestovat nebo naprogramovat automat. Vše mám předpřipraveno. V těchto programech ovšem nepostavíte ani obyčejnou neuronovou síť, natož cokoliv složitějšího. Takže data musí jít ven, a signály k nákupu/prodeji musí jít dovnitř. A jakpakže je tato funkcionalita řešena? Jak je na tom například ona nejrozšířenější platforma na automatické obchodování, výkřik programátorského umění, slavný a dobře známý MetaTrader? Můžeme se podívat na jejich web, co nám doporučí jejich guruové. Jednak tu máme propojení přes "super spohlehlivé" DDE articles.mql4.com/679 , DDE myslím netřeba komentovat. Dále tu máme, viz: articles.mql4.com/440 , propojení přes CSV. Ano, sdílení dat mezi programy tak, že tato data se budou zapisovat na disk, to tu bylo naposledy snad před 30 lety v době mainframů. No ale buďiž.., spojení máme, a dle mých zkušeností docela funkční. Jenomže co musím udělat aby mi toto fungovalo? MUSÍM RUČNĚ otevřít okno s minutovými daty každého jednotlivého trhu a RUČNĚ spustit skript (indikátor). Takže když chci číst data z deseti trhů, tak musím desetkrát udělt klik-klik. Když chci číst data z dvaceti trhů, tak dvacetkrát klik-klik. A když mi platforma spadne. tak .. klik klik klik.. Ostatní programy jsou na tom sice možná lépe, nicméně "páření" jednotlivých platforem jsem jaxi nezvládl. Takže to stavím v Matlabu všechno, což je zase fůra zbytečné práce navíc. Osobně si myslím, že přístup k tradingu přes prediktivní modelování má ten zásadní nedostatek, a to že není na to, aby to dělal jeden člověk.

[fubu]

flakac,
z toho co mas hotove, da sa vytvorit system, ktory by iba generoval signaly a tie by sa rucne zadavali (tak si predstavujem svoj prvy krok v tvorbe AOS)? Ake predikcne modely pouzivas (ak to nie je tajomstvo).