Diskuze k článku: Aktualizované info o systému FinWin (2)

[Financnik.cz]

Adresa článku: www.financnik.cz/komodity/zkusenosti/finwin-obchodovani-ym.html

[pb.]

Tak to Radkovi gratuluji. Já se potýkám s backtestingem už hezky dlouho. Moje equity křivka míří velmi klikatou čárou dolů - optimisticky nahoru mířila pouze ze začátku, kdy jsem omylem počítal jako vstupní cenu open hodnotu úsečky místo close. Frustrace z toho, jak se zde někteří ostatní chlubí krásně stoupajícím kapitálem, je velice nepříjemná. Na domácím úkolu pracuji opravdu velmi pilně, ale na kurzu bych ho ukázat nemohl. No nic. Nevzdávám to.

[Tao]

Zdravím vás,
hlavním problémem těchto výsledků, byť vypadají jako přitažlivé, je robusnost strategií.
Strategie FINWIN lze vyladit s hladší equity křivkou a dokonce s vyššími zisky - viz reálné výsledky presentované na školení FINWIN.
Problémem je spuštění strategie na data, která strategie nezná (out of sample data). Zde může strategie selhat, což se často stane. Nevím jak byly robusnost strategie testována, zda-li proběhl test strategie na jiných trzích a v různých časových obdobích.
Samozřejmě přeji Radkovi, aby jeho analytické schopnosti vynesly nějakou kačku. Je doporučuji, aby zkusil pracovat s průběžnou optimalizací strategie (např. Walk Forward analýzou).
Tao

[grand.davis]

to Tao:
muzes prosim pro nas mene zbehle vysvetlit co je to presne "wak forward"? popripade nejaky tvuj oblibeny link kde je kvalitni info. docela me to zajima (tu)

edit: nechci vyvolavat flame, ale jmeno Radek H. je mi "nejak" povedome...

[Eclipse]

To: grand.davis

Walk Forward Processing

Link: www.amibroker.org/userkb/2007/08/13/5-io-out-of-sample-and-walk-forward-testing/

Link: www.stratopt.com/StratOptWFP.htm

Praxe ukazuje, že výsledky získané na in sample datech (tedy datech na kterých byla prováděna optimalizace - např. MAE/MFE, filtrace atd.) nekorespondují s výsledky na out of sample datech (tedy pokud parametry získané jako optimální použijeme na datech která strategie nikdy před tím neviděla). Řešením jsou multimarket a multitimeframe testy a optimalizace a posouzení robustnosti nebo přeoptimalizace strategie. Průběžné dolaďování parametrů na základě volby velikosti in sample a out sample okna řeší právě Walk Forward anylýza. Také poskytuje reálný pohled na výkonnost strategie právě za použití out of sample dat. Výsledky získané na in sample datech podle míry robustnosti odpovídají nebo se liší s realitou na out of sample datech (reálném trhu).

[Miles]

to eclipse

tak přesně takto jsem testoval woodieCCI, ale až jsem po více jak roce dat dospěl k té třetí zelené šipce, tak to ztratilo všechny zisky a já ztratil trpělivost :-)

[Zenon Plech]

Musím příznat, že jsem značně rozladěn, protože testy mi vycházely velmi dobře a v reálu (naštěstí testovací účet) jsem prakticky pořád ve ztrátě. Nejvíce mne frustruje, že nejsem schopen přijít na to PROČ.
Takže testuji (kladné výsledky) a obchoduji (záporné výsledky).
Jen tak mě napadlo: kolik je na ER2 obvyklé u FinWinu mít obchodů na dopolední seanci? Jeden? Deset? Sto?
Plešek

[tomnes]

Na posledním Emini 2 jsme měli jediný obchod, na který jsme čekali skoro 2 hodiny. Nakonec jsme jej ale uzavřeli se ziskem 400 nebo 500 USD (už si to přesně nepamatuji). Byla to názorná ukázka jak občas celý den čekáme na ten jediný "pravý" obchod. Tento byl realizovaný na základě verze FinWinu dle Petra.

[laty]

Eclipse, mas uplnu pravdu. Pri trenovani akehokolvek modelu (hladanie optimalnych parametrov) moze dojst k jeho pretrenovaniu (overfitting - en.wikipedia.org/wiki/Overfitting) na trenovacich datach (in sample data), pretoze tie sa mozu statisticky vyznamne lisit od buducich ci minulych dat. Mozu obsahovat urcitu lokalnu vlastnost, ktora je v globanom pohlade zanedbatelna a vyrazne ovlivni vykonnost modelu. Preto treba robustnost modelu otestovat vzdy aj na datach, ktore neboli sucastou trenovania (testovacie data). Specialne ak je model velmi flexibilny a ma mnoho parametrov.

[krakra]

Já dělám paper trading FinWinu, dělám pouze 3 patterny uvedené v knize. Běžně třeba 3 dny v kuse neudělám obchod, vyjímečně jsou 2 obchody za den. Prostě se držet obchodovat méně vydělávat více.

[ramiro001]

Zaujal mě ten 120 SL. Já na YM obchoduji pouze DB, DT a začínám RR a vystačím s 50-75 SL, z 80% 60 USD SL, na 3 TF, live.
A BE(+1) to je pro mě pocitová záležitost - jsem v pohodě a většinou splní účel.

PS: kdyby jste někdy Petře nebo Tomáši nevěděli o čem napsat článek tak se přimlouvám k článku o role reversalu tj. pokračování seriálu o cenových patternech :)

[Tao]

Můj kolega Eclipse podal vysvětlení dotazu na WALK Forward analýzu.
Na téma optimalizace strategii a jejich přizpůsobení měnícím se trhům často diskutuji. Stačí se podívat na trh RUSSEL před třemi lety. Tam byl zcela jiný volume a trh měl jinou charakteristiku. Bohužl nestačí jen ladit běžné parametry jako SL, BE a PT.
Mění se charakter obchodovaného trhu a tedy i patterny. Fungují jen robusní paterny bez jemně laděných filtrací, bohužel bez filtrací nelze budovat strategie. Je velmi obtížné přijít na to kdy se trh změní. Často na to přijtete až když převažují ztrátové obchody. Mám dojem, že všichni co pracují se strategií FINWIN, se tváří jako když strategie funguje minimálně za poslední rok, alespoň v back testech. Kdyby naprogramovali své strategie do AOS (automatu), tak se vsadím o korunu padesát, že by se divili jak se profitabilita strategie mění na out of sample datech.
Výhodou dikréčního obchodování je, že člověk si sám adatuje filtraci při koukání na grafy a indikátory. A tak pozvolna mění svou strategii, zavrhuje prodělečné paterny a jiné akcentuje.
Co to stojí času nechci ani zmiňovat, je to full time job over thick glasses.

O co tedy jde? Potřebujeme být vždy v souladu s trhem a průběžně upravovat strategii. Dokonce si myslím, že velmi často. Vždyť i charakter trhu se mění o dost rychleji. Konec roku 2007 šílený downtrend, krize bankovního trhu. Začátek roku - váhání jestli už jsme na dně a děsné výkyvy, všechny stop loss jen lítaly.
No a tak študujeme jak strategii průběžně ladit s využitím např. Walk forward analýzy, nebo nějaké jednoduché metody. Není totiž problém naladit strategii na minulost, ale dosáhnout toho, aby vydělávala za týden, měsíc.

Na finančníku se této problematice věnuje málo místa. Zřejmě proto, že diskréční obchodování si s tím umí o něco lépe poradit. Člověk, který má nakoukané grafy, registruje změnu chování trhu. Nicméně by měl být nástroj, metodu jak svou strategii aktualizovat.
No a taky ten kdo je napřed a vyhrává.

Tao

[Genius75]

"Jinými slovy, i kdyby Radek ve finále systém obchodoval jen z 50% tak, jak si naplánoval, pořád je zde slušná šance na (stabilní) zisky."

Zajmave. 50% teda chapu jako nevstupovani do nejakych obchodu, coz v konecnem vysledku celeho backtestu muze pekne zamavat s vysledky. Totalne nesmyslna veta.

Jasne pro zacatecnika velmi lakava a kazdy zacatecnik si mydli ruce jak vyzraje na trh i s 50%. Dobrej vtip. V konecnem dusledku zacatecnik zjisti, ze i v tech 50% neklikal tak jak ma? Oh .. jak to?

Staci 2 SL (5000 - 240 = to uz je v ocich zacatecnika uz jen 4000) za sebou a ruka se mu rozklepe tak, ze uz na to nesahne. Prinejmensim se bude snazit ztratu dohnat behem dne, coz samo o sobe dela ze super-neskutecne-skveleho FinWin systemu totalne neobchodovatelny system.

To jen muj nazor.

Chapu ze panove s financnika.cz se znazi co mozna nejvice prodavat. O tomhle tenhle cely server je, krome toho ze sdilime mezi sebou nazory a pomahame si, ale kolik z vas tenhle system obchoduje v realu (i s ruznym "vylepsenim")? 2 ze 100 tak tipuji.

Mej te se.

GE. :)

[ticker]

to Tao:

dovolím si reagovať na Vaše príspevky v tomto diskusnom vlákne. Profesne som programátor, čo zo spätného pohľadu považujem v tradingu za dosť značnú nevýhodu. Pokúsim sa to vysvetliť. Totiž, samozrejme prvé čo ma napadlo, keď som sa s tradingom zoznámil bolo, urobím si rýchlo a ľahko nejaký AOS. Načo by som robil ručne backtest - to je predsa čistá strata času? :)
Nemôže to byť nič zložité - nejaké kríženia, indikátory a pekne to zoptimalizujeme. Na začiatku, aby som nemusel riešiť prakticky nič tak som zvolil cestu neurónových sietí, geneticky optimalizovaných. Celé nakódované v C a assembleri, pekne multihreadovo :). Aby to bolo ešte rýchlejšie tak následne implementované na GPU. Výsledok - nic moc in-sample, úplný des out-sample, pri využití snáď všetkých techník na zabránenie preoptimalizácie aké sú v teórii neurónových sietí známe.
No nič tak skúsime kríženie MA, EMA. Využil som skúsenosti z kurzov emini, vyskúšame rôzne spôsoby výstupov. Aby to fungovalo tak to celé optimalizujeme. Použil som rôzne techniky na zabráneniu preoptimalizácie - výsledok zas nic moc in-sample, krásny mínus out-sample.
Prišiel okamih zverejnenia FinWinu - potešil som sa. Stačí pozbierať informácie o patternoch, zúčastniť sa emini I,II a máme bez problému AOS. Takže poučený zo skúsenosti, že prakticky akákoľvek chyba pri implementácii vylepšuje výsledky, zobral som najkvalitnejšie dáta ER2 priamo kúpené od CME a začal som s backtestom FinWinu ako AOS vo vlastnej platforme. Samozrejme som implementoval veci ako sledovanie trendu podla EMA34,EMA204, vzdialenosť vstupu od High, Low dňa ... atď. Výsledok pri exaktnom naprogramovaní (snáď 3/4 času bolo testovanie o overovanie korektnosti implementácie) a teste na ER2 roku 2007 (od každého obchodu zásadne odpočítavam 2 ticky kôli započítaniu slippage a komisie) ? Jediné dva patterny, ktoré vykázali aký taký zisk aj po maximálnej optimalizácii na IN-SAMPLE bolo 0/v a 0/100. Ziskovosť samozrejme závislá od optimalizovaných parametrov, akákoľvek malá zmena viedla ku strate.
Teraz je otázka čo s tým. Posledná možnosť zostával ručný backtest :) a nájdenie dôvodov prečo to celé nefunguje. Takže som začal ručne backtestovať a už po niekoľkých dňoch som začal chápať prečo mi niektoré veci nefungujú. Pekný príklad je 0/v. Vstupná podmienka (okrem iných) je aby cena bola nad EMA34 a EMA204. Lenže 0/v je naskakovanie na korekciu a dosť často v tomto okamihu EMA34 je na opačnej strane ceny alebo ju pretína.
Postupom času som začal rozlišovať fázy trhu a pomaly chápať prečo niektoré patterny niekedy fungujú, niekedy nie, pričom zoznam pravidiel, o ktoré som chcel následne vylepšiť moje AOS sa stále rozrastal. Keď bol zoznam pravidiel, ktoré som získal ručným backtestom a ich logika tak zložitá že môj odhad implementácie dosiahol 3/4 roka (testovanie je z toho najväčšia časť), položil som si otázku načo je mi vlastne AOS? Tak, či tak budem musieť počas obchodovania za tým sedieť a sledovať čo to robí. Pomôže mi to s psychikou - tiež asi nie? Tak prečo neobchodovať ručne? :)
Prečo to celé píšem? Jednoducho neverím, že niekto je schopný naprogramovať FinWin ako AOS. A to čo je bežne považované ako za AOS FinWinu (naprogramujem kríženie na CCI, EMA ) je tak asi 20%, čistá holá kostra systému. Diskréčne obchodovanie (myslím samozrejme obchodovanie aspoň po 1/2 roku denného sledovania grafov a nie mechanické vstupovanie ako AOS) sa od AOS výrazne líši - zložitosť obchodovania je vysoká a bežné AOS ju zďaleka nepokrýva. Pochopiť tento fakt mi trvalo asi 2 roky, myslím, že Peter to tiež niekedy spomínal - fázu keď sa snažil vytvoriť AOS považuje za čisto stratený čas, už rozumiem prečo.
Jednoducho povedané pri diskréčnom obchodovaní Vám stačí MAE, MFE. Pri AOS Vám nepomôže ani Walk forward analýza, aj keď je to vec zaujímavá :).
Ďalej už začínam chápať Tomáša, prečo je preňho relatívne dostatočné vidieť výsledky len na in-sample. Totiž ak naozaj bol ten backtest robený precízne, podla štatistiky výsledkov (ako sú pekne distribuované PT, aká je úspešnosť - skúste to dosiahnuť cez AOS aj keď na insample) je možné odhadnúť správanie na out-sample.

Pavel

[Eclipse]

to: Ticker

Velmi zajímavý příspěvek, děkuji. Moje osobní zkušenost je, že nebyl až takový problém naprogramovat FinWIN jako AOS s ještě lepšími výsledky než jsou zde uvedeny. Equity byla dokonce zveřejněna v článku na Finančníku před pár měsíci. Podle očekávání systém na out of sample datech šel naplocho. Důvod proč jsem se do AOS pouštěl je náročné zaměstnání a nedostatek času zejména v první polovině obchodních hodin. To je překážka s kterou si zatím neumím poradit. Ještě k výsledkům na out of sample datech - samozřejmě jsem se snažil analyzovat proč systém nefunguje. Příčinou byla samozřejmě přeoptimalizace. Nicméně i v tomto stavu jsem měl patterny a jejich filtrace které dávaly na out of sample datech pozitivní výsledek - byly ziskové. Jiné šli naplocho nebo ztrácely. Snažil jsem se nalézt metodologii testování robustnosti - multimarket a multitimeframe testy a optimalizace, walk forward analýzu. Chci se zeptat - máte s walk forward analýzou osobní zkušenost? Mě tento koncept přijde jako velmi silný a myslím si, že při správném použití musí fungovat. Všechny výsledky jsou z out of sample dat, máme tedy reálný pohled na výkonnost strategie. Můžeme zjistit které parametry je nutné průběžně optimalizovat a jaká by měla být velikost oken in sample a out of sample. Také zjistíme která podmínka (podmínky) způsobují přeoptimalizaci. V mém případě to byla hlavně samotná matematická definice patternu - jak jsem ověřil na multimarket a multitimeframe testech.

Diskréčnímu obchodování se nebráním a myslím, že o fázích trhu také něco vím. Problém je čas na diskréční obchodování. Možná by nebylo od věci se setkat - co říkáte?