Diskuze k článku: Backtestování: ne příliš málo, ale také rozumně hodně

[majkll]

VELMI ZÁSADNÍ CHYBOU v backtestu je, že člověk začne něco testovat a nemá to vymyšlené do detailu, což je naprosto ok, jinak to asi ani nejde..jenže často se stane, že v průběhu backtestu člověk začne vidět různé filtry a situace, kdy by třeba neobchodoval...a v tom bodě může přijít ta chyba - člověk začne nevědomky, nebo vědomky filtrovat některé obchody...a tím tak vlastně znehodnotí celý backtest, protože chvilku jede podle nějakých pravidel a chvilku podle jiných pravidel...celkově je z toho pak mišmaš..

v tomhle ohledu právě může být trochu kontraproduktivní backtestování úsečku po úsečce na pravé straně grafu, protože člověk tak na sebe vyvíjí tlak, že se nesmí dívat a musí se nějak rozhodnout "tik tak tik tak"....a z toho pak může plynout frustrace, že nějaký obchod nevezmu, nebo naopak vezmu špatný atd...a můžu tak sklouznout k tomu měnění systému za pochodu (když např. třikrát patern selže v určité situaci, tak už se mi to nechce počtvrté brát --- ikdyž to může být v globále nesmysl) ...pravou stranu grafu byhc si nechal až na playback...backtest mě osobně slouží k postavení systému "bez emocí"..

správný postup by měl být tedy podle mě takový, že udělám backtest podle předem daných pravidel a v průběhu nedělám žádné změny..pouze si zapisuju např. různé poznámky, filtry atd..až posléze si vše vyhodnotím, najdu vhodné filtry atd. a znova třeba provedu kontrolní backtest s novými parametry na jiném vzorku dat..tuhle druhou fázi můžu nahradit třeba playbackem atd.

majkll

[h0moun]

Hej hej, posledni doubou mam tak nejak pocit, ze mi Tomas s Petrem potvrzuji to, co postupne zjistuji sam.

[MNovak]

Jak už jsem někde psal, backtest není úplně smyslný ve svých výsledcích. V hrubých rysech je to bezva věc, protože si ověříme jak se trhy pohybují a můžeme určit vstup a výstup. Ohledně přesných výsledků je to nesmysl. Nikdy nevíme jak nakoupíme a tudíž ani za kolik prodáme. Toto jsou jen spekulace a jedině live ukáže přesně jak na tom jsme. Víme, že live graf a historie se může lišit. Někdy třeba jen o jediný tick, ale právě ten, když se opakuje několikrát tak nám zamíchá s konečnými výsledky. Navíc největší nebezpečí je v tom, že spousta obchodníků testuje na jiné platformě (NT) než na které pak jedou live. To má za následek opět rozdíly. Taky se může stát, že indikátory na jedné platformě ukazují v některých případech long a to samé nastavení na jiné platformě short. Takže jistě chápete jaký pak může být výsledek!

[Pepe2000]

Gandalf33:
tak ako vo vacsine veci ohladom tradingu aj tu plati ze neexistuje nejake svate pravidlo. To co pises dava zmysel ale neznamena to ze je to jediny spravny pristup. Posunutie na BE+1 funguje celkom dobre aj pri otvorenom profite 10 tickov. Mozes mat system s ktorym vstupis 1x za 2 dni na tutovky, bez posunu SL s relativne vysokym RRR a cca. 65% uspsnostou, alebo mozes mat system s ktorym vstupis 5x za 1den s posunom na BE+1 po malom otvorenom profite, RRR 1:3 s vysledkom 35% PT, 40% BE+1, 25% SL (obe priklady strielam z hlavy). Neda sa povedat ze jeden pristup je lepsi ako druhy. Dolezite je aby si vedel co chces dosiahnut a system ti to umoznoval. Tot moj nazor.

[Dan123]

to Majkll

:-)) Ano, přesně toto jsem dříve řešil i já. Udělal rok backtest a v půlce roku jsem už měl řadu poznámek na filtry, které jsem však nemohl aplikovat, protože by byl BT zkreslený. Chtělo to opravdu velkou disciplínu podvědomě obchody nefiltrovat.

Po dokončení jednoho BT jsem vyhodnotil filtry a další poznámky, které jsem "posbíral" na cestě backtestu, zařadil je do svého Obchodního plánu a začal s backtestem novým. Tímto způsobem jsem se dopracoval k "finálnější" podobě obchodního systému.

Další velmi podstatné úpravy probíhaly během Paper (viz můj předcházející příspěvek).

Dan

[paulus]

jojo, taky jsem mel super system, ktery v live proste nesel stihat:)


jinak ja do backtestu jeste pocitam tzv. "proof of concept", coz jsem prevzal od kamaradu, beznych podnikatelu...:)

proof of concept je, ze vezmeme nejake penize, typicky se sklada balicek z neco jako:

-komise na 40 obchodu: 200
-40 stoplosu plnych, plus prip. rezerva na slippage: 2400
-margin intraday pro 1 kontrakt: 600
-drawdown 1: 500
-drawdown 2: 500
-drawdown 3: 500 (3x rezerva na prusvihy, pouzivam uz jen DD1 a DD2)

(cisla jsou jen priklad, jo:)

no a pak se zkusi udelat 40 tradu s tim, ze je to test konceptu a ze nejsou nutne zisky, je to jen psychologicky nastroj, co mi pomaha soustredit se na to, ze mi jde o porovnani teoreticke a realne equity a vychytani pripadnych drobnosti a nestresuju se ze bych mel vykazat nejake zisky, coz me drive deprimovalo:) no a kdyz to jde dobre tak behem tech 40 tradu zjistite, ze uz vlastne tradujete...a je to:)

a pro kompletnost:

-bcktestuju uprostred grafu, nekdy si nejasne situace projedu candle by candle na prave strane
-kdyz je to sporne, tak zapocitam horsi variantu, jako ze bych ten SL vzal apod.
-posun na BE (na BE+1 neposouvam) pouzivam u NQ, kdyz svicka uzavre nad hodnoutou profitu 80 usd, pokud primo na 80 usd, tak neposouvam
-prechod z paperu co nejdrive, jakmile si to clovek osaha a slusne reaguje na signaly, zde hodne zalezi na systemu, cim rychlejsi TF a delsi seance, tim vic je potreba drillovat... a pamatuju si hlavne... jeste neobchoduju, nemusim se vzrusovat, testuju koncept !

[gandalf33]

Pepe2000, áno, opisoval som len to, čo funguje pre moje mentálne nastavenie na trading :) Podľa mňa v zásade platí, že čím skôr posuniem na BE+1, tým viac akoby virtuálnym sliderom premieňam svoj systém na "kopec BE+1, občas SL, občas pekný profit", ktorý môže niekomu fungovať omnoho lepšie, než moje neposúvanie na BE+1... jasná vec. Väčšie/menšie win % atď. sú už len dôsledky, o ktorých by sme sa mohli rozprávať až do Silvestra.

Zrovna pred chviličkou by mi posun na BE+1, nastávajúc 25 bodov v profite na YM, zachránil 12-bodovú stopku :) Čiže každému čo mu vyhovuje...

[drvr]

Myslím, že také velmi záleží na povaze každého tradera. Já jsem BCK testů udělala dost, ale velmi dlouho mi trvalo, než jsem narazila na systém, který mi opravdu vyhovuje. Jsem člověk, který nese ztráty řekla bych dost špatně. Proto preferuji systémy, které třeba nejsou až tolik výdělečné, ale nabízí malé procento ztrát a pokud možno co nejmenších. Právě velký posun pro mě znamenal obchodování se dvěma sadami. S první sadou vystupuji na RRR 1:1,5 a v tu chvíli posouvám SL na B/E +1. Pochopitelně tento systém vyžaduje velkou úspěšnost vstupů. Přesto všechno mi druhá sada vydělává víc, i když s velmi častým vyhozením na B/E.

To, zda mi systém sedí nebo ne však nikdy neodhalil BCK test, a musím říct, že paper trading pouze z části. V podstatě jsem se k tomu dopídila ař v live obchodování.

[gerimo]

Backtestu jsem se věnoval pro někoho "jen" 7 měsíců. Zbacktestoval jsem X systémů, než jsem skončil u zálkladního patternu FINWIN 2v (zatím jen 1 pattern) dle knížky jak se stát intradenním finančníkem. Obchoduju prakticky jen jeho podobu, vytvořil jsem si k tomu X svých nuancí. Jedu ho nyní necelý měsíc živě. Po backtestu a paperu. Tohle jsou myšlenky, které mi vstanou při slově backtest.

Backtesty slouží k hrubému otestování myšlenky.
Výstupem backtestu nejsou a nemají být čistá data.
Backtesty slouží k zamyšlení nad daným systémem, zda mi vyhovuje, zda něco nevylepšit.
HLAVNĚ backtesty slouží k tomu, abyste viděli, jaký risk systém přináší.

Na nic víc backtest nepoužívám. Žádné složité a optimalizační MAE/MFE. Žádný fixní PT a SL, které se dají lehce optimalizovat.

Nejdůležitější data jsou ze živého obchodování. Data ze živého obchodvání vám teprve řeknou, jaký systém má pro vás hodnotu. Proto backtest - rozhodně ano, ale trápit se nad revelantností dat je zbytečné. Výsledky backtestu, i kdyby byly sebeupřímější a sebečistší nikdy nebudou stejná jako výsledky ze živého obchodování. V backtestu byste měli být k sobě upřímný, ale ne, zdali ten či onen obchod vzít nebo nebo ne, ale zda vám systém vyhovuje, zdali risk, který systém produkuje je pro vás snesitelný.

Můj názor, žádné dogma.

[P.J.]

MNovak :

Suhlasím s Vaším názorem, mě se to plně potvrdilo. Ještě bych chtěl dodat, že mezi backtest a live obchodování vstupuje jeden důležitý faktor a to je psychologie. Určitě je to individuální záležitost, ale z vlastní zkušenosti mohu říct, že Vám výsledky backtestů řádně zredukuje. Já osobně dělím dvěma a někdy je to ještě málo.

Ať se daří.

P.J.

[fux]

muze mi nekdo vysvetlit, proc by nemohlo mit 6 jinych patternu hodoty SL a PT tak rozeskakane jak je uvedeno v clanku? je prece logicke, ze kazdy pattern bude mit z hlediska pravdepodobnosti uplne jine hodnoty SL a PT, samozrejme pri snaze maximalizovat zisky.


dekuju


fux

[Pumlitch]

Pepe2000, majkll, Roman06 - velmi zajímavé příspěvky. Díky vám.
Mě zatim sedí právě testování sytémů při papertredingu po krátkém backtestu. Nedokážu si předastavit, že bych několik měsíců jen backtestoval (netvrdim, že je to dobrý přístup, jen mi to tak vyhovuje). Nejvíc chyb totiž nenacházím v testovaných obchodních systémech, ale v mém přístupu.
Zatímco v backtestu si klidně dovolim prošvihnout nějaký obchod, protože se mi až tak nelíbí např. trend a následně se proklikam k obchodu dalšímu, tak u papertradingu se dosova těšim na nějaký ten signál a zárověň se bojim, že to nevyjde, pak vidim pohyb, vstoupim a podle prvních okamžiků v obchodu chci hned brát zisk, končit ze ztrátou ze strachu z ještě větší ztráty, chci jásat, chci se věšet, už nechci nikdy obchodovat, chci do toho obchodu vrhnout všechny peníze co mam a ještě vzít mamině důchod....
Nevim, jak u ostatních, ale u mě je problém právě v tomhle. Výsledek je dost často ten, že vstoupim do obchodu, kteý bych při backtestu nebral, ale protože teď nemůžu sedět půl hodiny nad jednou úsečkou (pokud obchoduju 5M grafy) dost často v přívalu emocí a očekávání přehlédnu něco jako S/R úroveň, či pohyb ceny z hlediska vyššího TF atd.

[mira_k]

fux,
mohlo by být 6 různých hodnot pro PT/Sl .. ale základem všeho je tvoje schopnost v tom režimu fungovat v živém trhu, ne v backtestu, ne v paperu, ale pěkně na živo. Osobně myslím, že je to zbytečná komplikace (tu)

M.

[mml]

Tomasi, vyborny clanek! Doslova jsem se v nem nasel. Jsem typ, ze vse musim mit prvne radne otestovane, nez se do neceho pustim. Proto jsem vetsinu casu backtestoval a hledal vstupy. Nebylo to sice uplne efektivni ale celkem jsem zacinal poznavat trhy. V backtestech jsem na mini ES dosahoval a ted se podrzte uspesnosti 90% a RRR 1:2 (exit 123) bez posouvani SL. Otestovano na cca 130ti obchodech rucne. Pri tom jsem obchodoval ciste trendove pomoci CCI na 3 min grafu a lehce modif. paternu GB100. System jeste lepe funguje na RB grafech, protoze SL maji velmi podobne hodnoty a je tak robustnejsi.

Zdalo se mi to vyborne (az nerealne), proto jsem zacal papertradovat. Zahy jsem rychle zjistil, ze tento system nejde obchodovat , protoze pri backtestu jsem proste videl prilis doprava, tj do budoucnosti. Po nekolikamesicnim kolecku backtest - papertrading - backtest ... jsem dostal uz celkem slusnou podobu planu, jiz s realnymi cisly a to uspesnosti 53% a RRR 1: 2.2

Jelikoz me zjisteni ze backtest a papertrading je neco uplne jineho sokovalo, jiz nyni obchoduji hlavne napravo. Pohled na cely den delam jen po obchodech kvuli pocitum, nuancim atd. Zadefinoval jsem si system natolik mechanicky, ze to nyni zkusim hodit do AOS a za tyden uvidime co z toho vypadne. Jsem celkem presvedceny, ze AOS bude fungovat, ale necham se prekvapit:-)) V trzich neni nikdy nic jiste...

Hodne zdaru vsem, MML

[fux]

mira k

takze jde jen o to bleskove rozhodovani v live trhu na timeframu treba volume, kde to nelita na zaklade casu a faktor rychlosti je tady rozhodujici? to pro me ale neni problem, ja obchoduji na 4hodinovem grafu a prave ze mam na vsechny patterny zcela rozdilne hodnoty, kdyz ty hodnoty sjednotim do max dvou druhu short a long, tak taky vydelam ranec, ale ne tolik, jako kdyz mam hodnoty individualni.