Backtest Vs. Live - vzorek dat a procentuální šance na úspěch

[Pavlosos]

Zdravím všechny,
vytvořil jsem si strategii a vzorek dat čítající několik stovek obchodů, přičemž zpětně je 15 měsíců ziskových a 1 měsíc vychází BE.

Jaká je podle vás vůbec reálná šance na to, že budou takto dobré výsledky (při přesném dodržování strategie) pokračovat i v následujících XY měsících nebo letech?

Díky za názory.

Pavel

[majkll]

Pavlosos:

pri presnem dodrzovani strategie je realna sance velmi vysoka..
ovsem realna sance, ze budete presne dodrzovat plan, je velmi mala..

majkll

[Tomassino]

majkll:
Líp bych to nenapsal.
(tu) :)

[Pavlosos]

Z čeho vyplývá to přesvědčení, že je ta možnost velmi vysoká? S dodržováním již díkybohu nemám problémy.

[mira_k]

Pavlosos,
pravděpodobnost a statistika ... pokud máte skutečně poctivý backtest, popř i papertrading na několika stovkách obchodů, kde daná strategie dává určitě %win, RRR, avrg trade, tak neni významný důvod, proč by tomu nemělo být i nadále. Samozřejmě v tom svoji roli hraje i robusnost systému a zda neni jen přeoptimalizovaný na určitý backtest, ale to by měl ukázat papertrading

naopak, z čeho vyplývá přesvědčení .. "S dodržováním již díkybohu nemám problémy." ?

M.

[Pavlosos]

Z tříměsíčního živého obchodování :o). Jen mě toto téma tak nějak napadlo a chtěl jsem se ujistit, zda uvažuji správně ...

[mira_k]

Pavlosos,
nedůvěra je myslím přirozená, zejména když dojde na reálné peníze, ale nic lepšího, současně snadno dostupného, než vlastní statistika vám spolehlivější odpověď nedá (tu)

M.

[Pavlosos]

Díky všem za reakce.

[Motley]

To je dost naivní představa, že je to takhle jednoduché, podívejte se na sofistikované aos, některé tvořeny týmem velmi dobrých matematiků a programátorů, a jejich výkonost. Trhy jako e-miny nebo forex jsou přitom pomocí počítačů smart money obchodovány ve velkém měřítku (některé třeba i ze 70%), kdyby to takto jednoduše fungovalo (najít nějaký systém s úspěšností 60% a RRR např 2:1 na předchozím roce), tak by zřejmě ani burza nemohla existovat, protože by byla silně neefektivní...Realita je taková, že trhy jsou nestacionární, to znamená že určitá pravidla na trhu můžou platit pár měsíců, ale neboť model, který popisuje povahu trhu (jako je volatilita a pod.) se stále mění, vydrží tyto zákony (a tím pádem i obchodníkův systém a jeho úspěšnost) v silné většině pouze omezené období. To je také příčinou velké neúspěšnosti aos, je trochu naivní se domnívat, že příčina toho, že profesionální matematik pracující pro nějaký fond neumí "vyhrávat" na burze proto, že má tendenci vypínat svůj systém, vždyť to jak obchodovat (s jakým množstvím kontraktů, případně i kdy ho přestat obchodovat) si onen člověk přece může velmi dobře spočítat a průběžně statisticky vyhodnocovat (a nebyl by to dobrý matematik, který by to neudělal :) ) , tj u velkých institucí je dnes jasný trend veškerou hrozbu lidských chyb výrazně eliminovat, přesto ale úspěšnost těcho opravdu smart boys a jejich systémů není zas tak přesvědčivá..celé to píši proto, že obchodovat podle jasně definovaných pravidel, zřejmě ještě nebude holy grail. To bych taky mohl nahodit na trh nějaké vyoptimalizovaná pravidla, třeba křížení klouzavých průměrů, a očekávát že mi budou vydělávát, přitom je celkem zřejmý, že tak to nefunguje.

To Pavlosos:
Na tenhle typ otázky je dost těžká odpověď a je i nemožná pokud bys věděl o systému tolik údajů jako si sem napsal. Odpověď a to stejně ještě částečnou (právě kvůli zmíněné nestacionaritě) získáš pouze z matematiky...Nikdy totiž pouhýma očima neuvidíš jesti tvůj systém a jeho úspěšnost není pouhá náhoda, je celkem zajímavý si např. v nějakém matematickém software vymodelovat různé tzv. random walk (náhodné procházky), představ si že se ti každá úsečka generuje se stejnou pravděpodobností dolů nebo nahoru (navíc jsou všechny stejně dlohé), někdy ti jde takto vytvořená serie nahoru, někdy dolu, v terminologii traderů, úspěšnost (to znamená poměr těch co jde nahoru a těch co jde dolů) je někdy 60 % někdy zase 40%...a povětšinou to docela dost připomíná equity :) Tím chci říct že běžným pohledem na tvojí equity se nikdy tolik nedozvíš, jako z dobře zvolené statistiky takovýchto dat...například i u takto vytvořené "náhodné procházky se dá spočítat (když znáš počet generovaných "úseček) s jakou pravděpodobností bude úspěšnost v rozmezí 60%-70% atd..Otázka potom zní jaký statistický model použít abys mohl změřit nakolik je nepravěpodobné že tvůj systém není jenom náhoda a také např. s jakou pravděpodobností předpokládat určitou výši poklesu equity apod.. , to tady psát nebudu, ale doporučim ti aspoň literaturu, pokud se ty nebo někdo jiný o to chce zajímat. Zprvu se člověk musí seznám se základy pravděpodobnosti a matematické statistiky, k tomu stačí nějaká skripta vysokých škol, jako je třeba VŠE a pro nadšence matiky MFF, a potom můžeš přejít na vynikající knihu Risk and Asset Allocation, která je v podobě slidů dokonce volně ke stažení.
Konkrétně např. problémem tvé otázky se věnují v ekonomii tzv. rizikové míry, např VaR (value at risk) a (poněkud lepší metoda) ES (Expected shortfall), oboje najdeš v té knize...Takže pokud chceš mít nějaký relevantní nazor o svém systému a jeho budoucí úspěšnosti, tak dle mého názoru nezbývá nic jiného, než znalost nástrojů, jak jeho relevanci zjistit, tj. dobrý statistický a matematický background a jeho praktické použití.
Hodně štěstí
Motley

[mira_k]

Motley,
na druhou stranu základní věci, např jako S/R, DB/DT, různé průrazy fungují pořád ...
nikdo netvrdí, že jen dodržování pravidel, checklistu apod je holy grail, to ani omylem, jen je to nutná podmínka a současně je potřeba sledovat trhy, vývoj parametrů, je jasné, že PT/SL nastavené podle posledního podzimu ted nefungují, stejně jako naopak, nastavení podle loňského jara by byly neefektivní na podzim atd. .. současně je potřeba se neutopit ve statistice a dostat se k reálnému obchodování.

btw: jinak na obecnou otázku, přišly obecné odpovědi (tu)

M:

[Tomassino]

Motley:
Zvláštní je, že pokud někdo v tradingu uspěje většinou to není žádný šíleně geniální matematik, ani guru statistik. Obávám se (nebo možná naštěstí), že úspěch (nejen v tradingu) tkví opravdu něčem jiném. Dokonce ani mezi inteligencí a úspěchem není přímá úměra. Myslím, že ve větě, kterou mají finančníci v logu: "Není to ani špičkové vzdělání, ani genialita, co udělalo bohaté bohatými. Jsou to píle, odvaha, poctivé sebevzdělávání a vědomí vlastní jedinečnosti...." je víc "návodu" na úspěch než ve všech skriptech a knihách o matematice a statistice. Neříkám že statistika je zbytečná, jen že je to jedna z mnoha ingrediencí do koktejlu úspěchu. A především, už to zde zaznělo od finančníků víckrát, čím komlikovanější si trading uděláte, tím menší je pravděpodobnost, že budete úspěšní. Možná budete mít pocit sofistikovaného přístupu, ale za ten si nic nekoupíte. To je můj přístup a můj názor. Jsem na začátku, vydělal jsem pár tisícovek $ a zatím nemůžu říct: tradingem se živím několik let je to tak nebo onak. Ale uvidíme až se tady potkáme za rok, za dva. Možná mám pravdu, možná se pletu, , ale to ukáže čas.

[luo]

Pavlosos Napsal:
-------------------------------------------------------
> Díky všem za reakce.


Pavlososi,
chcel by som sa ťa spýtať,či by si sa snami nepodelil o Tvoje výsledky na základe strategie DayTradeToWin?

Diky

[yamato]

ja mam taku skusenost, ze vzdy ked vytvorim strategiu, ktora je podla backtestu uspesna, a idem s nou na zivy trh, zacnem stracat. Najprv som si myslel ze strategie su preoptimalizovane, backtesty prikraslene, a zacal som vymyslat ine strategie. Ked sa ale opakuje ten isty scenar treti krat, zacinam mat pocit ze chyba bude niekde medzi monitorom a stolickou :)
Spatny pohlad na uskutocnene obchody ukazuje, ze nie su celkom podla planu, naopak mnohe obchody podla planu som nezobral (samozrejme vzdy tie ziskove), atd. Strategia takisto vyzaduje urcity cit pre trh, ktory zrejme zatial nemam. Rozhodol som sa tentokrat vydrzat, strategiu nezahodit, a venovat viac casu screeningu a testovaniu na zivych datach.

Prosim niekoho z tych "za vodou", nech mi napisu ze si presli tym istym, nech mam lepsi pocit :D

[tomnes]

Yamato,


každý si tím projde. Neznám nikoho, kdo by neprošel. Je to mnoho věcí.

Předně, backtest je statický, kdežto trading dynamický. Takže u reálných trhů začneme zjišťovat, že reagujeme jinak. Pokud máme štěstí, začneme si díky tomu uvědomovat naše silné a slabé stránky a na základě nich modifikovat svůj systém. Tím přizpůsobovat systém tomu, kdo jsme, jaký máme temperament, toleranci rizika, míru nutnosti mít věci pod kontrolou, tomu, zdali jsme spíše mikromanager nebo makromanager. Už jsem na toto téma psal X článků na finančníka.

Pavlosos sice píše, že nemá problém systém dodržovat, ale něco jiného je to nanečisto, něco jiného s reálnými penězi. Zažil jsem jen velmi málo lidí, kteří dokázali být poměrně brzy zcela disciplinovaní s živými penězi a nezažil jsem nikoho, kdo by to dokázal od samotného začátku. Byl by zázrak, pokud bychom na základě statického backtestu dokázali odhadnout naší povahu a přizpůsobit jí první nástřel systému už v začátku.

Proto jsou backtesty jen orientační záležitostí, nikoliv dogma a jistota. Příliš mnoho traderů ztrácí příliš mnoho času vylepšováním systému v tabulkách a Excelu. Všeho moc škodí. Takové pokusy vedou většinou už k přeoptimalizaci. Lepší je následně trávit čas u počítače a získávat cit pro trhy.

Ostatně, vše toto zde píšeme pořád a pořád dokola, většinou ale trvá i roky, než si to člověk zcela uvědomí....

[yamato]

Tomnes,

ja viem ze to pisete, clovek presne vie co by nemal robit (skakat od systemu k systemu) a co by mal robit (ziskavat cit pre trh), ale aj tak tie chyby urobi a az na zaklade vlastnej skusenosti si uvedomi, o com vlastne hovorite. Ja to skusam na live papertradingu stvrty krat, s presne tym istym scenarom (backtest dobry, live katastrofa), ale az teraz som odhodlany neucuknut, nevymyslat iny system a dotlacit svoje obchody k zisku. Dost ma deprimuje ze mi to stale nejde, lebo sa tomu venujem uz pomaly 2 roky (ale skutocne poctivo cca. rok :)). Ked napisete ze to je normalne a ze si tym prejde kazdy, je to silna vzpruha.

Asi Vam to hovoria vsetci, ale Vase clanky a podpora su neocenitelne a tazko popisat, ako velmi sme za ne vdacni :)