Neuronova Siet

[radim2]

fyzik: nevím jaké máš zkušenosti s NS,
já zatím neviděl síť která umí zpracovat textové řetězce tak že z nich pochopí význam věty, např: "inflace dosáhne bodu který nehodláme dále akceptovat"
co z toho plyne pro NS?
naučí se že věta: "inflace zrejmě dosáhne bodu který nehodláme dále akceptovat"
pozná že nejde o stejný fundamentální obsah?
pochybuju
leda fundamenty převádět na čísla, ale to zase bude dělat člověk
do evoluce mají současné NS ještě dost daleko

[fyzik]

radim2: Dnesne NS su hlupe, pretoze sa ucia pomaly (mame pomale pocitace). NS v tradingu funguju jednoduchsie, iba technicky. Nepotrebuje chapat vyznam vety, staci ked ju nakrmime udajmi ako: inflacia xx%, interesting rates xx% a NS bude pozorovat, ako na tieto spravy reaguje trh. Ak by si povystrihoval z grafu kusok tesne po kazdej zaujimavej sprave a skusil analyzovat 1000 kuskov, mozno sa ti podari nieco vycitat a najst strategiu. Tak mimochodom obchoduju niektori traderi (rozne breakout systemy, "druhe nafuknutie" po sprave, atd.) A co sa tyka technickej analyzy, tam moze NS spolahlivo detekovat S/R urovne a nachadzat optimalne targety, ci objavi celu strategiu bez toho, aby sme ju my ucili. Nie je potrebne predvidat, NS bude robit presne to iste, co my normalni traderi, len sa bude rychlejsie ucit. Ked kazda strata "zaboli" a kazdy zisk "potesi", siet sa postupne vyvinie tak, aby bolo co najmenej bolesti.

[radim2]

NS mají určitě budoucnost, ale zatím se nebojím že by mě převálcoval AOS založený na NS
:)

[ticker]

Osobne som sa pokúšal aplikovať NS (učené geneticky) feed-forward, 3 vrstvová topológia, ako AOS na emini. Výsledok bol mizerný - fantastické výsledky na in-sample, úplný des na out-sample. Technologicky sú NS extrémne náročné výpočtovo - v dnešnej dobe sa to ale dá obísť použitím GPU na grafických kartách (napr. na GTX8800, technológia - rozhranie CUDA, dosiahnutý výkon okolo 200 GFlops). Zásadný problém s NS je príprava dát. Totiž čím viac neurónov sieť obsahuje tým viac prípadov (situácií) je nutné použiť na učenie. Optimálny pomer je počet neurónov použitých v sieti * 500. Teda ak mám sieť len povedzme zo 100 neurónmi potrebujem 100 * 500 prípadov na učenie = 50000. To je dosť problém. Existujú techniky ako to obísť, ale žiadna mi v praxi nepripadala naozaj efektívna a aj s veľmi opatrnou optimalizáciou som vždy skončil s preoptimalizovanou sieťou, alebo sieťou ktorá nejakou fintou obišla zobecnenie.
Takže podľa mňa NS - veľa práce (kódovania) absolútne žiadny výsledok.

Pavel

[premnath]

fyzik
asi hlúpa otázka laika - existuje indikátor, ktorý dokáže aspoň detekovať S/R? Je to sci-fi, alebo na to treba superpočítač?

[radim2]

to ticker:
použít pro výpočty GPU to je drsný :) mělo by to být efektivní na maticový výpočet
já jsem zkoušel vymyslet NS pro předvídání výsledků sportky, nefungovalo to, akorát jsem zjistil jestli předkládané vstupy patří do množiny možných vstupů nebo ne což bylo celkem k ničemu.

[fyzik]

premnath: podla toho, ake S/R mas na mysli. napriklad vyznacny vrchol a dno nie je problem.

[ticker]

to radim2:

Výpočet NS je efektívne prevediteľný na maticové operácie. Ďalej, keď je použitá genetika na optimalizáciu, vyžaduje to výpočet mnohých jedincov - NS súčastne. Na to je GPU úplne ideálne.

Pavel

[fyzik]

radim2: vysledok sportky mozes tazko predvidat, ked tam je cista nahoa... ale mam znameho, ktory vyuzil geneticke algoritmy na predvidanie roznych sportovych zapasov (neviem, ci to boli neuronove siete), samozrejme len statisticky pomocou historie a vynasa mu to, chce sa tym zivit :)

[premnath]

fyzik
podľa Bubbleho. Hľadať otočky dozadu, priradiť im váhu podľa toho, koľkokrát sa to na danej úrovni otočilo a tiež podľa toho, ako ďaleko do minulosti to bolo. Celý jeho systém je na tom postavený. Úrovne ovšem nebrať presne, ale "skúseným okom".

[fyzik]

premnath: isty cas som sa tym zaoberal, aj som naprogramoval takyto rozpoznavac S/R urovni, ale nepodarilo sa mi to doviest do profitabilnej strategie len na zaklade S/R. Tym hlavnym problemom boli kratkodobe "spikes" (trhanie stoplossov - zabavka bank a brokerov). Ked som daval stoplossy trochu dalej (5 pips za S/R uroven), tak zase vznikala prebytocna strata a odcitala zisk.

[PaJaSoft]

Je pravda, ze dnesni GPU se k tomu priblizuji, ale vzdyt relativne dostatecne vykonne PU (processor unit) za rozumny peniz tu uz nejakou desitku let mame. Jedna se bud o vektorove PU nebo primo VLIW PU. A proto i louskani DESu za rozumny peniz neni ve sfere sci-fi.

Ostatne ten vyvoj si vsimnete sami - zatimco drivejsi generace GPU mely jednotky pro pixel i vector oddelene, dnesni Hi-Tech je o tom, ze mame univ. jednotky, jejichz strukturu si definuje (predpoklada se, ze optimalne) ten, kdo je k vypoctu hodla pouzit (a uz se nejedna jen o rendering - raytracing opet vystrkuje ruzky - , ale treba o HW dekodovani X-rozmerneho signalu (zvuk, obraz...), sifrovani, vedeckotechnicke vypocty, vypocty fyzikalnich pohybu...) - trochu mi to pripomina eru staticky programovatelnych hradel po revoluci a roj periferii pro osmibitove milacky. Do CPU v klasickem pojeti se pridavaly "vektorove" instrukce (MMX, SSE...). Evoluce ve spiralach jak vysita...

A nejvetsi prca prijde jakmile se podari skok do kvantoveho PU, to se dnesni CPU mohou razem strcit do muzea a prekopat vse okolo sifrovani, bezpecnosti a zabezpeceni...

PS: Sorry za tematicky odskok zamereni tohoto serveru, uz budu mlcet...

[ticker]

to PaJaSoft:

Ospravedlňujem sa za odskok od témy - dovolím si nesúhlasiť - ale aká bola alternatíva umožnujúca za relatívne malý peniaz dosiahnuť 200GFLOPs pred povedzme 3-4 rokmi? Z vlastnej skúsenosti - low level naprogramovanim na Core 2 Quad 2.4GHz, t.j. s použitím celej sady SSE, v C s intrinsickými inštrukciami 64bit som dosiahol výpočtový výkon na NS približne 20GFlops, čiže rádovo inde ako na GPU (v tom čase stála GTX8800 okolo 15000,-SKK rok 2007).
A navyše tých 200GFlops bolo tak ešte na hranici použiteľnosti pre NS.

Pavel

[PaJaSoft]

ticker: odhledni od CPU v klasickem pojeti (x86, x64-86, Itanium, Pa-Sparc, PowerPC, MIPS, Niagara..., mozna i Cell - rekneme celou CISC/RISC eru a je jedno ktere koncepce), tam pozadovaneho vykonu nedosahnes (vsak taky plytvas aspon 85% jednotkami, ktere si vlacis), ale zamer se na skoro bych rekl jednoucelove jednotky, ktere jsou a) levne, b) extremne vykone... Malokdo vi, ze ve VLIW PU jsme v podstate technologicka velmoc (aspon jeste pred par lety jsme byli). Nejedna se vsak o muj salek kavy, takze technologicke podrobnosti a kontakty na firmy, ktere toto vyrabi ode mne neziskas, ja si jen pamatuji, jak se takoveto veci resi, co je k tomu potreba a ze ta vysledna cena je prijatelna... (oproti klasickemu pristupu).

Z hlediska neuronove site je paradoxem (aspon z meho pohledu), ze nejdrazsi nejsou jednotky samy (jejich cena je rekneme konstantni), ale spise komunikacni cesty, ktere by mely vznikat ad-hoc a rekonfigurovatelne... - podobnost s neurony a zapoji neni nahodna... A o tom to je - jak tyto zapoje vyrobis... - bud je budes tvorit softwarove pomoci mizerneho vykonu klasickych CPU nebo necim sofistikovanejsim (a kupodivu v dusledku levnejsim), samotny neuron neni slozity ani drahy, ale sam o sobe je jen mrtva soucastka.

[gandalf33]

Skoro off-topic:

Myslim, ze aplikacia NS na trading je velmi zaujimavy task ktory moze posluzit ako ista forma spoznavacej hry a sebavzdelavania ohladom NS. To co ale trader potrebuje aby "vydelaval" su skusenosti nekonecnym prezeranim trhov a ich analyzou vytvoriac komplexne podvedome rozmyslanie na zaklade nespocetneho mnozstva naucenych faktov, zvany CIT.

NS pravdepodobne v dnesnej dobe nie su dostatocne zlozito komponovane na to, aby zvladli emulaciu procesu vytvorenia citu u cloveka, takze moj osobny nazor je ze snaha zarabat pomocou NS a akehokolvek ineho mechanizmu v dnesnej dobe je stratou casu, neprinesuc skutocny zarobok. Situacia sa pokojne moze zmenit o 20, 30, 40 rokov... ja sam som presvedceny ze "nalada", "cit", "bolest" - vsetko je vyjadritelne cislami a fyzickymi mechanizmami a napodobenie cloveka je len otazkou casu - staci, jednoducho povedane, kable pospajat do takej formy ako dnes biologickeho cloveka pozname, a dostavia sa unho vsetky atributy. Takisto som presvedceny ze otazka nestoji, ci k tomu dojde, ale kedy k tomu dojde - takuto bytost potom pokojne mozeme oznacit za zivu a ano, hrozi moznost prevzatia nadvlady nad "biologickym" clovekom.

Na podla mna marnej snahe automatizovat proces zarabania pomocou pocitaca to vsak v sucasnosti nic nemeni.

Pavel K