Unknown user: Új oldal, tartalma: „{{GlobalTemplate|Infoszak|KoopKerdesekZHOssz05}} '''Származtassa a CMAC hálózat súlyvektorának analitikus megoldását. Mutassa meg, hogy a megoldás megfelelteth…”

2012-10-21T20:41:24Z

Új oldal, tartalma: „{{GlobalTemplate|Infoszak|KoopKerdesekZHOssz05}} '''Származtassa a CMAC hálózat súlyvektorának analitikus megoldását. Mutassa meg, hogy a megoldás megfelelteth…”

Új lap

{{GlobalTemplate|Infoszak|KoopKerdesekZHOssz05}}

'''Származtassa a CMAC hálózat súlyvektorának analitikus megoldását. Mutassa meg, hogy a megoldás megfeleltethető a Wiener-Hopf egyenlet megoldásának. Adja meg a két összefüggés kapcsolatát!'''

* A CMAC súlyainak meghatározásához a következő egyenletet kell megoldani: <math> \underline{\underline{A}}\underline{w} = \underline{d} {} </math>, ahol w a súlyok oszlopvektora, d a tanítópontokban kívánt kimenetekből álló oszlopvektor. Az A mátrix azt írja le, melyik tanítópont melyik neuronokat aktiválja (vagyis melyik tartományokba esik bele). Az i. sor j. eleme adja meg, hogy az i. tanítópont a j. neuront aktiválja-e, a baloldalon álló szorzat a tanítópontok tényleges aktivációinak oszlopvektora.
* Az egyenletet általános esetben nem oldható meg egzaktul, viszont megkereshető az a súlyvektor, amire a legkisebb lesz a négyzetes hiba:
<math> {\left| \left| \underline{\underline{A}}\underline{w}-\underline{d} \right| \right| }^2 = (\underline{\underline{A}}\underline{w}-\underline{d})^T (\underline{\underline{A}}\underline{w}-\underline{d}) {} </math>
A minimum megkereséséhez tekintsük a kifejezést w elemei függvényének, és keressük meg azt a helyet, ahol a gradiens 0. Belátható, hogy a gradiens <math> 2 \underline{\underline{A}}^{T} \underline{\underline{A}} \underline{w} - 2 \underline{\underline{A}}^{T} \underline{d} {} </math>, a nullhelyben pedig <math> \underline{w} = (\underline{\underline{A}}^{T} \underline{\underline{A}})^{-1} \underline{\underline{A}}^{T} \underline{d} {} </math>.

'''Hasonlítsa össze a CMAC és az RBF hálózatot a tanulás módja, az approximációs képesség és a háló komplexitása tekintetében!'''

'''A hálól egyszerűsítése érdekében gyakran alkalmaznak pruning eljárásokat. A pruningolás elősegítésére az alábbi kritériumfüggvényt használhatjuk:'''
<math> C(w) = {{(d-y)}^{2}} + \frac{1}{2} \sum_{i} {\left| \left| w i \right| \right|}^{2} {} </math>
''', ahol i végigfut a háló összes súlyvektorán. Feltételezve, hogy ezt a kritérium függvényt alkalmazza, határozza meg egy kimenetű MLP kimeneti súlyvektorának tanító összefüggését és egy rejtett rétegbeli súlyvektor tanító összefüggését'''

(A pruning az a folyamat, amikor megpróbáljuk eltávolítani a hálónkból a redundanciát, vagyis a felesleges súlyokat, illetve processzáló elemeket.)

Nem mondom, hogy 100% biztos megoldás de közelít a valósághoz
Normális esetben a kritériumfüggvényünk így néz ki: <math> C ( w ) = ( d - k ) ^2 {} </math>, de nekünk, most így néz ki: <math> C(w) = {{(d-y)}^{2}} + \frac{1}{2} \sum_{i} {\left| \left| w i \right| \right|}^{2} {} </math>, ami nagyon hasonlít egy sima pruning kritériumfüggvényhez (ez a példa a könyvből van: <math> C_r ( w ) = C ( w ) + \lambda \sum_{i,j} | w _{ij} | {}</math> ahol <math> {\lambda} {}{}{} </math> a büntető tag relatív súlya). Vagyis észrevehetjük, hogy a pruning büntető tag jelen esetben a <math> \frac{1}{2} \sum_{i} {\left| \left| w i \right| \right|}^{2} {}{} </math>. Hogy a könyvet idézzem a súly módosítás a deriválás elvégzése után <math> \triangle w = \mu \left( - \frac{\partial C(w) }{ \partial w} \right) - \mu \lambda sgm(w) {}{}{}{}</math>.
Na és akkor ez hogyan néz ki rejtett rétegnél, és nem rejtettnél:
Rejtett:
''Valaki?''

'''RBF hálóknál a bázisfüggvények általában rendelkeznek beállítható paraméterekkel. Gauss bázisfüggvény esetén milyen paraméterek meghatározására van szükség, és milyen eljárásokat ismer ezen paraméterek meghatározására?'''

* A Gauss függvénynek két paramétere van: a középpontja és a szórása. Ez utóbbi lehet skalár, vagy többdimenziós esetben vektor is (különböző dimenziók mentén más lehet a függvények szórása). (Megjegyzés: magának a hálónak további paramétere, hogy hány bázisfüggvényt használunk.)
* A középpontok meghatározására használható az ortogonális least squares (OLS) és a K-means módszer. Előbbi kiindul egy egy pontot tartalmazó RBF-ből, majd azt iteratívan bővíti, ha nem elég jó a tanulóképessége (a hozzáveendő középpontokat az ismert tanítópontok közül választja). A K-means csoportokba próbálja osztani a tanítópontokat, és a csoportokhoz egy-egy középpontot illetve bázisfüggvényt rendel.
* Állítható a szórás értéke is; általában elég tág határok közt változtatható a tanulási képesség rontása nélkül. . Jól használható az adott középpontú bázisfüggvény szórásának, ha vesszük a középponthoz legközelebbi R (R=2-3) másik középpontot, és ezek távolságainak átlagát számoljuk. Ha mindegyik függvényhez azonos szórást akarunk használni, erre is használható a fenti kifejezés (véletlenszerűen kijelölve egy középpontot).
* Végül mind a középpontok, mind a szórások meghatározására alkalmazhatóak az ellenőrzött tanítási módszerek, pl. gradiens alapú keresés.

'''Egy MLP rejtett rétegében lévő neuron súlyvektorának tanító összefüggését származtassa! Hogyan választja meg a tanításnál a "bátorsági faktort"? Meghatározhatók-e analitikus úton is a rejtett neuronok súlyértékei?'''

'''Mi a keresztkiértékelés és mikor használjuk? Milyen változatait ismeri?'''

'''Mekkora a CMAC háló rejtett rétegének komplexitása (a háló súlyainak száma) egydimenziós és N dimenziós esetben, ha C a háló paramétere (az asszociációs vektorban az aktív bitek száma) és <math> {r}_{i} {} </math> az i-edik bemeneti dimenziónál a lehetséges diszkrét bemeneti értékek száma és bemeneti dimenziótól függetlenül C-szeres lefedést alkalmazunk?'''
* Egydimenziós esetben <math> R = 2^{r_{1}} </math> a lehetséges bemenetek száma, többdimenziós esetben meg <math> R^{i} = 2^{r_{i}} </math>, összesen tehát <math> R = \prod_{i}^{N} R^{i} = 2^{r_{i}} </math> . Természetesen, ha mindenhol a kvantálás mondjuk b, akkor <math> R = 2^{Nb} </math> (<- ez a képlet ami a könyvben is szerepel).
* C aktív bit mellet, egy dimenziónál az asszociációs vektor hossza <math> M = R + C - 1 {} </math>.
* N dimenziós esetében, amikor lejes a lefedés, vagyis <math> C^{N} {} </math>-szeres, akkor ez <math> M = \prod_{i}^{N} (r_i + C -1) </math>, ami meglehetősen nagy. De a kérdés nem erre vonatkozott, hanem arra, amikor C-szeres lefedés van. Ebben az esetben <math> {} M_C = \left \lfloor \frac{1}{C^{N-1}} \prod_{i}^{N} (r_i + C -1) \right \rfloor </math>, meg kell említeni, hogy ez is elég nagy.

'''Mutassa meg, hogy az EXOR probléma megoldható egy olyan RBF hálózattal, melynek két Gauss rejtett neuronja van, ahol a bázisfüggvények középpontjai [0 0] és [1 1]'''

'''Meghatározható-e egy egykimenetű RBF háló súlyvektora a Wiener-Hopf egyenlet megfelelő változatával? Ha igen, adja meg a megfelelő Wiener-Hopf egyenletet, ha nem, indokolja meg, hogy miért nem.'''

'''Származtassa a CMAC hálózat súlyvektorának analitikus megoldását.'''

'''Osztályozásnál gyakori, hogy négyzetes hibafüggvény <math> C ( w ) = \frac{1}{p} \sum_{i=0}^{p} ( d_i - y_i )^{2} {} </math> helyett a keresztentrópia hibafüggvényt a <math> C (w) = - \sum_{i=0}^{p} ( d_i ln(y_i) - ( 1 - d_i ) ln( 1 -y_i) ) {} </math> alkalmazzák. Itt <math> d_i {} </math> a kívánt kimenet, <math> y_i = sgm ( w^{T} x_i ) = sgm ( s_i) = \frac{1}{1+e^{-s_i}} {} </math> (az ott lent <math> e^{-s_i} {} </math> )és <math> p {} </math> a tanítópontok száma. Határozza meg egy fenti leképzést megvalósító elemi neutron súlyvektorának tanító összefüggését, ha a gradiens módszert és pillanatnyi hiba tanulást alkalmaz!'''

'''Milyen szerepet játszik a C együttható és a <math> \epsilon {} </math> (epszilon) változó egy osztályzás SVM konstrukciójánál, és milyen szempontok alapján lehet C-t megválasztani?'''

'''Milyen alapvető különbségek vannak egy NOE, és egy NARX architektúra között? Mikor melyiket alkalmazná? Egyes dinamikus neuronháló architektúra tanítására alkalmas az időben kiterítéses alapú BPTT módszer. A NOE és a NARX architektúra közül melyik (melyek) tanítására alkalmas a módszer. Írja le a BPTT tanítási eljárás lépéseit.'''

-- [[RynkiewiczAdam|Tsiga]] - 2012.05.16.

[[Category:Infoszak]]

KoopKerdesekZHOssz05 - Laptörténet

Unknown user: Új oldal, tartalma: „{{GlobalTemplate|Infoszak|KoopKerdesekZHOssz05}} '''Származtassa a CMAC hálózat súlyvektorának analitikus megoldását. Mutassa meg, hogy a megoldás megfelelteth…”