Kiskoza, 2013. szeptember 21., 11:07-n

2013-09-21T11:07:38Z

← Régebbi változat		A lap 2013. szeptember 21., 13:07-kori változata
40. sor:		40. sor:

	-- [[RynkiewiczAdam\|Tsiga]] - 2012.05.16.		-- [[RynkiewiczAdam\|Tsiga]] - 2012.05.16.


	~~[[Category:Main]]~~

Unknown user: Új oldal, tartalma: „{{GlobalTemplate|Main|KoopKerdesekOssz05}} '''Származtassa a CMAC hálózat súlyvektorának analitikus megoldását. Mutassa meg, hogy a megoldás megfeleltethető a…”

2012-10-22T10:34:43Z

Új oldal, tartalma: „{{GlobalTemplate|Main|KoopKerdesekOssz05}} '''Származtassa a CMAC hálózat súlyvektorának analitikus megoldását. Mutassa meg, hogy a megoldás megfeleltethető a…”

Új lap

{{GlobalTemplate|Main|KoopKerdesekOssz05}}

'''Származtassa a CMAC hálózat súlyvektorának analitikus megoldását. Mutassa meg, hogy a megoldás megfeleltethető a Wiener-Hopf egyenlet megoldásának. Adja meg a két összefüggés kapcsolatát!'''

* A CMAC súlyainak meghatározásához a következő egyenletet kell megoldani: <math> \underline{\underline{A}}\underline{w} = \underline{d} </math>, ahol w a súlyok oszlopvektora, d a tanítópontokban kívánt kimenetekből álló oszlopvektor. Az A mátrix azt írja le, melyik tanítópont melyik neuronokat aktiválja (vagyis melyik tartományokba esik bele). Az i. sor j. eleme adja meg, hogy az i. tanítópont a j. neuront aktiválja-e, a baloldalon álló szorzat a tanítópontok tényleges aktivációinak oszlopvektora.
* Az egyenletet általános esetben nem oldható meg egzaktul, viszont megkereshető az a súlyvektor, amire a legkisebb lesz a négyzetes hiba:
<math> {\left| \left| \underline{\underline{A}}\underline{w}-\underline{d} \right| \right| }^2 = (\underline{\underline{A}}\underline{w}-\underline{d})^T (\underline{\underline{A}}\underline{w}-\underline{d}) </math>
A minimum megkereséséhez tekintsük a kifejezést w elemei függvényének, és keressük meg azt a helyet, ahol a gradiens 0. Belátható, hogy a gradiens <math> 2 \underline{\underline{A}}^{T} \underline{\underline{A}} \underline{w} - 2 \underline{\underline{A}}^{T} \underline{d} </math>, a nullhelyben pedig <math> \underline{w} = (\underline{\underline{A}}^{T} \underline{\underline{A}})^{-1} \underline{\underline{A}}^{T} \underline{d} </math>.

'''Hasonlítsa össze a CMAC és az RBF hálózatot a tanulás módja, az approximációs képesség és a háló komplexitása tekintetében!'''

'''A hálól egyszerűsítése érdekében gyakran alkalmaznak pruning eljárásokat. A pruningolás elősegítésére az alábbi kritériumfüggvényt használhatjuk:'''
<math> C(w) = {{(d-y)}^{2}} + \frac{1}{2} \sum_{i} {\left| \left| w i \right| \right|}^{2} </math>
''', ahol i végigfut a háló összes súlyvektorán. Feltételezve, hogy ezt a kritérium függvényt alkalmazza, határozza meg (a) egy kimenetű MLP kimeneti súlyvektorának tanítóösszefüggését (8p) és (b) egy rejtett rétegbeli súlyvektor tanító összefüggését'''

'''RBF hálóknál a bázisfüggvények általában rendelkeznek beállítható paraméterekkel. Gauss bázisfüggvény esetén milyen paraméterek meghatározására van szükség, és milyen eljárásokat ismer ezen paraméterek meghatározására?'''

* A Gauss függvénynek két paramétere van: a középpontja és a szórása. Ez utóbbi lehet skalár, vagy többdimenziós esetben vektor is (különböző dimenziók mentén más lehet a függvények szórása). (Megjegyzés: magának a hálónak további paramétere, hogy hány bázisfüggvényt használunk.)
* A középpontok meghatározására használható az ortogonális least squares (OLS) és a K-means módszer. Előbbi kiindul egy egy pontot tartalmazó RBF-ből, majd azt iteratívan bővíti, ha nem elég jó a tanulóképessége (a hozzáveendő középpontokat az ismert tanítópontok közül választja). A K-means csoportokba próbálja osztani a tanítópontokat, és a csoportokhoz egy-egy középpontot illetve bázisfüggvényt rendel.
* Állítható a szórás értéke is; általában elég tág határok közt változtatható a tanulási képesség rontása nélkül. . Jól használható az adott középpontú bázisfüggvény szórásának, ha vesszük a középponthoz legközelebbi R (R=2-3) másik középpontot, és ezek távolságainak átlagát számoljuk. Ha mindegyik függvényhez azonos szórást akarunk használni, erre is használható a fenti kifejezés (véletlenszerűen kijelölve egy középpontot).
* Végül mind a középpontok, mind a szórások meghatározására alkalmazhatóak az ellenőrzött tanítási módszerek, pl. gradiens alapú keresés.

'''Egy MLP rejtett rétegében lévő neuron súlyvektorának tanító összefüggését származtassa! Hogyan választja meg a tanításnál a "bátorsági faktort"? Meghatározhatók-e analitikus úton is a rejtett neuronok súlyértékei?'''

'''Mi a keresztkiértékelés és mikor használjuk? Milyen változatait ismeri?'''

'''Mekkora a CMAC háló rejtett rétegének komplexitása (a háló súlyainak száma) egydimenziós és N dimenziós esetben, ha C a háló paramétere (az asszociációs vektorban az aktív bitek száma) és <math> {r}_{i} </math> az i-edik bemeneti dimenziónál a lehetséges diszkrét bemeneti értékek száma és bemeneti dimenziótól függetlenül C-szeres lefedést alkalmazunk?'''

'''Mutassa meg, hogy az EXOR probléma megoldható egy olyan RBF hálózattal, melynek két Gauss rejtett neuronja van, ahol a bázisfüggvények középpontjai [0 0] és [1 1]'''

'''Meghatározható-e egy egykimenetű RBF háló súlyvektora a Wiener-Hopf egyenlet megfelelő változatával? Ha igen, adja meg a megfelelő Wiener-Hopf egyenletet, ha nem, indokolja meg, hogy miért nem.'''

'''Származtassa a CMAC hálózat súlyvektorának analitikus megoldását.'''

'''Osztályozásnál gyakori, hogy négyzetes hibafüggvény <math> C ( w ) = \frac{1}{p} \sum_{i=0}^{p} ( d_i - y_i )^{2} </math> helyett a keresztentrópia hibafüggvényt a <math> C (w) = - \sum_{i=0}^{p} ( d_i ln(y_i) - ( 1 - d_i ) ln( 1 -y_i) ) </math> alkalmazzák. Itt <math> d_i </math> a kívánt kimenet, <math> y_i = sgm ( w^{T} x_i ) = sgm ( s_i) = \frac{1}{1+e^{-s_i}} </math> (az ott lent <math> e^{-s_i} </math> )és <math> p </math> a tanítópontok száma. Határozza meg egy fenti leképzést megvalósító elemi neutron súlyvektorának tanító összefüggését, ha a gradiens módszert és pillanatnyi hiba tanulást alkalmaz!'''

'''Milyen szerepet játszik a C együttható és a <math> \epsilon </math> (epszilon) változó egy osztályzás SVM konstrukciójánál, és milyen szempontok alapján lehet C-t megválasztani?'''

'''Milyen alapvető különbségek vannak egy NOE, és egy NARX architektúra között? Mikor melyiket alkalmazná? Egyes dinamikus neuronháló architektúra tanítására alkalmas az időben kiterítéses alapú BPTT módszer. A NOE és a NARX architektúra közül melyik (melyek) tanítására alkalmas a módszer. Írja le a BPTT tanítási eljárás lépéseit.'''

-- [[RynkiewiczAdam|Tsiga]] - 2012.05.16.

[[Category:Main]]

KoopKerdesekOssz05 - Laptörténet

Kiskoza, 2013. szeptember 21., 11:07-n

Unknown user: Új oldal, tartalma: „{{GlobalTemplate|Main|KoopKerdesekOssz05}} '''Származtassa a CMAC hálózat súlyvektorának analitikus megoldását. Mutassa meg, hogy a megoldás megfeleltethető a…”