KoopKerdesekOssz05

Ez az oldal a korábbi SCH wiki-ről lett áthozva. Az eredeti változata itt érhető el.

Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor kérlek javíts rajta egy rövid szerkesztéssel.

Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót

Származtassa a CMAC hálózat súlyvektorának analitikus megoldását. Mutassa meg, hogy a megoldás megfeleltethető a Wiener-Hopf egyenlet megoldásának. Adja meg a két összefüggés kapcsolatát!

• A CMAC súlyainak meghatározásához a következő egyenletet kell megoldani: [math] \underline{\underline{A}}\underline{w} = \underline{d} [/math], ahol w a súlyok oszlopvektora, d a tanítópontokban kívánt kimenetekből álló oszlopvektor. Az A mátrix azt írja le, melyik tanítópont melyik neuronokat aktiválja (vagyis melyik tartományokba esik bele). Az i. sor j. eleme adja meg, hogy az i. tanítópont a j. neuront aktiválja-e, a baloldalon álló szorzat a tanítópontok tényleges aktivációinak oszlopvektora.
• Az egyenletet általános esetben nem oldható meg egzaktul, viszont megkereshető az a súlyvektor, amire a legkisebb lesz a négyzetes hiba:

[math] {\left| \left| \underline{\underline{A}}\underline{w}-\underline{d} \right| \right| }^2 = (\underline{\underline{A}}\underline{w}-\underline{d})^T (\underline{\underline{A}}\underline{w}-\underline{d}) [/math] A minimum megkereséséhez tekintsük a kifejezést w elemei függvényének, és keressük meg azt a helyet, ahol a gradiens 0. Belátható, hogy a gradiens [math] 2 \underline{\underline{A}}^{T} \underline{\underline{A}} \underline{w} - 2 \underline{\underline{A}}^{T} \underline{d} [/math], a nullhelyben pedig [math] \underline{w} = (\underline{\underline{A}}^{T} \underline{\underline{A}})^{-1} \underline{\underline{A}}^{T} \underline{d} [/math].

Hasonlítsa össze a CMAC és az RBF hálózatot a tanulás módja, az approximációs képesség és a háló komplexitása tekintetében!

A hálól egyszerűsítése érdekében gyakran alkalmaznak pruning eljárásokat. A pruningolás elősegítésére az alábbi kritériumfüggvényt használhatjuk: [math] C(w) = {{(d-y)}^{2}} + \frac{1}{2} \sum_{i} {\left| \left| w i \right| \right|}^{2} [/math] , ahol i végigfut a háló összes súlyvektorán. Feltételezve, hogy ezt a kritérium függvényt alkalmazza, határozza meg (a) egy kimenetű MLP kimeneti súlyvektorának tanítóösszefüggését (8p) és (b) egy rejtett rétegbeli súlyvektor tanító összefüggését

RBF hálóknál a bázisfüggvények általában rendelkeznek beállítható paraméterekkel. Gauss bázisfüggvény esetén milyen paraméterek meghatározására van szükség, és milyen eljárásokat ismer ezen paraméterek meghatározására?

• A Gauss függvénynek két paramétere van: a középpontja és a szórása. Ez utóbbi lehet skalár, vagy többdimenziós esetben vektor is (különböző dimenziók mentén más lehet a függvények szórása). (Megjegyzés: magának a hálónak további paramétere, hogy hány bázisfüggvényt használunk.)
• A középpontok meghatározására használható az ortogonális least squares (OLS) és a K-means módszer. Előbbi kiindul egy egy pontot tartalmazó RBF-ből, majd azt iteratívan bővíti, ha nem elég jó a tanulóképessége (a hozzáveendő középpontokat az ismert tanítópontok közül választja). A K-means csoportokba próbálja osztani a tanítópontokat, és a csoportokhoz egy-egy középpontot illetve bázisfüggvényt rendel.
• Állítható a szórás értéke is; általában elég tág határok közt változtatható a tanulási képesség rontása nélkül. . Jól használható az adott középpontú bázisfüggvény szórásának, ha vesszük a középponthoz legközelebbi R (R=2-3) másik középpontot, és ezek távolságainak átlagát számoljuk. Ha mindegyik függvényhez azonos szórást akarunk használni, erre is használható a fenti kifejezés (véletlenszerűen kijelölve egy középpontot).
• Végül mind a középpontok, mind a szórások meghatározására alkalmazhatóak az ellenőrzött tanítási módszerek, pl. gradiens alapú keresés.

Egy MLP rejtett rétegében lévő neuron súlyvektorának tanító összefüggését származtassa! Hogyan választja meg a tanításnál a "bátorsági faktort"? Meghatározhatók-e analitikus úton is a rejtett neuronok súlyértékei?

Mi a keresztkiértékelés és mikor használjuk? Milyen változatait ismeri?

Mekkora a CMAC háló rejtett rétegének komplexitása (a háló súlyainak száma) egydimenziós és N dimenziós esetben, ha C a háló paramétere (az asszociációs vektorban az aktív bitek száma) és [math] {r}_{i} [/math] az i-edik bemeneti dimenziónál a lehetséges diszkrét bemeneti értékek száma és bemeneti dimenziótól függetlenül C-szeres lefedést alkalmazunk?

Mutassa meg, hogy az EXOR probléma megoldható egy olyan RBF hálózattal, melynek két Gauss rejtett neuronja van, ahol a bázisfüggvények középpontjai [0 0] és [1 1]

Meghatározható-e egy egykimenetű RBF háló súlyvektora a Wiener-Hopf egyenlet megfelelő változatával? Ha igen, adja meg a megfelelő Wiener-Hopf egyenletet, ha nem, indokolja meg, hogy miért nem.

Származtassa a CMAC hálózat súlyvektorának analitikus megoldását.

Osztályozásnál gyakori, hogy négyzetes hibafüggvény [math] C ( w ) = \frac{1}{p} \sum_{i=0}^{p} ( d_i - y_i )^{2} [/math] helyett a keresztentrópia hibafüggvényt a [math] C (w) = - \sum_{i=0}^{p} ( d_i ln(y_i) - ( 1 - d_i ) ln( 1 -y_i) ) [/math] alkalmazzák. Itt [math] d_i [/math] a kívánt kimenet, [math] y_i = sgm ( w^{T} x_i ) = sgm ( s_i) = \frac{1}{1+e^{-s_i}} [/math] (az ott lent [math] e^{-s_i} [/math] )és [math] p [/math] a tanítópontok száma. Határozza meg egy fenti leképzést megvalósító elemi neutron súlyvektorának tanító összefüggését, ha a gradiens módszert és pillanatnyi hiba tanulást alkalmaz!

Milyen szerepet játszik a C együttható és a [math] \epsilon [/math] (epszilon) változó egy osztályzás SVM konstrukciójánál, és milyen szempontok alapján lehet C-t megválasztani?

Milyen alapvető különbségek vannak egy NOE, és egy NARX architektúra között? Mikor melyiket alkalmazná? Egyes dinamikus neuronháló architektúra tanítására alkalmas az időben kiterítéses alapú BPTT módszer. A NOE és a NARX architektúra közül melyik (melyek) tanítására alkalmas a módszer. Írja le a BPTT tanítási eljárás lépéseit.

-- Tsiga - 2012.05.16.