„KoopKerdesekZHOssz01” változatai közötti eltérés

(6 közbenső módosítás ugyanattól a felhasználótól nincs mutatva)

3. sor:

==Összegyűjtött kérdések a Zhig 01==

Daraboltam, így ~~könyebb~~ a ~~szerkeztése~~, és a latex-ek is megjelennek.

Daraboltam, így könnyebb a szerkesztése, és a latex-ek is megjelennek.

12. sor:

'''Adja meg az Adaline iteratív tanuló eljárását! Adja meg azokat a feltételeket is, amelyek fennállta esetén az iteratív megoldás konvergens lesz! Adja meg, hogy milyen kritérium függvény alapján fogalmazzuk meg az optimumfeladatot!'''

<math> w(k+1)= w(k)+{\mu}(-\underline{\nabla}(k)) ~~, 0< {\mu}< \frac1{\lambda_{max}}~~ </math>

<math> w(k+1)= w(k)+{\mu}(-\underline{\nabla}(k)) </math>

<math>{\mu} </math> bátorsági tényező, tanulási faktor

A konvergencia feltétele: <math> 0< {\mu}< \frac1{\lambda_{max}} </math>

<math>{\mu} </math> bátorsági tényező, tanulási faktor, <math>{\lambda_{max}}</math> az autokorrelációs mátrix legnagyobb sajátértéke

'''Az Adaline optimális súlyvektorának meghatározására mind az analitikus összefüggés, mint az iteratív tanuló eljárás létezik. Adja meg a kétféle meghatározás összefüggését, és azokat, a feltételeket, amelyek fennállta esetén az iteratív megoldás az analitikus eredményéhez tart! Azt is adja meg, hogy milyen kritériumfüggvény alapján fogalmazzuk meg az optimumfeladatot!'''

Analitikus meghatározás: Wiener-Hopf egyenlet

Analitikus meghatározás:

<math> \underline{w} *= \underline{\underline{R}} \cdot \underline{P} </math>

Wiener-Hopf egyenlet

<math> \underline{w}^{*}= \underline{\underline{R}}^{-1} \cdot \underline{p} </math>

<math> \underline{\underline{R}} </math> autokorrelációs mátrix

~~<math> \underline{P}</math> keresztkorrelációs vektor~~

<math> \\ \underline{p}</math> keresztkorrelációs vektor

Iteratív megoldás:

<math> w(k+1)= w(k)+{\mu}(-\underline{\nabla}(k)) </math>

'''Származtassa az LMS algoritmust és adja meg a konvergencia feltételeit! Mi a sajátérték fizikai jelentése?'''

41. sor:

50. sor:

A kritériumfüggvény: <math> C ( w ) = \frac{1}{P} \sum_{i = 1}^{P} \left( d_i - f(w,x_i) \right)^2 </math>

A lineáris kapcsolat miatt az <math> f(w,x) = w^{T}x </math>. Vagyis az átlagos négyzetes hiba felírható a következő formában is:<math> C(w) = (d - X w)^{T} ( d - X w) {}</math>. Ahol d a tanítópontokbeli kívánt válaszokból épített p elemű oszlopvektor, X a bemeneti ~~vektorokl~~ képzett mátrix, w pedig a keresett paramétervektor. A megoldás itt aztán a <math> d = X w {}</math>, máshogyan <math> w = X^{-1} d {}</math>, valamint pszeudoinverz alkalmazásával <math> w^{*} = X^{\dagger} d = ( X^TX)^{-1} X^T d </math>. Az összefüggés legfontosabb része, hogy ~~ugyaerre~~ a megoldásra jutunk, hogyha kritériumfüggvény (amit az iteratív eljáráshoz alkalmazott kritériumfüggvény átalakítottja, vagyis nem a szummás, hanem amelyik függvény utána van) gradiens nulla értéket biztosító paraméterét határozzuk meg:

A lineáris kapcsolat miatt az <math> f(w,x) = w^{T}x </math>. Vagyis az átlagos négyzetes hiba felírható a következő formában is:<math> C(w) = (d - X w)^{T} ( d - X w) {}</math>. Ahol d a tanítópontokbeli kívánt válaszokból épített p elemű oszlopvektor, X a bemeneti vektorokból képzett mátrix, w pedig a keresett paramétervektor. A megoldás itt aztán a <math> d = X w {}</math>, máshogyan <math> w = X^{-1} d {}</math>, valamint pszeudoinverz alkalmazásával <math> w^{*} = X^{\dagger} d = ( X^TX)^{-1} X^T d </math>. Az összefüggés legfontosabb része, hogy ugyanerre a megoldásra jutunk, hogyha kritériumfüggvény (amit az iteratív eljáráshoz alkalmazott kritériumfüggvény átalakítottja, vagyis nem a szummás, hanem amelyik függvény utána van) gradiens nulla értéket biztosító paraméterét határozzuk meg:

<math> \frac{\partial C ( w ) }{ \partial w } = -2 X^Td + 2 X^TXw = 0 </math>

Ekkor ezt kapjuk:

72. sor:

81. sor:

* MLP: nem, a hibafelület nem kvadratikus, a gradiens kvadratikusát felhasználó analitikus megoldás így nem alkalmazható. ''Nem tökéletes, de ér pár pontot''

* RBF: lehet analitikus tanítást alkalmazni. Összefüggés <math> w^{*} = G^{-1} d = ( G ^{T}G )^{-1} G^{T} d {} </math>. A feltétele, hogy ismernünk kell az összes tanítópontot.

* CMAC: lehet analitikus tanítás, mert: A CMAC ~~súlyainek~~ meghatározásához a következő egyenletet kell megoldani <math> \underline {\underline A} \underline w = \underline d {} </math>, ahol a w a súlyok oszlopvektora, d a tanítópontokban kívánt kimenetekből álló oszlopvektor. Az A mátrix azt írja le, melyik tanítópont melyik neuronokat aktiválja (vagyis melyik tartományba esik bele). Az i. sor j. elem adja meg, hogy az i. tanítópont j. neuront aktiválja-e, a baloldalon álló szorzat a tanítópontok tényleges aktivációinak oszlopvektora. <math> w^{*} = A^{-1} d = ( A^{T} A) ^{-1} A^{T} d {} </math> valamint <math> y = T w^{*} = T A ^{T} ( A A ^{T})^{-1} d = T A^{T}B d {} </math>. A feltétel ehhez, hogy a tanítópontok egyenletesen, egymástól pontosan egységnyi távolságra helyezkednek el.

* CMAC: lehet analitikus tanítás, mert: A CMAC súlyainak meghatározásához a következő egyenletet kell megoldani <math> \underline {\underline A} \underline w = \underline d {} </math>, ahol a w a súlyok oszlopvektora, d a tanítópontokban kívánt kimenetekből álló oszlopvektor. Az A mátrix azt írja le, melyik tanítópont melyik neuronokat aktiválja (vagyis melyik tartományba esik bele). Az i. sor j. elem adja meg, hogy az i. tanítópont j. neuront aktiválja-e, a baloldalon álló szorzat a tanítópontok tényleges aktivációinak oszlopvektora. <math> w^{*} = A^{-1} d = ( A^{T} A) ^{-1} A^{T} d {} </math> valamint <math> y = T w^{*} = T A ^{T} ( A A ^{T})^{-1} d = T A^{T}B d {} </math>. A feltétel ehhez, hogy a tanítópontok egyenletesen, egymástól pontosan egységnyi távolságra helyezkednek el.

'''Mi a szoft margó(margin, tartaléksáv) jelentése, szerepe és a jelentősége az SVM-nél? Hogyan kell értelmezni a margót nemlineáris osztályozási feladatnál?'''

88. sor:

97. sor:

Margin: Optimális lineáris szeparálásnak azt a megoldást tekintjük, amikor az elválasztó egyenes (sík, hipersík) a két osztályba tartozó tanítópontok között a pontoktól a lehető legnagyobb távolságra helyezkedik el. A pontok között középre elhelyezett szeparáló felületet a tanító pontoktól egy margó (margin), azaz egy biztonsági sáv választja el, ezért az így megoldható feladatokat maximális tartalékot vagy maximális margót biztosító lineárisan szeparálható osztályozási feladatoknak is nevezzük. A lineárisan nem szeparálható osztályozási feladatoknál a margin helyett szoft-margint értelmezünk.

Soft Margin: Ha megengedjük, hogy a biztonsági sávban is legyenek tanítópontok, miközben továbbra is cél a lehető legnagyobb margó biztosítása, ún. lágy vagy szoft margójú megoldásról beszélünk. Azoknál a pontoknál amelyek a biztonsági sávon kívül helyezkednek le a maximális margójú osztályozást biztosító <math> d_{i} (w^{T} x_i + b ) \geq 1 {} </math> egyenlőség áll fenn. Az ilyen mintapontokra vonatkozó, az előző egyenlőtlenségnek megfelelő formális kapcsolat ún. gyengítő <math> \epsilon {} </math> változók bevezetésével lehetséges. A gyengítő változók bevezetése lehetővé teszi, hogy a fenti összefüggés az egyes tanítópontoknál különböző mértékben gyengítve érvényesüljön. Ennek megfelelően az összes pontra most a következő egyenlőtlenség ~~ítható~~ fel:

Soft Margin: Ha megengedjük, hogy a biztonsági sávban is legyenek tanítópontok, miközben továbbra is cél a lehető legnagyobb margó biztosítása, ún. lágy vagy szoft margójú megoldásról beszélünk. Azoknál a pontoknál amelyek a biztonsági sávon kívül helyezkednek le a maximális margójú osztályozást biztosító <math> d_{i} (w^{T} x_i + b ) \geq 1 {} </math> egyenlőség áll fenn. Az ilyen mintapontokra vonatkozó, az előző egyenlőtlenségnek megfelelő formális kapcsolat ún. gyengítő <math> \epsilon {} </math> változók bevezetésével lehetséges. A gyengítő változók bevezetése lehetővé teszi, hogy a fenti összefüggés az egyes tanítópontoknál különböző mértékben gyengítve érvényesüljön. Ennek megfelelően az összes pontra most a következő egyenlőtlenség írható fel:

<math> d_i (w^{T} x_i + b ) \geq 1 - {\epsilon}_i {} </math>

@@ 3. sor: / 3. sor: @@
 ==Összegyűjtött kérdések a Zhig 01==
-Daraboltam, így könyebb a szerkeztése, és a latex-ek is megjelennek.
+Daraboltam, így könnyebb a szerkesztése, és a latex-ek is megjelennek.
@@ 12. sor: / 12. sor: @@
 '''Adja meg az Adaline iteratív tanuló eljárását! Adja meg azokat a feltételeket is, amelyek fennállta esetén az iteratív megoldás konvergens lesz! Adja meg, hogy milyen kritérium függvény alapján fogalmazzuk meg az optimumfeladatot!'''
-<math> w(k+1)= w(k)+{\mu}(-\underline{\nabla}(k)) , 0< {\mu}< \frac1{\lambda_{max}} </math>
+<math> w(k+1)= w(k)+{\mu}(-\underline{\nabla}(k)) </math>
-<math>{\mu} </math> bátorsági tényező, tanulási faktor
+A konvergencia feltétele: <math> 0< {\mu}< \frac1{\lambda_{max}} </math>
+<math>{\mu} </math> bátorsági tényező, tanulási faktor, <math>{\lambda_{max}}</math> az autokorrelációs mátrix legnagyobb sajátértéke
 '''Az Adaline optimális súlyvektorának meghatározására mind az analitikus összefüggés, mint az iteratív tanuló eljárás létezik. Adja meg a kétféle meghatározás összefüggését, és azokat, a feltételeket, amelyek fennállta esetén az iteratív megoldás az analitikus eredményéhez tart! Azt is adja meg, hogy milyen kritériumfüggvény alapján fogalmazzuk meg az optimumfeladatot!'''
-Analitikus meghatározás: Wiener-Hopf egyenlet
+Analitikus meghatározás:
-<math> \underline{w} *= \underline{\underline{R}} \cdot \underline{P} </math>
+Wiener-Hopf egyenlet
+<math> \underline{w}^{*}= \underline{\underline{R}}^{-1} \cdot \underline{p} </math>
 <math> \underline{\underline{R}} </math> autokorrelációs mátrix
-<math> \underline{P}</math> keresztkorrelációs vektor
+<math> \\ \underline{p}</math> keresztkorrelációs vektor
+Iteratív megoldás:
+<math> w(k+1)= w(k)+{\mu}(-\underline{\nabla}(k)) </math>
 '''Származtassa az LMS algoritmust és adja meg a konvergencia feltételeit! Mi a sajátérték fizikai jelentése?'''
@@ 41. sor: / 50. sor: @@
 A kritériumfüggvény: <math> C ( w ) = \frac{1}{P} \sum_{i = 1}^{P} \left( d_i - f(w,x_i) \right)^2 </math>
-A lineáris kapcsolat miatt az <math> f(w,x) = w^{T}x </math>. Vagyis az átlagos négyzetes hiba felírható a következő formában is:<math> C(w) = (d - X w)^{T} ( d - X w) {}</math>. Ahol d a tanítópontokbeli kívánt válaszokból épített p elemű oszlopvektor, X a bemeneti vektorokl képzett mátrix, w pedig a keresett paramétervektor. A megoldás itt aztán a <math> d = X w {}</math>, máshogyan <math> w = X^{-1} d {}</math>, valamint pszeudoinverz alkalmazásával <math> w^{*} = X^{\dagger} d = ( X^TX)^{-1} X^T d </math>. Az összefüggés legfontosabb része, hogy ugyaerre a megoldásra jutunk, hogyha kritériumfüggvény (amit az iteratív eljáráshoz alkalmazott kritériumfüggvény átalakítottja, vagyis nem a szummás, hanem amelyik függvény utána van) gradiens nulla értéket biztosító paraméterét határozzuk meg:
+A lineáris kapcsolat miatt az <math> f(w,x) = w^{T}x </math>. Vagyis az átlagos négyzetes hiba felírható a következő formában is:<math> C(w) = (d - X w)^{T} ( d - X w) {}</math>. Ahol d a tanítópontokbeli kívánt válaszokból épített p elemű oszlopvektor, X a bemeneti vektorokból képzett mátrix, w pedig a keresett paramétervektor. A megoldás itt aztán a <math> d = X w {}</math>, máshogyan <math> w = X^{-1} d {}</math>, valamint pszeudoinverz alkalmazásával <math> w^{*} = X^{\dagger} d = ( X^TX)^{-1} X^T d </math>. Az összefüggés legfontosabb része, hogy ugyanerre a megoldásra jutunk, hogyha kritériumfüggvény (amit az iteratív eljáráshoz alkalmazott kritériumfüggvény átalakítottja, vagyis nem a szummás, hanem amelyik függvény utána van) gradiens nulla értéket biztosító paraméterét határozzuk meg:
 <math> \frac{\partial  C ( w ) }{ \partial w } = -2 X^Td + 2 X^TXw = 0 </math>
 Ekkor ezt kapjuk:
@@ 72. sor: / 81. sor: @@
 * MLP: nem, a hibafelület nem kvadratikus, a gradiens kvadratikusát felhasználó analitikus megoldás így nem alkalmazható. ''Nem tökéletes, de ér pár pontot''
 * RBF: lehet analitikus tanítást alkalmazni. Összefüggés <math> w^{*} = G^{-1} d = ( G ^{T}G )^{-1} G^{T} d {} </math>. A feltétele, hogy ismernünk kell az összes tanítópontot.
-* CMAC: lehet analitikus tanítás, mert: A CMAC súlyainek meghatározásához a következő egyenletet kell megoldani <math> \underline {\underline A} \underline w = \underline d {} </math>, ahol a w a súlyok oszlopvektora, d a tanítópontokban kívánt kimenetekből álló oszlopvektor. Az A mátrix azt írja le, melyik tanítópont melyik neuronokat aktiválja (vagyis melyik tartományba esik bele). Az i. sor j. elem adja meg, hogy az i. tanítópont j. neuront aktiválja-e, a baloldalon álló szorzat a tanítópontok tényleges aktivációinak oszlopvektora. <math> w^{*} = A^{-1} d = ( A^{T} A) ^{-1} A^{T} d {} </math> valamint <math> y = T w^{*} = T A ^{T} ( A A ^{T})^{-1} d = T A^{T}B d {} </math>. A feltétel ehhez, hogy a tanítópontok egyenletesen, egymástól pontosan egységnyi távolságra helyezkednek el.
+* CMAC: lehet analitikus tanítás, mert: A CMAC súlyainak meghatározásához a következő egyenletet kell megoldani <math> \underline {\underline A} \underline w = \underline d {} </math>, ahol a w a súlyok oszlopvektora, d a tanítópontokban kívánt kimenetekből álló oszlopvektor. Az A mátrix azt írja le, melyik tanítópont melyik neuronokat aktiválja (vagyis melyik tartományba esik bele). Az i. sor j. elem adja meg, hogy az i. tanítópont j. neuront aktiválja-e, a baloldalon álló szorzat a tanítópontok tényleges aktivációinak oszlopvektora. <math> w^{*} = A^{-1} d = ( A^{T} A) ^{-1} A^{T} d {} </math> valamint <math> y = T w^{*} = T A ^{T} ( A A ^{T})^{-1} d = T A^{T}B d {} </math>. A feltétel ehhez, hogy a tanítópontok egyenletesen, egymástól pontosan egységnyi távolságra helyezkednek el.
 '''Mi a szoft margó(margin, tartaléksáv) jelentése, szerepe és a jelentősége az SVM-nél? Hogyan kell értelmezni a margót nemlineáris osztályozási feladatnál?'''
@@ 88. sor: / 97. sor: @@
 Margin: Optimális lineáris szeparálásnak azt a megoldást tekintjük, amikor az elválasztó egyenes (sík, hipersík) a két osztályba tartozó tanítópontok között a pontoktól a lehető legnagyobb távolságra helyezkedik el. A pontok között középre elhelyezett szeparáló felületet a tanító pontoktól egy margó (margin), azaz egy biztonsági sáv választja el, ezért az így megoldható feladatokat maximális tartalékot vagy maximális margót biztosító lineárisan szeparálható osztályozási feladatoknak is nevezzük. A lineárisan nem szeparálható osztályozási feladatoknál a margin helyett szoft-margint értelmezünk.
-Soft Margin: Ha megengedjük, hogy a biztonsági sávban is legyenek tanítópontok, miközben továbbra is cél a lehető legnagyobb margó biztosítása, ún. lágy vagy szoft margójú megoldásról beszélünk. Azoknál a pontoknál amelyek a biztonsági sávon kívül helyezkednek le a maximális margójú osztályozást biztosító  <math>  d_{i} (w^{T} x_i + b ) \geq 1 {} </math> egyenlőség áll fenn. Az ilyen mintapontokra vonatkozó, az előző egyenlőtlenségnek megfelelő formális kapcsolat ún. gyengítő <math> \epsilon {} </math> változók bevezetésével lehetséges. A gyengítő változók bevezetése lehetővé teszi, hogy a fenti összefüggés az egyes tanítópontoknál különböző mértékben gyengítve érvényesüljön. Ennek megfelelően az összes pontra most a következő egyenlőtlenség ítható fel:
+Soft Margin: Ha megengedjük, hogy a biztonsági sávban is legyenek tanítópontok, miközben továbbra is cél a lehető legnagyobb margó biztosítása, ún. lágy vagy szoft margójú megoldásról beszélünk. Azoknál a pontoknál amelyek a biztonsági sávon kívül helyezkednek le a maximális margójú osztályozást biztosító  <math>  d_{i} (w^{T} x_i + b ) \geq 1 {} </math> egyenlőség áll fenn. Az ilyen mintapontokra vonatkozó, az előző egyenlőtlenségnek megfelelő formális kapcsolat ún. gyengítő <math> \epsilon {} </math> változók bevezetésével lehetséges. A gyengítő változók bevezetése lehetővé teszi, hogy a fenti összefüggés az egyes tanítópontoknál különböző mértékben gyengítve érvényesüljön. Ennek megfelelően az összes pontra most a következő egyenlőtlenség írható fel:
 <math> d_i (w^{T} x_i + b ) \geq 1  - {\epsilon}_i {} </math>