„KoopKerdesekZHOssz01” változatai közötti eltérés

(8 közbenső módosítás, amit 2 másik szerkesztő végzett, nincs mutatva)

3. sor:

==Összegyűjtött kérdések a Zhig 01==

Daraboltam, így ~~könyebb~~ a ~~szerkeztése~~, és a latex-ek is megjelennek.

Daraboltam, így könnyebb a szerkesztése, és a latex-ek is megjelennek.

11. sor:

'''Adja meg az Adaline iteratív tanuló eljárását! Adja meg azokat a feltételeket is, amelyek fennállta esetén az iteratív megoldás konvergens lesz! Adja meg, hogy milyen kritérium függvény alapján fogalmazzuk meg az optimumfeladatot!'''

*Az Adaline optimális súlyvektorának meghatározására mind az ~~analitius~~ összefüggés, mint az iteratív tanuló eljárás létezik. Adja meg a kétféle meghatározás összefüggését, és azokat, a feltételeket, amelyek fennállta esetén az iteratív megoldás az analitikus eredményéhez tart! Azt is adja meg, hogy milyen kritériumfüggvény alapján fogalmazzuk meg az optimumfeladatot!*

<math> w(k+1)= w(k)+{\mu}(-\underline{\nabla}(k)) </math>

A konvergencia feltétele: <math> 0< {\mu}< \frac1{\lambda_{max}} </math>

<math>{\mu} </math> bátorsági tényező, tanulási faktor, <math>{\lambda_{max}}</math> az autokorrelációs mátrix legnagyobb sajátértéke

'''Az Adaline optimális súlyvektorának meghatározására mind az analitikus összefüggés, mint az iteratív tanuló eljárás létezik. Adja meg a kétféle meghatározás összefüggését, és azokat, a feltételeket, amelyek fennállta esetén az iteratív megoldás az analitikus eredményéhez tart! Azt is adja meg, hogy milyen kritériumfüggvény alapján fogalmazzuk meg az optimumfeladatot!'''

Analitikus meghatározás:

Wiener-Hopf egyenlet

<math> \underline{w}^{*}= \underline{\underline{R}}^{-1} \cdot \underline{p} </math>

<math> \underline{\underline{R}} </math> autokorrelációs mátrix

<math> \\ \underline{p}</math> keresztkorrelációs vektor

Iteratív megoldás:

<math> w(k+1)= w(k)+{\mu}(-\underline{\nabla}(k)) </math>

'''Származtassa az LMS algoritmust és adja meg a konvergencia feltételeit! Mi a sajátérték fizikai jelentése?'''

29. sor:

50. sor:

A kritériumfüggvény: <math> C ( w ) = \frac{1}{P} \sum_{i = 1}^{P} \left( d_i - f(w,x_i) \right)^2 </math>

A lineáris kapcsolat miatt az <math> f(w,x) = w^{T}x </math>. Vagyis az átlagos négyzetes hiba felírható a következő formában is:<math> C(w) = (d - X w)^{T} ( d - X w) {}</math>. Ahol d a tanítópontokbeli kívánt válaszokból épített p elemű oszlopvektor, X a bemeneti ~~vektorokl~~ képzett mátrix, w pedig a keresett paramétervektor. A megoldás itt aztán a <math> d = X w {}</math>, máshogyan <math> w = X^{-1} d {}</math>, valamint pszeudoinverz alkalmazásával <math> w^{*} = X^{\dagger} d = ( X^TX)^{-1} X^T d </math>. Az összefüggés legfontosabb része, hogy ~~ugyaerre~~ a megoldásra jutunk, hogyha kritériumfüggvény (amit az iteratív eljáráshoz alkalmazott kritériumfüggvény átalakítottja, vagyis nem a szummás, hanem amelyik függvény utána van) gradiens nulla értéket biztosító paraméterét határozzuk meg:

A lineáris kapcsolat miatt az <math> f(w,x) = w^{T}x </math>. Vagyis az átlagos négyzetes hiba felírható a következő formában is:<math> C(w) = (d - X w)^{T} ( d - X w) {}</math>. Ahol d a tanítópontokbeli kívánt válaszokból épített p elemű oszlopvektor, X a bemeneti vektorokból képzett mátrix, w pedig a keresett paramétervektor. A megoldás itt aztán a <math> d = X w {}</math>, máshogyan <math> w = X^{-1} d {}</math>, valamint pszeudoinverz alkalmazásával <math> w^{*} = X^{\dagger} d = ( X^TX)^{-1} X^T d </math>. Az összefüggés legfontosabb része, hogy ugyanerre a megoldásra jutunk, hogyha kritériumfüggvény (amit az iteratív eljáráshoz alkalmazott kritériumfüggvény átalakítottja, vagyis nem a szummás, hanem amelyik függvény utána van) gradiens nulla értéket biztosító paraméterét határozzuk meg:

<math> \frac{\partial C ( w ) }{ \partial w } = -2 X^Td + 2 X^TXw = 0 </math>

Ekkor ezt kapjuk:

55. sor:

76. sor:

'''Lehet-e analitikus tanítást alkalmazni az alábbi neurális hálózatoknál, ha az összes tanítópont a rendelkezésünkre áll és négyzetes hibafüggvényt alkalmazunk: lineáris kimeneti rétegekkel rendelkező egyrétegű MLP, RBF, CMAC? Ha igen, adja meg az analitikus összefüggéseket, ha nem indokolja meg, hogy miért nem!'''

*Egyes bázisfüggvényes hálózatoknál (RBF, CMAC) lehetőség van a súlyvektor(ok) analitikus meghatározására is. Adja meg az analitikus összefüggéseket, és azt is, hogy milyen feltételei vannak az adott összefüggések alapján történő súlymeghatározásnak!*

'''Egyes bázisfüggvényes hálózatoknál (RBF, CMAC) lehetőség van a súlyvektor(ok) analitikus meghatározására is. Adja meg az analitikus összefüggéseket, és azt is, hogy milyen feltételei vannak az adott összefüggések alapján történő súlymeghatározásnak!'''

* MLP: nem, a hibafelület nem kvadratikus, a gradiens kvadratikusát felhasználó analitikus megoldás így nem alkalmazható. ''Nem tökéletes, de ér pár pontot''

* RBF: lehet analitikus tanítást alkalmazni. Összefüggés <math> w^{*} = G^{-1} d = ( G ^{T}G )^{-1} G^{T} d {} </math>. A feltétele, hogy ismernünk kell az összes tanítópontot.

* CMAC: lehet analitikus tanítás, mert: A CMAC ~~súlyainek~~ meghatározásához a következő egyenletet kell megoldani <math> \underline {\underline A} \underline w = \underline d {} </math>, ahol a w a súlyok oszlopvektora, d a tanítópontokban kívánt kimenetekből álló oszlopvektor. Az A mátrix azt írja le, melyik tanítópont melyik neuronokat aktiválja (vagyis melyik tartományba esik bele). Az i. sor j. elem adja meg, hogy az i. tanítópont j. neuront aktiválja-e, a baloldalon álló szorzat a tanítópontok tényleges aktivációinak oszlopvektora. <math> w^{*} = A^{-1} d = ( A^{T} A) ^{-1} A^{T} d {} </math> valamint <math> y = T w^{*} = T A ^{T} ( A A ^{T})^{-1} d = T A^{T}B d {} </math>. E feltétel ehhez, hogy a tanítópontok egyenletesen, egymástól pontosan egységnyi távolságra helyezkednek el.

* CMAC: lehet analitikus tanítás, mert: A CMAC súlyainak meghatározásához a következő egyenletet kell megoldani <math> \underline {\underline A} \underline w = \underline d {} </math>, ahol a w a súlyok oszlopvektora, d a tanítópontokban kívánt kimenetekből álló oszlopvektor. Az A mátrix azt írja le, melyik tanítópont melyik neuronokat aktiválja (vagyis melyik tartományba esik bele). Az i. sor j. elem adja meg, hogy az i. tanítópont j. neuront aktiválja-e, a baloldalon álló szorzat a tanítópontok tényleges aktivációinak oszlopvektora. <math> w^{*} = A^{-1} d = ( A^{T} A) ^{-1} A^{T} d {} </math> valamint <math> y = T w^{*} = T A ^{T} ( A A ^{T})^{-1} d = T A^{T}B d {} </math>. A feltétel ehhez, hogy a tanítópontok egyenletesen, egymástól pontosan egységnyi távolságra helyezkednek el.

'''Mi a szoft margó(margin, tartaléksáv) jelentése, szerepe és a jelentősége az SVM-nél? Hogyan kell értelmezni a margót nemlineáris osztályozási feladatnál?'''

*Mi a margó(margin, tartaléksáv) szerepe és jelentősége az SVM-nél? Hogyan kell értelmezni a margót a nemlineáris osztályozási feladatnál? Hogyan módosul ez a szerep, ha az SVM származtatásnál gyengítő (slack) változót is használunk?*

'''Mi a margó(margin, tartaléksáv) szerepe és jelentősége az SVM-nél? Hogyan kell értelmezni a margót a nemlineáris osztályozási feladatnál? Hogyan módosul ez a szerep, ha az SVM származtatásnál gyengítő (slack) változót is használunk?'''

'''Szupport vektor gépeknél osztályozási feladat esetén mi biztosítja, hogy az elválasztandó osztályok között egy biztonsági sáv alakuljon ki? Adja meg azt a matematikai összefüggést, ami biztosítja a biztonsági sávot. Hogyan biztosítható, hogy a biztonsági sáv maximális értéket vegyen fel? Mit lehet tenni, ha a tanítópontok elhelyezkedése olyan, hogy a két osztály pontjai között nem lehet biztonsági sávot kialakítani?'''

*Mi a szerepe a gyengítő változóknak Szupport Vektor Gépeknél? Adja meg a nemlineáris osztályozási feladat optimalizálandó kritériumfüggvényét, ha gyengítő változót is használ!*

'''Mi a szerepe a gyengítő változóknak Szupport Vektor Gépeknél? Adja meg a nemlineáris osztályozási feladat optimalizálandó kritériumfüggvényét, ha gyengítő változót is használ!'''

SVM: A szupport vektor gépek olyan kernel gépek, melyek a statisztikus tanuláselmélet eredményeit is hasznosítják. Alapváltozatuk lineáris szeparálásra képes, amely azonban kiterjeszthető nemlineáris szeparálásra és nemlineáris regressziós feladatokra is.

72. sor:

97. sor:

Margin: Optimális lineáris szeparálásnak azt a megoldást tekintjük, amikor az elválasztó egyenes (sík, hipersík) a két osztályba tartozó tanítópontok között a pontoktól a lehető legnagyobb távolságra helyezkedik el. A pontok között középre elhelyezett szeparáló felületet a tanító pontoktól egy margó (margin), azaz egy biztonsági sáv választja el, ezért az így megoldható feladatokat maximális tartalékot vagy maximális margót biztosító lineárisan szeparálható osztályozási feladatoknak is nevezzük. A lineárisan nem szeparálható osztályozási feladatoknál a margin helyett szoft-margint értelmezünk.

Soft Margin: Ha megengedjük, hogy a biztonsági sávban is legyenek tanítópontok, miközben továbbra is cél a lehető legnagyobb margó biztosítása, ún. lágy vagy szoft margójú megoldásról beszélünk. Azoknál a pontoknál amelyek a biztonsági sávon kívül helyezkednek le a maximális margójú osztályozást biztosító <math> d_{i} (w^{T} x_i + b ) \geq 1 {} </math> egyenlőség áll fenn. Az ilyen mintapontokra vonatkozó, az előző egyenlőtlenségnek megfelelő formális kapcsolat ún. gyengítő <math> \epsilon {} </math> változók bevezetésével lehetséges. A gyengítő változók bevezetése lehetővé teszi, hogy a fenti összefüggés az egyes tanítópontoknál különböző mértékben gyengítve érvényesüljön. Ennek megfelelően az összes pontra most a következő egyenlőtlenség ~~ítható~~ fel:

Soft Margin: Ha megengedjük, hogy a biztonsági sávban is legyenek tanítópontok, miközben továbbra is cél a lehető legnagyobb margó biztosítása, ún. lágy vagy szoft margójú megoldásról beszélünk. Azoknál a pontoknál amelyek a biztonsági sávon kívül helyezkednek le a maximális margójú osztályozást biztosító <math> d_{i} (w^{T} x_i + b ) \geq 1 {} </math> egyenlőség áll fenn. Az ilyen mintapontokra vonatkozó, az előző egyenlőtlenségnek megfelelő formális kapcsolat ún. gyengítő <math> \epsilon {} </math> változók bevezetésével lehetséges. A gyengítő változók bevezetése lehetővé teszi, hogy a fenti összefüggés az egyes tanítópontoknál különböző mértékben gyengítve érvényesüljön. Ennek megfelelően az összes pontra most a következő egyenlőtlenség írható fel:

<math> d_i (w^{T} x_i + b ) \geq 1 - {\epsilon}_i {} </math>

@@ 3. sor: / 3. sor: @@
 ==Összegyűjtött kérdések a Zhig 01==
-Daraboltam, így könyebb a szerkeztése, és a latex-ek is megjelennek.
+Daraboltam, így könnyebb a szerkesztése, és a latex-ek is megjelennek.
@@ 11. sor: / 11. sor: @@
 '''Adja meg az Adaline iteratív tanuló eljárását! Adja meg azokat a feltételeket is, amelyek fennállta esetén az iteratív megoldás konvergens lesz! Adja meg, hogy milyen kritérium függvény alapján fogalmazzuk meg az optimumfeladatot!'''
-*Az Adaline optimális súlyvektorának meghatározására mind az analitius összefüggés, mint az iteratív tanuló eljárás létezik. Adja meg a kétféle meghatározás összefüggését, és azokat, a feltételeket, amelyek fennállta esetén az iteratív megoldás az analitikus eredményéhez tart! Azt is adja meg, hogy milyen kritériumfüggvény alapján fogalmazzuk meg az optimumfeladatot!*
+<math> w(k+1)= w(k)+{\mu}(-\underline{\nabla}(k)) </math>
+A konvergencia feltétele: <math> 0< {\mu}< \frac1{\lambda_{max}} </math>
+<math>{\mu} </math> bátorsági tényező, tanulási faktor, <math>{\lambda_{max}}</math> az autokorrelációs mátrix legnagyobb sajátértéke
+'''Az Adaline optimális súlyvektorának meghatározására mind az analitikus összefüggés, mint az iteratív tanuló eljárás létezik. Adja meg a kétféle meghatározás összefüggését, és azokat, a feltételeket, amelyek fennállta esetén az iteratív megoldás az analitikus eredményéhez tart! Azt is adja meg, hogy milyen kritériumfüggvény alapján fogalmazzuk meg az optimumfeladatot!'''
+Analitikus meghatározás:
+Wiener-Hopf egyenlet
+<math> \underline{w}^{*}= \underline{\underline{R}}^{-1} \cdot \underline{p} </math>
+<math> \underline{\underline{R}} </math> autokorrelációs mátrix
+<math> \\ \underline{p}</math> keresztkorrelációs vektor
+Iteratív megoldás:
+<math> w(k+1)= w(k)+{\mu}(-\underline{\nabla}(k)) </math>
 '''Származtassa az LMS algoritmust és adja meg a konvergencia feltételeit! Mi a sajátérték fizikai jelentése?'''
@@ 29. sor: / 50. sor: @@
 A kritériumfüggvény: <math> C ( w ) = \frac{1}{P} \sum_{i = 1}^{P} \left( d_i - f(w,x_i) \right)^2 </math>
-A lineáris kapcsolat miatt az <math> f(w,x) = w^{T}x </math>. Vagyis az átlagos négyzetes hiba felírható a következő formában is:<math> C(w) = (d - X w)^{T} ( d - X w) {}</math>. Ahol d a tanítópontokbeli kívánt válaszokból épített p elemű oszlopvektor, X a bemeneti vektorokl képzett mátrix, w pedig a keresett paramétervektor. A megoldás itt aztán a <math> d = X w {}</math>, máshogyan <math> w = X^{-1} d {}</math>, valamint pszeudoinverz alkalmazásával <math> w^{*} = X^{\dagger} d = ( X^TX)^{-1} X^T d </math>. Az összefüggés legfontosabb része, hogy ugyaerre a megoldásra jutunk, hogyha kritériumfüggvény (amit az iteratív eljáráshoz alkalmazott kritériumfüggvény átalakítottja, vagyis nem a szummás, hanem amelyik függvény utána van) gradiens nulla értéket biztosító paraméterét határozzuk meg:
+A lineáris kapcsolat miatt az <math> f(w,x) = w^{T}x </math>. Vagyis az átlagos négyzetes hiba felírható a következő formában is:<math> C(w) = (d - X w)^{T} ( d - X w) {}</math>. Ahol d a tanítópontokbeli kívánt válaszokból épített p elemű oszlopvektor, X a bemeneti vektorokból képzett mátrix, w pedig a keresett paramétervektor. A megoldás itt aztán a <math> d = X w {}</math>, máshogyan <math> w = X^{-1} d {}</math>, valamint pszeudoinverz alkalmazásával <math> w^{*} = X^{\dagger} d = ( X^TX)^{-1} X^T d </math>. Az összefüggés legfontosabb része, hogy ugyanerre a megoldásra jutunk, hogyha kritériumfüggvény (amit az iteratív eljáráshoz alkalmazott kritériumfüggvény átalakítottja, vagyis nem a szummás, hanem amelyik függvény utána van) gradiens nulla értéket biztosító paraméterét határozzuk meg:
 <math> \frac{\partial  C ( w ) }{ \partial w } = -2 X^Td + 2 X^TXw = 0 </math>
 Ekkor ezt kapjuk:
@@ 55. sor: / 76. sor: @@
 '''Lehet-e analitikus tanítást alkalmazni az alábbi neurális hálózatoknál, ha az összes tanítópont a rendelkezésünkre áll és négyzetes hibafüggvényt alkalmazunk: lineáris kimeneti rétegekkel rendelkező egyrétegű MLP, RBF, CMAC? Ha igen, adja meg az analitikus összefüggéseket, ha nem indokolja meg, hogy miért nem!'''
-*Egyes bázisfüggvényes hálózatoknál (RBF, CMAC) lehetőség van a súlyvektor(ok) analitikus meghatározására is. Adja meg az analitikus összefüggéseket, és azt is, hogy milyen feltételei vannak az adott összefüggések alapján történő súlymeghatározásnak!*
+'''Egyes bázisfüggvényes hálózatoknál (RBF, CMAC) lehetőség van a súlyvektor(ok) analitikus meghatározására is. Adja meg az analitikus összefüggéseket, és azt is, hogy milyen feltételei vannak az adott összefüggések alapján történő súlymeghatározásnak!'''
 * MLP: nem, a hibafelület nem kvadratikus, a gradiens kvadratikusát felhasználó analitikus megoldás így nem alkalmazható. ''Nem tökéletes, de ér pár pontot''
 * RBF: lehet analitikus tanítást alkalmazni. Összefüggés <math> w^{*} = G^{-1} d = ( G ^{T}G )^{-1} G^{T} d {} </math>. A feltétele, hogy ismernünk kell az összes tanítópontot.
-* CMAC: lehet analitikus tanítás, mert: A CMAC súlyainek meghatározásához a következő egyenletet kell megoldani <math> \underline {\underline A} \underline w = \underline d {} </math>, ahol a w a súlyok oszlopvektora, d a tanítópontokban kívánt kimenetekből álló oszlopvektor. Az A mátrix azt írja le, melyik tanítópont melyik neuronokat aktiválja (vagyis melyik tartományba esik bele). Az i. sor j. elem adja meg, hogy az i. tanítópont j. neuront aktiválja-e, a baloldalon álló szorzat a tanítópontok tényleges aktivációinak oszlopvektora. <math> w^{*} = A^{-1} d = ( A^{T} A) ^{-1} A^{T} d {} </math> valamint <math> y = T w^{*} = T A ^{T} ( A A ^{T})^{-1} d = T A^{T}B d {} </math>. E feltétel ehhez, hogy a tanítópontok egyenletesen, egymástól pontosan egységnyi távolságra helyezkednek el.
+* CMAC: lehet analitikus tanítás, mert: A CMAC súlyainak meghatározásához a következő egyenletet kell megoldani <math> \underline {\underline A} \underline w = \underline d {} </math>, ahol a w a súlyok oszlopvektora, d a tanítópontokban kívánt kimenetekből álló oszlopvektor. Az A mátrix azt írja le, melyik tanítópont melyik neuronokat aktiválja (vagyis melyik tartományba esik bele). Az i. sor j. elem adja meg, hogy az i. tanítópont j. neuront aktiválja-e, a baloldalon álló szorzat a tanítópontok tényleges aktivációinak oszlopvektora. <math> w^{*} = A^{-1} d = ( A^{T} A) ^{-1} A^{T} d {} </math> valamint <math> y = T w^{*} = T A ^{T} ( A A ^{T})^{-1} d = T A^{T}B d {} </math>. A feltétel ehhez, hogy a tanítópontok egyenletesen, egymástól pontosan egységnyi távolságra helyezkednek el.
 '''Mi a szoft margó(margin, tartaléksáv) jelentése, szerepe és a jelentősége az SVM-nél? Hogyan kell értelmezni a margót nemlineáris osztályozási feladatnál?'''
-*Mi a margó(margin, tartaléksáv) szerepe és jelentősége az SVM-nél? Hogyan kell értelmezni a margót a nemlineáris osztályozási feladatnál? Hogyan módosul ez a szerep, ha az SVM származtatásnál gyengítő (slack) változót is használunk?*
+'''Mi a margó(margin, tartaléksáv) szerepe és jelentősége az SVM-nél? Hogyan kell értelmezni a margót a nemlineáris osztályozási feladatnál? Hogyan módosul ez a szerep, ha az SVM származtatásnál gyengítő (slack) változót is használunk?'''
 '''Szupport vektor gépeknél osztályozási feladat esetén mi biztosítja, hogy az elválasztandó osztályok között egy biztonsági sáv alakuljon ki? Adja meg azt a matematikai összefüggést, ami biztosítja a biztonsági sávot. Hogyan biztosítható, hogy a biztonsági sáv maximális értéket vegyen fel? Mit lehet tenni, ha a tanítópontok elhelyezkedése olyan, hogy a két osztály pontjai között nem lehet biztonsági sávot kialakítani?'''
-*Mi a szerepe a gyengítő változóknak Szupport Vektor Gépeknél? Adja meg a nemlineáris osztályozási feladat optimalizálandó kritériumfüggvényét, ha gyengítő változót is használ!*
+'''Mi a szerepe a gyengítő változóknak Szupport Vektor Gépeknél? Adja meg a nemlineáris osztályozási feladat optimalizálandó kritériumfüggvényét, ha gyengítő változót is használ!'''
 SVM: A szupport vektor gépek olyan kernel gépek, melyek a statisztikus tanuláselmélet eredményeit is hasznosítják. Alapváltozatuk lineáris szeparálásra képes, amely azonban kiterjeszthető nemlineáris szeparálásra és nemlineáris regressziós feladatokra is.
@@ 72. sor: / 97. sor: @@
 Margin: Optimális lineáris szeparálásnak azt a megoldást tekintjük, amikor az elválasztó egyenes (sík, hipersík) a két osztályba tartozó tanítópontok között a pontoktól a lehető legnagyobb távolságra helyezkedik el. A pontok között középre elhelyezett szeparáló felületet a tanító pontoktól egy margó (margin), azaz egy biztonsági sáv választja el, ezért az így megoldható feladatokat maximális tartalékot vagy maximális margót biztosító lineárisan szeparálható osztályozási feladatoknak is nevezzük. A lineárisan nem szeparálható osztályozási feladatoknál a margin helyett szoft-margint értelmezünk.
-Soft Margin: Ha megengedjük, hogy a biztonsági sávban is legyenek tanítópontok, miközben továbbra is cél a lehető legnagyobb margó biztosítása, ún. lágy vagy szoft margójú megoldásról beszélünk. Azoknál a pontoknál amelyek a biztonsági sávon kívül helyezkednek le a maximális margójú osztályozást biztosító  <math>  d_{i} (w^{T} x_i + b ) \geq 1 {} </math> egyenlőség áll fenn. Az ilyen mintapontokra vonatkozó, az előző egyenlőtlenségnek megfelelő formális kapcsolat ún. gyengítő <math> \epsilon {} </math> változók bevezetésével lehetséges. A gyengítő változók bevezetése lehetővé teszi, hogy a fenti összefüggés az egyes tanítópontoknál különböző mértékben gyengítve érvényesüljön. Ennek megfelelően az összes pontra most a következő egyenlőtlenség ítható fel:
+Soft Margin: Ha megengedjük, hogy a biztonsági sávban is legyenek tanítópontok, miközben továbbra is cél a lehető legnagyobb margó biztosítása, ún. lágy vagy szoft margójú megoldásról beszélünk. Azoknál a pontoknál amelyek a biztonsági sávon kívül helyezkednek le a maximális margójú osztályozást biztosító  <math>  d_{i} (w^{T} x_i + b ) \geq 1 {} </math> egyenlőség áll fenn. Az ilyen mintapontokra vonatkozó, az előző egyenlőtlenségnek megfelelő formális kapcsolat ún. gyengítő <math> \epsilon {} </math> változók bevezetésével lehetséges. A gyengítő változók bevezetése lehetővé teszi, hogy a fenti összefüggés az egyes tanítópontoknál különböző mértékben gyengítve érvényesüljön. Ennek megfelelően az összes pontra most a következő egyenlőtlenség írható fel:
 <math> d_i (w^{T} x_i + b ) \geq 1  - {\epsilon}_i {} </math>