KoopKerdesekZHOssz04 - Laptörténet

Sweidán Omár: Hibás képlet javítása

2016-06-13T10:29:51Z

Hibás képlet javítása

← Régebbi változat		A lap 2016. június 13., 12:29-kori változata
39. sor:		39. sor:
	* A momentum módszer olyan heurisztikus eljárás, ahol az egyes lépésekben a súlymódosítás meghatározása két részből áll. Először a gradiens módszernek megfelelően meghatározunk egy súly módosító értéket, azonban nem ezzel végezzük el a korrekciót, hanem még figyelembe vesszük az előző módosítás hatását is. A súlymódosítás ennek megfelelően:		* A momentum módszer olyan heurisztikus eljárás, ahol az egyes lépésekben a súlymódosítás meghatározása két részből áll. Először a gradiens módszernek megfelelően meghatározunk egy súly módosító értéket, azonban nem ezzel végezzük el a korrekciót, hanem még figyelembe vesszük az előző módosítás hatását is. A súlymódosítás ennek megfelelően:

	<math> \~~delta~~ w ( k + 1 ) = \mu ( - {\~~triangledown~~} ( k ) ) + \eta \~~delta~~ w ( {k} ) </math>		<math> \Delta w ( k + 1 ) = \mu ( - {\nabla} ( k ) ) + \eta \Delta w ( {k} ) </math>

	ahol <math> {\eta}_{} </math> az ún. momentum együttható, amelynek értéke 0 és 1 közötti kell legyen (gyakori választás a 0.8 körüli érték).		ahol <math> {\eta}_{} </math> az ún. momentum együttható, amelynek értéke 0 és 1 közötti kell legyen (gyakori választás a 0.8 körüli érték).

Sweidán Omár, 2016. április 11., 21:07-n

2016-04-11T21:07:11Z

← Régebbi változat		A lap 2016. április 11., 23:07-kori változata
41. sor:		41. sor:
	<math> \delta w ( k + 1 ) = \mu ( - {\triangledown} ( k ) ) + \eta \delta w ( {k} ) </math>		<math> \delta w ( k + 1 ) = \mu ( - {\triangledown} ( k ) ) + \eta \delta w ( {k} ) </math>

	ahol <math> {\eta}_{} </math> az ún. momentum együttható, amelynek értéke 0 és 1 közötti kell ~~legye~~ (gyakori választás a 0.8 körüli érték).		ahol <math> {\eta}_{} </math> az ún. momentum együttható, amelynek értéke 0 és 1 közötti kell legyen (gyakori választás a 0.8 körüli érték).
	* A momentum módszer különösen kedvező, ha a hibafelületen keskeny völgy húzódik végig, és a momentumtag nélkül a megoldás felé ezen völgy környezetében túl sok iteráció megtételével haladnánk, és MLP-nél alkalmazható. A módszer alkalmazásával lényegében azonos hibahatár elérése kevesebb számítással, kevesebb idő alatt.		* A momentum módszer különösen kedvező, ha a hibafelületen keskeny völgy húzódik végig, és a momentumtag nélkül a megoldás felé ezen völgy környezetében túl sok iteráció megtételével haladnánk, és MLP-nél alkalmazható. A módszer alkalmazásával lényegében azonos hibahatár elérése kevesebb számítással, kevesebb idő alatt.

Trombitás Péter, 2015. június 9., 00:27-n

2015-06-09T00:27:46Z

← Régebbi változat		A lap 2015. június 9., 02:27-kori változata
15. sor:		15. sor:
	'''Rosenblatt perceptronokból lehet-e MLP-t építeni, ha igen, hogyan, ha nem, miért nem?'''		'''Rosenblatt perceptronokból lehet-e MLP-t építeni, ha igen, hogyan, ha nem, miért nem?'''

	* A szignum függvény nem deriválható, de ha lecseréljük szigmoidra, akkor máris deriválható, így ~~hazsnálható~~ a Back-Propagation, vagyis akkor építhető belőle MLP.		* A szignum függvény nem deriválható, de ha lecseréljük szigmoidra, akkor máris deriválható, így használható a Back-Propagation, vagyis akkor építhető belőle MLP.

	'''R = ((0.5 0) (0 0.2)) esetén az LMS eljárás konvergens-e? Vázlatosan rajzolja fel a kritériumfelület szintvonalait!'''		'''R = ((0.5 0) (0 0.2)) esetén az LMS eljárás konvergens-e? Vázlatosan rajzolja fel a kritériumfelület szintvonalait!'''

Adaniel, 2013. június 6., 13:09-n

2013-06-06T13:09:30Z

← Régebbi változat		A lap 2013. június 6., 15:09-kori változata
2. sor:		2. sor:

	'''perceptron tanítás 3 tényezővel: alfa1=10; alfa2=0.1; alfa3=-3; melyiket választaná? És Adaline esetében? Ha egyik sem helyes javasoljon új tényezőt, és indokolja is meg!'''		'''perceptron tanítás 3 tényezővel: alfa1=10; alfa2=0.1; alfa3=-3; melyiket választaná? És Adaline esetében? Ha egyik sem helyes javasoljon új tényezőt, és indokolja is meg!'''

			__TODO__

	'''Egy RBF-nél súlyok helyett FIR szűrők vannak, adja meg 1 FIR szűrő együtthatóinak módosító összefüggését!'''		'''Egy RBF-nél súlyok helyett FIR szűrők vannak, adja meg 1 FIR szűrő együtthatóinak módosító összefüggését!'''

			__TODO__

	'''Implikációt meg lehet-e tanítani perceptronnak, adaline-nak?'''		'''Implikációt meg lehet-e tanítani perceptronnak, adaline-nak?'''
14. sor:		18. sor:

	'''R = ((0.5 0) (0 0.2)) esetén az LMS eljárás konvergens-e? Vázlatosan rajzolja fel a kritériumfelület szintvonalait!'''		'''R = ((0.5 0) (0 0.2)) esetén az LMS eljárás konvergens-e? Vázlatosan rajzolja fel a kritériumfelület szintvonalait!'''

			__TODO__

	'''Milyen modellosztályok esetén használható fokszámbecslése a Lipschitz index? Lipschitz index definíciója (Lq^(N) = ...) meg volt adva - értelmezze, magyarázza meg az egyes betűk jelentését!'''		'''Milyen modellosztályok esetén használható fokszámbecslése a Lipschitz index? Lipschitz index definíciója (Lq^(N) = ...) meg volt adva - értelmezze, magyarázza meg az egyes betűk jelentését!'''

			A Lipschitz index a mesterséges neurális hálók különböző dinamikus modellosztályainak fokszámának becslésére használandó. Az NFIR és az NARX modellosztályok esetén lehet használni. Ez egy heurisztikus eljárás, ahol figyelembe kell venni a Lipschitz hányadost és a regresszorvektor dimenzióját és egy alkalmasan megválasztott pozitív egész számot, amely a tanítópontok számának valamilyen lineáris kombinációja. A hányadosok közül a szummázási folyamatban fokozatosan növekvő számút kell figyelembe venni.

			<math> Lq^{(N)}=(\Pi_{k=1}^{p}\sqrt{N} q^{(N)}(k))^{1/p} </math>

			ahol <math> q^{(N)}(k) </math> a

			<math> q^{(N)}_{ij} = \frac {\|y(i)-y(j)\|} {\|x(i)-x(j)\|}</math> ahol <math> i\neq j; i,j=1,2, …,P</math>

			Lipschitz hányadosok közül a k-adik legnagyobb érték, N a bemeneti változók száma (a regresszorvektor dimenziója), p pedig egy alkalmasan megválasztott pozitív szám, rendszerint p = 0,01P ~ 0,02P. (P a szokásos jelölésnek megfelelően a tanítópontok száma).

	'''Mi a momentum eljárás és milyen esetben alkalmazható sikerrel?'''		'''Mi a momentum eljárás és milyen esetben alkalmazható sikerrel?'''

			'''Mi a momentum módszer, milyen célból alkalmazzák, és mely hálótípusoknál alkalmazható? Minden ismert hálótípusra adja meg és indokolja is meg a választ!'''

	* A momentum módszer olyan heurisztikus eljárás, ahol az egyes lépésekben a súlymódosítás meghatározása két részből áll. Először a gradiens módszernek megfelelően meghatározunk egy súly módosító értéket, azonban nem ezzel végezzük el a korrekciót, hanem még figyelembe vesszük az előző módosítás hatását is. A súlymódosítás ennek megfelelően:		* A momentum módszer olyan heurisztikus eljárás, ahol az egyes lépésekben a súlymódosítás meghatározása két részből áll. Először a gradiens módszernek megfelelően meghatározunk egy súly módosító értéket, azonban nem ezzel végezzük el a korrekciót, hanem még figyelembe vesszük az előző módosítás hatását is. A súlymódosítás ennek megfelelően:
25. sor:		43. sor:
	ahol <math> {\eta}_{} </math> az ún. momentum együttható, amelynek értéke 0 és 1 közötti kell legye (gyakori választás a 0.8 körüli érték).		ahol <math> {\eta}_{} </math> az ún. momentum együttható, amelynek értéke 0 és 1 közötti kell legye (gyakori választás a 0.8 körüli érték).
	* A momentum módszer különösen kedvező, ha a hibafelületen keskeny völgy húzódik végig, és a momentumtag nélkül a megoldás felé ezen völgy környezetében túl sok iteráció megtételével haladnánk, és MLP-nél alkalmazható. A módszer alkalmazásával lényegében azonos hibahatár elérése kevesebb számítással, kevesebb idő alatt.		* A momentum módszer különösen kedvező, ha a hibafelületen keskeny völgy húzódik végig, és a momentumtag nélkül a megoldás felé ezen völgy környezetében túl sok iteráció megtételével haladnánk, és MLP-nél alkalmazható. A módszer alkalmazásával lényegében azonos hibahatár elérése kevesebb számítással, kevesebb idő alatt.

	~~'''Mi a momentum módszer, milyen célból alkalmazzák, és mely hálótípusoknál alkalmazható? Minden ismert hálótípusra adja meg és indokolja is meg a választ!'''~~

	'''Van egy MLP hálózatunk. A nagy (vastag szaggatott) nyíllal bejelölt súly módosító összefüggéseit határozza meg, ha backprop eljárást alkalmaz.'''		'''Van egy MLP hálózatunk. A nagy (vastag szaggatott) nyíllal bejelölt súly módosító összefüggéseit határozza meg, ha backprop eljárást alkalmaz.'''
41. sor:		57. sor:
	* A másodikra használnék SVM-et, mivel a kevés pont, sok dimenzió miatt elég valószínű, hogy meg tudja találni a nemlineáris elválasztó-egyenest, amivel az operál (állítólag). Hogy az elsőre használnék-e SVM-et.. talán a sok tanítópont miatt a kernelmátrix (ami kell a QP-hoz) nagyon nagy lenne, akkor már inkább az MLP.		* A másodikra használnék SVM-et, mivel a kevés pont, sok dimenzió miatt elég valószínű, hogy meg tudja találni a nemlineáris elválasztó-egyenest, amivel az operál (állítólag). Hogy az elsőre használnék-e SVM-et.. talán a sok tanítópont miatt a kernelmátrix (ami kell a QP-hoz) nagyon nagy lenne, akkor már inkább az MLP.

	'''Adja meg röviden a [[BackPropagation]] Through Time (BPTT) eljárás működését! Milyen hálónál alkalmazható, és mik az előnyei, illetve hátrányai az eljárásnak?'''		'''Adja meg röviden a BackPropagation Through Time (BPTT) eljárás működését! Milyen hálónál alkalmazható, és mik az előnyei, illetve hátrányai az eljárásnak?'''

			Olyan neurális hálózatokra melyek rekurrensek a back propagation algoritmusnak létezik kiterjesztése, mely az időbeli back propagation nevet viseli. Az algoritmus során a hálózatot egy előrecsatolt hálózatba transzformáljuk, olyan formában, hogy a hálózat egy adott időbeli állapota az új hálózat egy rétege lesz. Az előrecsatolt hálózatban csak a rétegek között vannak kapcsolatok, a rétegen belül nincsenek, ezért az eredeti hálózat felépítését úgy transzformáljuk, hogy a neuronok közötti kapcsolatok a következő réteg megfelelő neuronjához tartoznak. Például ha az i-ik neuron a j-ik neuronhoz wi,j súllyal van kapcsolva, akkor minden n-re az n-ik réteg i-ik neuronja az n + 1 –ik réteg j-ik neuronjához wi,j súllyal fog kapcsolódni. Ezeket mutatja a 8.6. ábra. http://mialmanach.mit.bme.hu/neuralis/ch08s04

	'''Mutassa meg, hogy az EXOR probléma megoldható egy olyan RBF hálózattal, melynek két Gauss rejtett neuronja van, ahol a bázisfüggvények középpontjai [0 0] és [1 1]''' <br />		'''Mutassa meg, hogy az EXOR probléma megoldható egy olyan RBF hálózattal, melynek két Gauss rejtett neuronja van, ahol a bázisfüggvények középpontjai [0 0] és [1 1]''' <br />
	Könyvből:<br/>		Könyvből:<br/>
	~~{{InLineImageLink\|Infoszak\|KoopKerdesekZHOssz04\|ktr_xor.png}}<br />~~
	http://www.mit.bme.hu/books/neuralis/ch05s01 (5.1.4)		http://www.mit.bme.hu/books/neuralis/ch05s01 (5.1.4)

52. sor:		69. sor:
	Súlyok kezdeti értéke: úgy kell indítani, hogy minden neuron a meredek részben legyen		Súlyok kezdeti értéke: úgy kell indítani, hogy minden neuron a meredek részben legyen

	-- [[RynkiewiczAdam\|Tsiga]] - 2012.05.16.		-- [[RynkiewiczAdam\|Tsiga]] - 2012.05.16.<br/>
	-- [[BartokFerenc\|Főnök]] - 2012.06.03.		-- [[BartokFerenc\|Főnök]] - 2012.06.03.<br/>
			--asztalosdani 2013. június 6., 13:09 (UTC)


	[[Category:Infoszak]]		[[Category:Infoszak]]

Unknown user: Új oldal, tartalma: „{{GlobalTemplate|Infoszak|KoopKerdesekZHOssz04}} '''perceptron tanítás 3 tényezővel: alfa1=10; alfa2=0.1; alfa3=-3; melyiket választaná? És Adaline esetében? H…”

2012-10-21T20:41:18Z

Új oldal, tartalma: „{{GlobalTemplate|Infoszak|KoopKerdesekZHOssz04}} '''perceptron tanítás 3 tényezővel: alfa1=10; alfa2=0.1; alfa3=-3; melyiket választaná? És Adaline esetében? H…”

Új lap

{{GlobalTemplate|Infoszak|KoopKerdesekZHOssz04}}

'''perceptron tanítás 3 tényezővel: alfa1=10; alfa2=0.1; alfa3=-3; melyiket választaná? És Adaline esetében? Ha egyik sem helyes javasoljon új tényezőt, és indokolja is meg!'''

'''Egy RBF-nél súlyok helyett FIR szűrők vannak, adja meg 1 FIR szűrő együtthatóinak módosító összefüggését!'''

'''Implikációt meg lehet-e tanítani perceptronnak, adaline-nak?'''

* Megoldás van a docxben, csak át kell másolni

'''Rosenblatt perceptronokból lehet-e MLP-t építeni, ha igen, hogyan, ha nem, miért nem?'''

* A szignum függvény nem deriválható, de ha lecseréljük szigmoidra, akkor máris deriválható, így hazsnálható a Back-Propagation, vagyis akkor építhető belőle MLP.

'''R = ((0.5 0) (0 0.2)) esetén az LMS eljárás konvergens-e? Vázlatosan rajzolja fel a kritériumfelület szintvonalait!'''

'''Milyen modellosztályok esetén használható fokszámbecslése a Lipschitz index? Lipschitz index definíciója (Lq^(N) = ...) meg volt adva - értelmezze, magyarázza meg az egyes betűk jelentését!'''

'''Mi a momentum eljárás és milyen esetben alkalmazható sikerrel?'''

* A momentum módszer olyan heurisztikus eljárás, ahol az egyes lépésekben a súlymódosítás meghatározása két részből áll. Először a gradiens módszernek megfelelően meghatározunk egy súly módosító értéket, azonban nem ezzel végezzük el a korrekciót, hanem még figyelembe vesszük az előző módosítás hatását is. A súlymódosítás ennek megfelelően:

<math> \delta w ( k + 1 ) = \mu ( - {\triangledown} ( k ) ) + \eta \delta w ( {k} ) </math>

ahol <math> {\eta}_{} </math> az ún. momentum együttható, amelynek értéke 0 és 1 közötti kell legye (gyakori választás a 0.8 körüli érték).
* A momentum módszer különösen kedvező, ha a hibafelületen keskeny völgy húzódik végig, és a momentumtag nélkül a megoldás felé ezen völgy környezetében túl sok iteráció megtételével haladnánk, és MLP-nél alkalmazható. A módszer alkalmazásával lényegében azonos hibahatár elérése kevesebb számítással, kevesebb idő alatt.

'''Mi a momentum módszer, milyen célból alkalmazzák, és mely hálótípusoknál alkalmazható? Minden ismert hálótípusra adja meg és indokolja is meg a választ!'''

'''Van egy MLP hálózatunk. A nagy (vastag szaggatott) nyíllal bejelölt súly módosító összefüggéseit határozza meg, ha backprop eljárást alkalmaz.'''

* Ehhez sincs kép...

'''Oszályozási feladatra akarunk LS Szupport Vektor Gépet használni. Fogalmazza meg a kritériumfüggvényt és a Lagrange egyenletet. Milyen alapgondolatot használ az eljárás, hogy a Lagrange egyenletből a másodlagos egyenlethez eljussunk? Mi lesz a másodlagos egyenlet?'''

* Szkennelt megoldás a docxben

'''Van 10000 50 dimenziós adata, illetve 100 10000 dimenziós adata, melyekkel tanuló hálót akar konstruálni. Két lehetőség közül választhat: MLP-t vagy SVM-et alkalmaz. Az adott esetekben milyen szempontokat venne figyelembe, és mit választana? Részletesen indokolja meg a választást.'''

* Az első esetre MLP-t használnék, mert sok a tanító pont a dimenziókhoz képset is (bár nem tudom 50 dimenzióhoz mi számít soknak igazán), jól meg lehet tanítani a hálót meg minősíteni is. A másodikra MLP-t nem alkalmaznék, mert nagyon kevés a pont a dimenziószámhoz képest, és szinte biztos a túl/sehogysem tanulás.
* A másodikra használnék SVM-et, mivel a kevés pont, sok dimenzió miatt elég valószínű, hogy meg tudja találni a nemlineáris elválasztó-egyenest, amivel az operál (állítólag). Hogy az elsőre használnék-e SVM-et.. talán a sok tanítópont miatt a kernelmátrix (ami kell a QP-hoz) nagyon nagy lenne, akkor már inkább az MLP.

'''Adja meg röviden a [[BackPropagation]] Through Time (BPTT) eljárás működését! Milyen hálónál alkalmazható, és mik az előnyei, illetve hátrányai az eljárásnak?'''

'''Mutassa meg, hogy az EXOR probléma megoldható egy olyan RBF hálózattal, melynek két Gauss rejtett neuronja van, ahol a bázisfüggvények középpontjai [0 0] és [1 1]''' <br />
Könyvből:<br/>
{{InLineImageLink|Infoszak|KoopKerdesekZHOssz04|ktr_xor.png}}<br />
http://www.mit.bme.hu/books/neuralis/ch05s01 (5.1.4)

'''Batch-tanítás'''
* Minden pontra kiszámoljuk a szükséges módosításokat, de nem hajtjuk végre, majd átlagoljuk a módosításokat és egy lépésben hajtjuk végre a végén.->lokális minimumok lesznek->pontonkénti tanulásnál direkt zajt adunk hozzá ezek elkerülésére.
Súlyok kezdeti értéke: úgy kell indítani, hogy minden neuron a meredek részben legyen

-- [[RynkiewiczAdam|Tsiga]] - 2012.05.16.
-- [[BartokFerenc|Főnök]] - 2012.06.03.

[[Category:Infoszak]]