VIK Wiki - Felhasználó közreműködései [hu]

Számítógépes látórendszerek - Ellenőrző kérdések: 3D rekonstrukció

2015-04-15T21:56:43Z

Wittmann Ádám: /* Mi(k) a metrikus rekonstrukció lehetségességének feltétele(i)? Mi a rekonstrukció bizonytalansága, ha ezek csak részben vagy egyáltalán nem teljesülnek? */

{{Vissza|Számítógépes látórendszerek}}

==Adja meg és röviden ismertesse a 3D rekonstrukció lépéseit!==

*Kalibráció
*Rektifikáció
*Elmozdulás (diszparitás) meghatározása
*Visszavetítés 3D térbe (projekció/háromszögelés)

==Mi a rektifikáció? Mi a jelentősége?==

Megfeleltetések keresése a két képen nehéz. Egyszerűsítés: Torzítsuk el úgy a képeket, hogy köztük csak az egyik (általában az x) irányban legyen elmozdulás. Az epipoláris egyenesek mind vízszintesek lesznek
Csak az egyik irányban kell megfeleltetéseket keresni! Torzítatlan eset: Lineáris transzformáció.Torzítás esetén először azt kell eltüntetni. Torzítás térkép: Torzítás paraméterei alapján pixel
szinten megadott transzformáció.

==Mi a diszparitás? Ismertesse a diszparitás képzésének lehetséges módszereit!==

Az adott pixel és a másik képen megtalált párja közötti x irányú távolság. Nem rektifikált képen hibás lesz! 
A vízszintes irány mentén minden pixelhez/kulcsponthoz megpróbálunk párt keresni a másik képen → Diszparitás kép

Módszerek:

*Pixel szintű
**Block Matching
**Optical flow
**Belief Propagation
*Képjellemező alapú
**SIFT, egyéb algoritmusok

==Hogyan lehet egy pont 3D koordinátáit megkapni, amennyiben a kamerák paraméterei, valamint a pont képei ismertek?==
==Mi(k) a metrikus rekonstrukció lehetségességének feltétele(i)? Mi a rekonstrukció bizonytalansága, ha ezek csak részben vagy egyáltalán nem teljesülnek?==

Metrikus rekonstrukció: a 3D pontok helyzete egy előre rögzített koordináta-rendszerben megadhatóak. Ennek feltétele, hogy a külső ([R t]) és belső (A - kamera mátrix) paraméterek is ismertek legyenek a kép készítésénél. 
Amennyiben a külső paraméterek nem ismertek, akkor a rekonstrukció csak egy skálafaktor erejéig egyértelmű. 
Ha sem a külső, sem a belső paraméterek nem ismertek, akkor csak egy ismeretlen projektív transzformáció erejéig egyértelmű a rekonstrukció.

Számítógépes látórendszerek - Ellenőrző kérdések: 3D rekonstrukció

2015-04-15T21:55:43Z

Wittmann Ádám: /* Mi(k) a metrikus rekonstrukció lehetségességének feltétele(i)? Mi a rekonstrukció bizonytalansága, ha ezek csak részben vagy egyáltalán nem teljesülnek? */

{{Vissza|Számítógépes látórendszerek}}

==Adja meg és röviden ismertesse a 3D rekonstrukció lépéseit!==

*Kalibráció
*Rektifikáció
*Elmozdulás (diszparitás) meghatározása
*Visszavetítés 3D térbe (projekció/háromszögelés)

==Mi a rektifikáció? Mi a jelentősége?==

Megfeleltetések keresése a két képen nehéz. Egyszerűsítés: Torzítsuk el úgy a képeket, hogy köztük csak az egyik (általában az x) irányban legyen elmozdulás. Az epipoláris egyenesek mind vízszintesek lesznek
Csak az egyik irányban kell megfeleltetéseket keresni! Torzítatlan eset: Lineáris transzformáció.Torzítás esetén először azt kell eltüntetni. Torzítás térkép: Torzítás paraméterei alapján pixel
szinten megadott transzformáció.

==Mi a diszparitás? Ismertesse a diszparitás képzésének lehetséges módszereit!==

Az adott pixel és a másik képen megtalált párja közötti x irányú távolság. Nem rektifikált képen hibás lesz! 
A vízszintes irány mentén minden pixelhez/kulcsponthoz megpróbálunk párt keresni a másik képen → Diszparitás kép

Módszerek:

*Pixel szintű
**Block Matching
**Optical flow
**Belief Propagation
*Képjellemező alapú
**SIFT, egyéb algoritmusok

==Hogyan lehet egy pont 3D koordinátáit megkapni, amennyiben a kamerák paraméterei, valamint a pont képei ismertek?==
==Mi(k) a metrikus rekonstrukció lehetségességének feltétele(i)? Mi a rekonstrukció bizonytalansága, ha ezek csak részben vagy egyáltalán nem teljesülnek?==

Metrikus rekonstrukció: a 3D pontok helyzete egy előre rögzített koordináta-rendszerben megadhatóak. Ennek feltétele, hogy a külső ([R t]) és belső (A - kamera mátrix) paraméterek is ismertek legyenek a kép készítésénél.
Amennyiben a külső paraméterek nem ismertek, akkor a rekonstrukció csak egy skálafaktor erejéig egyértelmű.
Ha sem a külső, sem a belső paraméterek nem ismertek, akkor csak egy ismeretlen projektív transzformáció erejéig egyértelmű a rekonstrukció.

Számítógépes látórendszerek - Ellenőrző kérdések: 3D rekonstrukció

2015-04-15T20:18:16Z

Wittmann Ádám: /* Mi(k) a metrikus rekonstrukció lehetségességének feltétele(i)? Mi a rekonstrukció */

Számítógépes látórendszerek - Ellenőrző kérdések: Javítás képtartományban

2015-04-15T14:54:54Z

Wittmann Ádám: /* Konvolúciós kernel mérete */

{{Vissza|Számítógépes látórendszerek}}

== Mit jelent a hisztogram? Ismertesse a hisztogramtranszformáció működését és felhasználási lehetőségeit. ==
=== Hisztogram ===
A kép hisztogramja a fényességértékek vagy az egyes színcsatornákon felvett értékeinek eloszlását (sűrűségfüggvényét) mutatja. A lehetséges színértékek tengelyére az egyes színértékek gyakoriságát viszik fel. Minél magasabb ez, annál többször fordul elő az adott színérték a képen.

A digitális képfeldolgozásban a hisztogram a kép színértékeiről vagy szürkeségi fokozatáról készül. Ez alapján adatok nyerhetők az előforduló színekről, kontrasztokról és fényességekről. Egy színes képről több hisztogram is készíthető az egyes színcsatornák, vagy az összes szín szerint. Mivel a legtöbb eljárás a fekete-fehér képeket támogatja, ezért inkább az egyes színcsatornák hisztogramját használják, ami lehetővé teszi a kép feldolgozásának azonnali folytatását. A színcsatornák száma az alapszínek számától függ: RGB estén három, CMYK esetén négy.

=== Működés, felhasználás ===
A digitális fényképészet gyakran használ hisztogramot. A jól felszerelt digitális fényképezőgépek valós időben mutatnak hisztogramokat, hogy így segítsék a képi egyensúly megtalálását. Ez pontosabb képszerkesztést tesz lehetővé, mint ami a kamerakép alapján tehetséges lehetne. Felismerhetők és javíthatók például a világítás hibái, ha a kép túl sötét vagy túl világos lenne. A kép későbbi feldolgozásában sokat számítanak a rajta levő kontrasztok és a fényességek, ezért érdemes a hisztogramokat figyelni.

A hisztogramok egy klasszikus felhasználása a színegyensúly beállítása (equalizing). A hisztogramot és a megfelelő színeket egy alkalmas függvénnyel transzformálják. Jobban kiegyensúlyozza a színeket, mint a kontrasztok erősítése. 
[http://hu.wikipedia.org/wiki/Hisztogram Forrás]

== Milyen fontosabb zajok jellemezhetik a képeket? Sorolja fel a lehetséges eljárásokat ezek eltüntetésére? Ismertesse a konvolúciós ablakkal történő képjavítás módszerét. ==

===Zajok===
'''Gauss zaj:''' Az erősítő képzaja. Gyenge megvilágítás, magas hőmérséklet és a fényképező elektronikája által okozott zaj. 
'''Só-bors zaj:''' A kép fekete és fehér pixelekkel van "megszórva". A/D konverziós, átviteli hibák okozzák.

[[Számítógépes_látórendszerek_-_Ellenőrző_kérdések:_Számítógépes_látás_alapok#Digitális_zaj|Digitális zaj típusok jellemzése]]

===Eljárások a zajok eltüntetésére===

*Egyszerű átlagolás
*Konvolúció
*Gauss szűrés
*Simító szűrők
*Élesítő szűrők
*Rank szűrők
*Median

===Konvolúciós ablak===

A kép adott pixelét a környezetében lévő pixelek függvényében módosítjuk. Pixelről pixelre haladunk. 
Az ablak (kernel, maszk) egy mátrix, elemei a súlyok. Lineáris esetben minden pixelt a környezetének lineáris kombinációjával helyettesítjük. 
A lineáris kombinációval történő leírást konvolúciós kernelnek nevezzük.

A képjavítás menete: 
#Az input minden pixelére egy ablakot/kernelt helyezünk úgy, hogy annak origója az adott pixelre essen. 
#Az input kép kernelében lévő pixeleit megszorozzuk a kernelben szereplő súlyokkal. 
#Az eredmény: az input helyzetének megfelelő pixel értéke a súlyozott értékek összege(esetleg skálázva).

== Hogyan tudunk simító szűrőt készíteni? Hogyan hat a képre a konvolúciós kernel mérete és a kernelen belüli értékek elrendezése? Milyen előnyei vannak az alábbi kernelnek: [ 1 2 1 ; 2 4 2 ; 1 2 1 ]? Ismertesse a Gauss szűrő lényegét. ==

===Simító szűrő===

Simítás lényege, hogy a képpontok közelebb kerülnek környezetük átlagához, azaz a kép „simább” lesz,
Vesszük a sima átlagoló szűrő kernelét, de különböző súlyozásokat használunk. A kernel elemei pozitívak.

===Konvolúciós kernel mérete===

Minél nagyobb a kernel, az apróbb dolgok annál inkább eltűnnek, elmosódnak.

===[ 1 2 1 ; 2 4 2 ; 1 2 1 ] kernel előnyei===

FPGA-ban nagyon könnyű megvalósítani.(16-tal kell osztani nem 9-el.)

===Gauss szűrő===

Kernelméret 3σ. Kernel: [1 4 1; 4 16 4 ; 1 4 1]. Egyenlő súly helyett érdemesebb a közelebbi pixeleket nagyobb súllyal számolni. 
A Gauss szűrő simító jellegű.Szépen elkeni a képet, viszont nem túl gyors. Algoritmusokban van szerepe, pl. a Canny-féle éldetektorban használjuk.

== Hogyan működnek az élesítő szűrők? Miben különbözik egy élesítő és egy élkereső szűrő? Milyen változtatást hajt végre a képen az alábbi szűrő: [ -2 -1 0 ; -1 1 1 ; 0 1 2 ]? ==

===Élesítő szűrők===

Kiemeli a környezeti átlagtól való eltérést (azaz az éleket). A kernelben vannak pozitív és negatív súlyok is. Minél nagyobb a középső érték annál inkább hasonlít az eredeti képre az új. Hátrány: a zajokat is kiemeli.

===Élesítő vs élkereső szűrő===

Élkereső szűrő esetén a kernel súlyainak összege nulla, míg élesítőnél nem. A nullával nem osztunk, hanem eltoljuk egy félszürkeárnyalattal.

===[ -2 -1 0 ; -1 1 1 ; 0 1 2 ] szűrő===

Ez térbeli kiemelésre használatos. Gyakorlatilag azonban ez is élkiemelés. Csak önmagában, mint élesítés nem használják.

== Milyen rank-szűrőket ismerünk, ismertesse ezek használatát. Milyen előnyei vannak a median szűrőnek. Hogyan hat a szűrésre a kernelméret és a kernel többszörös végrehajtása? ==

===Rank-szűrők===

A korábbi szűrési eljárások a a zajhatásokat csak szétosztották(szétkenték), ezzel szemben a Rank-szűrők szinte teljesen képesek megszabadítani a képet ezektől a pontszerű hibáktól. 
Működési elv: Vesszük minden pixel meghatározott környezetét. A pixel és a környezet intenzitásértékeit nagyság szerinti növekvő sorrendbe állítjuk. E sorból vegyük az n-edik elemet; ez lesz a pixel új világosságértéke. Ha n=1, akkor mindig a minimális értéket választottuk, ha n=k, akkor mindig a k-adikat. Median szűrésről akkor beszélünk, ha n=k/2, vagyis a sorba rendezett világosságértékek közül éppen a középsőt választjuk. A vizsgált pixelkörnyezet mérete, alakja sokféleképpen választható.

*k-adik szomszéd
*Minimum szűrő
*Maximum szűrő
*Median szűrő

===Medain szűrő előnyei===

Előnye, hogy a finom dolgok finomak maradnak, viszont a tüskék eltűnnek. Vagy másképpen: ez a szűrés a kiugró zajcsúcsokat teljesen eltünteti és nem csak elkeni, mint a lineáris szűrés.

===Kernelméret, kernel többszörös végrehajtása===

Általában 3x3,5x5 -ös kernelméreteket használnak, de van 7x7-es is, de ez valósidőben brutális.
A median-t például sokszor egymás után végrehajtják, így teljesen eltűnnek a zajcsúcsok.

== Ismertesse az élkeresés alapvető módszereit: DoG, első és második deriváltak, Canny, Frei & Chen (a konkrét kernelek nem szükségesek). Hogyan lehet az élkeresés eredményén javítani ha több-féle eljárásra is lehetőségünk nyílik (pl. Sobel)? Hogyan hat a kernelméret az élkeresésre? ==
== Milyen jellegű geometriai torzítások terhelhetik a képet? Ismertesse a perspektív illetve a radiális és tangenciális torzítás hatását és kezelésének módját. Hogyan tudjuk visszaállítani az eredeti arányokat egy ferde kamerával követett síkbeli képen? ==
== Milyen interpolációs technikákat ismer? Ismertesse a legközelebbi szomszéd, a bilineáris és a biköbös interpolációs technikák alapelvét (képletek nem szükségesek). ==
Ebben az értelemben az adott mennyiségű képpontból nagyobb felbontású, több képpontot tartalmazó képet állítunk elő. Motiválhatja például a [http://en.wikipedia.org/wiki/Image_scaling kép nagyítás]ának igénye.

* '''[http://en.wikipedia.org/wiki/Nearest-neighbor_interpolation Legközelebbi szomszéd]''': A nagyított kép egyes pixeleinek értékeit az alapján határozzuk meg, hogy melyik eredeti pixelhez vannak legközelebb, azzal tesszük őket egyenlővé. ''Pixeles'' képet eredményez.
* '''[http://en.wikipedia.org/wiki/Bilinear_interpolation Bilineáris]''': Az új pixelek értékét mindkét irányban lineárisan interpoláljuk (név innen), azaz egyenest illesztünk a két közeli eredeti pixel érték közé, és a keresett érték az egyenes pixelnek megfelelő helyén felvett értéke lesz. Az egyenesillesztést tehát a legközelebbi 4 pixel alapján hajtjuk végre. Furcsa ''artifact''-okat tud okozni, viszont nagyon gyors.
* '''[http://en.wikipedia.org/wiki/Bicubic_interpolation Biköbös (bicubic)]''': Lassabb a bilineárisnál, de szebb eredményt is ad. A legközelebbi 16 pixel alapján számol. Figyelembe veszi a szomszédos pixel értékeket, az x-y irányú deriváltakat és kereszt deriváltakat. [TODO?]
* [http://en.wikipedia.org/wiki/Lanczos_resampling Lánczos]
* Komplex megoldások
** Görbeillesztés
** Fraktál
** [http://scale2x.sourceforge.net/ Scale2x, 3x, 4x]

== Mit jelent a képi matematika? Milyen műveleteket alkalmazhatunk a gyakorlatban? Adja meg, hogy melyik eljárás milyen feladatra használható. ==
Képi matematika esetén végezhetünk műveleteket '''kép-érték''' vagy '''kép-kép''' között.

A lehetséges műveletek:
* összeadás/kivonás/átlagolás
* szorzás/osztás/normalizálás
* maximum/minimum
* logikai műveletek (főleg bináris képeknél)

A szorzás művelet használható textúrázásra (maszkolásra). A kivonás használható különbségképzésre, a háttér eltávolítására (mozgó/elmozdult objektumok keresésére).