https://vik.wiki/api.php?action=feedcontributions&feedformat=atom&user=Ocsi01VIK Wiki - Felhasználó közreműködései [hu]2026-05-15T22:59:29ZFelhasználó közreműködéseiMediaWiki 1.43.8https://vik.wiki/index.php?title=%E2%80%98Big_Data%E2%80%99_elemz%C3%A9si_eszk%C3%B6z%C3%B6k_ny%C3%ADlt_forr%C3%A1sk%C3%B3d%C3%BA_platformokon&diff=173133‘Big Data’ elemzési eszközök nyílt forráskódú platformokon2013-11-25T17:42:46Z<p>Ocsi01: /* 2013/2014 */</p>
<hr />
<div>{{Szabvál<br />
|nev=‘Big Data’ elemzési eszközök<br>nyílt forráskódú platformokon<br />
|kredit=2<br />
|tárgykód=BMEVITMAV15<br />
|tanszék=TMIT<br />
|kiszh=nincs<br />
|nagyzh=1 db<br />
|vizsga=nincs<br />
|hf=van<br />
|jelenlét=ajánlott (nincs jegyzet)<br />
|minmunka=kis utánaolvasás<br />
|tad=https://www.vik.bme.hu/kepzes/targyak/VITMAV15/<br />
|targyhonlap=http://adatbanyaszat.tmit.bme.hu/twiki/bin/view/Targyak/BigData2013<br />
}}<br />
<br />
A tárgy célja, hogy megismertesse a hallgatókkal a big data elemzésére alkalmas módszereket és algoritmusokat, különös tekintettel a széles körben elterjedt nyílt forráskódú technológiákra. A példák és a házi feladatok a Hadoop keretrendszerhez és más hozzá kapcsolódó technológiákhoz nyújtanak gyakorlati ismereteket. A hallgatók képesek lesznek nagy adatok elemzésére alkalmas rendszerek megtervezésére, létrehozására és elemzési feladatok megvalósítására.<br />
<br />
__TOC__<br />
<br />
== Követelmények ==<br />
<br />
*'''Jelenlét:''' Ajánlott mert nincs jegyzet<br />
*'''NagyZH:''' TODO<br />
*'''Házi:''' TODO<br />
<br />
"A tárgy jegyének megszerzéséhez a ZH legalább elégséges teljesítése szükséges, valamint egy házi feladat elkészítése és megvédése. Az érdemjegyet a ZH illetve a házifeladat érdemjegyének átlagával számítjuk ki, a 0.5-re végződő eredményeket felfele kerekítjük. ZH a 8. vagy a 9. héten, pótZH és házifeladat bemutatása a 14. héten lesz."<br />
<br />
==Számonkérések==<br />
<br />
===Házifeladat===<br />
Részletesen: http://adatbanyaszat.tmit.bme.hu/twiki/bin/view/Targyak/BigData2013Hazi<br />
<br />
====Feladatok és eszközök kiválasztása====<br />
Az alábbi feladatok közül a használt eszközök fényében kell néhány darabot kiválasztani. A használható eszközök és a megoldandó feladatok száma:<br />
* Java MapReduce programozás: 1 feladat<br />
* Hadoop Streaming programozás más programnyelven (Python, R, stb.): 2 feladat<br />
* Hive és Pig: 3 feladat <br />
Ha tehát valaki Hive-ban és Pig-ben akar dolgozni, akkor az alábbi feladatok közül 3-at is meg kell oldania és mindkét eszközt használnia kell, tehát mondjuk 2 feladat Hive-ban, 1 feladat Pig-ben. Ezzel szemben ha valaki Java programozással akar MapReduce elemzést csinálni, akkor az alábbiak közül elegendő egyetlen szabadon választott feladat megoldása. Hadoop Streaming esetén 2 feladat megoldása szükséges. <br />
<br />
====Választható feladatok====<br />
* '''HTML lapletöltések hisztogramja''': az adatokból egy olyan grafikont kell kirajzolni, mely bemutatja, hogy hány olyan kliens (host) volt, aki 0 darab html oldalt töltött le, hány olyan aki 1-et, 2-t, stb. Az elemzés kimenete tehát egy két oszlopot tartalmazó tábla (html letöltésszám, hostok száma), illetve egy grafikon, amely bármely megjelenítő programmal (pl. Excel) előállítható. <br />
* '''Utolsó 2 letöltött HTML oldal''': minden egyes kliens (host) esetén ki kell gyűjteni az (időben) utolsó 2 letöltött HTML oldalt. Az eredmény tehát egy három oszlopot tartalmazó tábla (host, utolsó html oldal, utolsó előtti html oldal). Ha egy kliens (host) nem töltött le két html oldalt, akkor a megfelelő mezők üresen maradjanak.<br />
* '''Napi egyedi látogatók (hosztok) száma''': számítsuk ki minden napra, hogy hány egyedi látogató (host) volt aznap az oldalon, majd ezt ábrázoljuk grafikonon. <br />
* '''Visszatérő látogatók (hosztok) listája''': Visszatérő látogatónak tekintjük azt a hostot, ami két (vagy több) különböző napon is meglátogatta az oldalt és a legkorábbi és legkésőbbi lapletöltése között legalább 6 óra telt el. Ezzel kiszűrjük azokat a látogatókat, akik éjfél előtt és éjfél után közvetlenül látogatják meg az oldalt. A megoldás ezen látogatók listája és darabszáma.<br />
<br />
===Zárthelyi===<br />
* Előrevetíti: konkrét elemzési feladat (pl átlag) megvalósítása mapredben. Joinolni nem kell tudni. Akármilyen nyilazós sémás dologgal is megoldható nem kell java kódot írni. Pl:<br />
<br />
Kell: minden nap hány külöböző sessionid volt egy nap?<br />
SELECT date, COUNT(DISTINCT sessionid) FROM table GROUP BY date<br />
M:(sorid,sor)->(date+session, 1)<br />
R:(date+session,list(1))->(date+sessionid,1)<br />
M:(date+sessionid,1)->(date,1)<br />
R:(date, list(1))->(date,sum)<br />
<br />
<br />
* TODO<br />
<br />
== Segédanyagok ==<br />
<br />
A kurzusok anyagai a TMIT honlapján:<br />
* [http://adatbanyaszat.tmit.bme.hu/twiki/bin/view/Targyak/BigData2013 2013/2014 ősz]<br />
<br />
== Tapasztalatok ==<br />
<br />
=== 2013/2014 ===<br />
A tárgy először 2013/2014 őszén került meghirdetésre.<br />
<br />
Én MapReduce-os házit csináltam, az egyáltalán nem volt gáz. A kiadott VM-en minden megvan ami kell, csak legyen min futtatni magát a VM-et. Ha elég jól megy a Java és megvan, hogy elvben mit csinál a Map és mit a Reduce, akkor hamar meg lehet csinálni.<br />
<br />
=== 2013/2014 ===<br />
Pontositas: Kiadott VM = Hortonworks hivatalos Sandbox. Nekem volt azert szivas vele, de a 2.X versio mar ment jol. Egy i5 os laptopot 4 GB rammal azert elegge leterhel, de meg kezelheto. <br />
En a Pig/Hive hazit csinaltam, ahhoz nagy segitseg volt a webes UI. Viszont minnel tobb eszkozt hasznalsz, annal nehezebb a hibauzeneteket ertelmezni. Sokszor belefutottam semmit mondo exceptionbe.<br />
<br />
[ocsi]<br />
[[Category:Gazdhuman]]</div>Ocsi01https://vik.wiki/index.php?title=%E2%80%98Big_Data%E2%80%99_elemz%C3%A9si_eszk%C3%B6z%C3%B6k_ny%C3%ADlt_forr%C3%A1sk%C3%B3d%C3%BA_platformokon&diff=173132‘Big Data’ elemzési eszközök nyílt forráskódú platformokon2013-11-25T17:42:17Z<p>Ocsi01: /* 2013/2014 */</p>
<hr />
<div>{{Szabvál<br />
|nev=‘Big Data’ elemzési eszközök<br>nyílt forráskódú platformokon<br />
|kredit=2<br />
|tárgykód=BMEVITMAV15<br />
|tanszék=TMIT<br />
|kiszh=nincs<br />
|nagyzh=1 db<br />
|vizsga=nincs<br />
|hf=van<br />
|jelenlét=ajánlott (nincs jegyzet)<br />
|minmunka=kis utánaolvasás<br />
|tad=https://www.vik.bme.hu/kepzes/targyak/VITMAV15/<br />
|targyhonlap=http://adatbanyaszat.tmit.bme.hu/twiki/bin/view/Targyak/BigData2013<br />
}}<br />
<br />
A tárgy célja, hogy megismertesse a hallgatókkal a big data elemzésére alkalmas módszereket és algoritmusokat, különös tekintettel a széles körben elterjedt nyílt forráskódú technológiákra. A példák és a házi feladatok a Hadoop keretrendszerhez és más hozzá kapcsolódó technológiákhoz nyújtanak gyakorlati ismereteket. A hallgatók képesek lesznek nagy adatok elemzésére alkalmas rendszerek megtervezésére, létrehozására és elemzési feladatok megvalósítására.<br />
<br />
__TOC__<br />
<br />
== Követelmények ==<br />
<br />
*'''Jelenlét:''' Ajánlott mert nincs jegyzet<br />
*'''NagyZH:''' TODO<br />
*'''Házi:''' TODO<br />
<br />
"A tárgy jegyének megszerzéséhez a ZH legalább elégséges teljesítése szükséges, valamint egy házi feladat elkészítése és megvédése. Az érdemjegyet a ZH illetve a házifeladat érdemjegyének átlagával számítjuk ki, a 0.5-re végződő eredményeket felfele kerekítjük. ZH a 8. vagy a 9. héten, pótZH és házifeladat bemutatása a 14. héten lesz."<br />
<br />
==Számonkérések==<br />
<br />
===Házifeladat===<br />
Részletesen: http://adatbanyaszat.tmit.bme.hu/twiki/bin/view/Targyak/BigData2013Hazi<br />
<br />
====Feladatok és eszközök kiválasztása====<br />
Az alábbi feladatok közül a használt eszközök fényében kell néhány darabot kiválasztani. A használható eszközök és a megoldandó feladatok száma:<br />
* Java MapReduce programozás: 1 feladat<br />
* Hadoop Streaming programozás más programnyelven (Python, R, stb.): 2 feladat<br />
* Hive és Pig: 3 feladat <br />
Ha tehát valaki Hive-ban és Pig-ben akar dolgozni, akkor az alábbi feladatok közül 3-at is meg kell oldania és mindkét eszközt használnia kell, tehát mondjuk 2 feladat Hive-ban, 1 feladat Pig-ben. Ezzel szemben ha valaki Java programozással akar MapReduce elemzést csinálni, akkor az alábbiak közül elegendő egyetlen szabadon választott feladat megoldása. Hadoop Streaming esetén 2 feladat megoldása szükséges. <br />
<br />
====Választható feladatok====<br />
* '''HTML lapletöltések hisztogramja''': az adatokból egy olyan grafikont kell kirajzolni, mely bemutatja, hogy hány olyan kliens (host) volt, aki 0 darab html oldalt töltött le, hány olyan aki 1-et, 2-t, stb. Az elemzés kimenete tehát egy két oszlopot tartalmazó tábla (html letöltésszám, hostok száma), illetve egy grafikon, amely bármely megjelenítő programmal (pl. Excel) előállítható. <br />
* '''Utolsó 2 letöltött HTML oldal''': minden egyes kliens (host) esetén ki kell gyűjteni az (időben) utolsó 2 letöltött HTML oldalt. Az eredmény tehát egy három oszlopot tartalmazó tábla (host, utolsó html oldal, utolsó előtti html oldal). Ha egy kliens (host) nem töltött le két html oldalt, akkor a megfelelő mezők üresen maradjanak.<br />
* '''Napi egyedi látogatók (hosztok) száma''': számítsuk ki minden napra, hogy hány egyedi látogató (host) volt aznap az oldalon, majd ezt ábrázoljuk grafikonon. <br />
* '''Visszatérő látogatók (hosztok) listája''': Visszatérő látogatónak tekintjük azt a hostot, ami két (vagy több) különböző napon is meglátogatta az oldalt és a legkorábbi és legkésőbbi lapletöltése között legalább 6 óra telt el. Ezzel kiszűrjük azokat a látogatókat, akik éjfél előtt és éjfél után közvetlenül látogatják meg az oldalt. A megoldás ezen látogatók listája és darabszáma.<br />
<br />
===Zárthelyi===<br />
* Előrevetíti: konkrét elemzési feladat (pl átlag) megvalósítása mapredben. Joinolni nem kell tudni. Akármilyen nyilazós sémás dologgal is megoldható nem kell java kódot írni. Pl:<br />
<br />
Kell: minden nap hány külöböző sessionid volt egy nap?<br />
SELECT date, COUNT(DISTINCT sessionid) FROM table GROUP BY date<br />
M:(sorid,sor)->(date+session, 1)<br />
R:(date+session,list(1))->(date+sessionid,1)<br />
M:(date+sessionid,1)->(date,1)<br />
R:(date, list(1))->(date,sum)<br />
<br />
<br />
* TODO<br />
<br />
== Segédanyagok ==<br />
<br />
A kurzusok anyagai a TMIT honlapján:<br />
* [http://adatbanyaszat.tmit.bme.hu/twiki/bin/view/Targyak/BigData2013 2013/2014 ősz]<br />
<br />
== Tapasztalatok ==<br />
<br />
=== 2013/2014 ===<br />
A tárgy először 2013/2014 őszén került meghirdetésre.<br />
<br />
Én MapReduce-os házit csináltam, az egyáltalán nem volt gáz. A kiadott VM-en minden megvan ami kell, csak legyen min futtatni magát a VM-et. Ha elég jól megy a Java és megvan, hogy elvben mit csinál a Map és mit a Reduce, akkor hamar meg lehet csinálni.<br />
<br />
=== 2013/2014 ===<br />
Pontositas: Kiadott VM = Hortonworks hivatalos Sandbox. Nekem volt azert szivas vele, de a 2.X versio mar ment jol. Egy i5 os laptopot 4 GB rammal azert elegge leterhel, de meg kezelheto. <br />
En a Pig/Hive hazit csinaltam, ahhoz nagy segitseg volt a webes UI. Viszont minnel tobb eszkozt hasznalsz, annal nehezebb a hibauzeneteket ertelmezni. Sokszor belefutottam semmit mondo exceptionbe.<br />
<br />
[[Category:Gazdhuman]]</div>Ocsi01