‘Big Data’ elemzési eszközök nyílt forráskódú platformokon

A tárgy célja, hogy megismertesse a hallgatókkal a big data elemzésére alkalmas módszereket és algoritmusokat, különös tekintettel a széles körben elterjedt nyílt forráskódú technológiákra. A példák és a házi feladatok a Hadoop keretrendszerhez és más hozzá kapcsolódó technológiákhoz nyújtanak gyakorlati ismereteket. A hallgatók képesek lesznek nagy adatok elemzésére alkalmas rendszerek megtervezésére, létrehozására és elemzési feladatok megvalósítására.

Követelmények

• Jelenlét: Ajánlott mert nincs jegyzet
• NagyZH: TODO
• Házi: TODO

"A tárgy jegyének megszerzéséhez a ZH legalább elégséges teljesítése szükséges, valamint egy házi feladat elkészítése és megvédése. Az érdemjegyet a ZH illetve a házifeladat érdemjegyének átlagával számítjuk ki, a 0.5-re végződő eredményeket felfele kerekítjük. ZH a 8. vagy a 9. héten, pótZH és házifeladat bemutatása a 14. héten lesz."

Számonkérések

Házifeladat

TODO

Zárthelyi

• Előrevetíti: konkrét elemzési feladat (pl átlag) megvalósítása mapredben. Akármilyen nyilazós sémás dologgal is megoldható nem kell java kódot írni. Pl:

Kell: minden nap hány külöböző sessionid volt egy nap?
   SELECT date, COUNT(DISTINCT sessionid) FROM table GROUP BY date
M:(sorid,sor)->(date+session, 1)
R:(date+session,list(1))->(date+sessionid,1)
M:(date+sessionid,1)->(date,1)
R:(date, list(1))->(date,sum)

• TODO

Segédanyagok

A kurzusok anyagai a TMIT honlapján:

• 2013/2014 ősz

Tapasztalatok

2013/2014

A tárgy először 2013/2014 őszén került meghirdetésre. TODO