Van, aki a múltat figyeli, van, aki a jövőt jósolja meg és van, aki ehhez az adatokat szállítja

Hogyan lesz az adatból információ? Kik és hogyan dolgozzák fel a nap mint nap keletkező hihetetlen mennyiségű adatot? A világunk adatokra épül, amelyekkel dolgoznunk kell, ezzel párhuzamosan pedig újabb és újabb feladatok és munkakörök születnek. 

Ha azt mondjuk Big Data, ebben a két szóban legalább öt tudományterületet és három munkakört érintünk. Létezik data scientist, data analyst és data engineer – bár mindhárom feladatkör határterület, átfedésben dolgoznak, mégis három különálló pozícióról beszélünk – főleg felelősség és szakértelem terén.

Legkönnyebben kétféle szempont alapján lehet elkülöníteni az egyes szerepköröket:

• Milyen problémát old meg az adott szakember?
• Ehhez milyen tudásra, készségekre van szüksége, milyen eszközöket használ?

Data scientist

Tegyük fel, hogy cégvezetőként meg kell hoznunk egy üzleti döntést. Milyen terméket forgalmazzunk, mennyit költsünk jövőre online hirdetésre és így tovább. Hogy ezt megtehessük, szükség van rá, hogy a kapcsolódó adatokból (vásárlói szokások, eladások száma, korábbi hirdetések adatai, célcsoport kutatások stb.) valamilyen rendszerezett formában következtetéseket, elemzéseket, trendeket lássunk. Ez az, amiben egy data scientist a segítségünkre van. Gondolhatjuk, hogy az adatokat össze lehet gyűjteni az Excelben is, hogy aztán kimutatásokat készítsünk, a data scientist feladata azonban sokkal több ennél. Az adatok elemzésével és a machine learning bevonásával olyan előrejelzéseket is képesek megalkotni, amelyekkel minimalizálható a veszteség és maximalizálható a profit. Hogy ne csak elméletben beszéljünk róla, jöjjön még egy példa: az élelemiszer-kereskedelemben, főleg a gyorsan romlandó termékeknél nagyon pontosan kell tudni, miből mennyire van szükség. Ha egy bolt túl sokat rendel valamiből és nem tudja eladni, arra ráfizet. De ugyanígy veszteséget termel, ha túl keveset rendel egy-egy termékből, hiszen a vásárlók így máshová mennek majd, és lehet, hogy vissza sem térnek később sem. Így számukra kifejezetten fontos, hogy meg tudják jósolni a vásárlói viselkedést.

A data scientist:

• magas szintű matematikai és statisztikai tudással rendelkezik,
• ért a programozáshoz, kódoláshoz (pl.: Python), tud SQL-lel dolgozni,
• képes alkalmazni a machine learning eszköztárát a trendek azonosításához, 
• a trendek alapján képes előrejelzéseket adni.

Data analyst

Az adatelemzői munka sokban hasonlít a data scientist pozícióhoz: az elemzők az esetek nagy részében összegyűjtik és rendszerezik az adatokat, majd ezek alapján vonnak le következtetéseket. Az ő feladatuk, hogy riportokat és jelentéseket gyártsanak akár egy-egy specifikus területen (értékesítés, marketing) vagy a teljes céget érintő kérdésekben. Sokszor dolgoznak adattárakkal és alkalmaznak üzletiintelligencia-rendszereket (PowerBI, Google BigQuery). Összehasonlítva a data scientist munkájával: az adatelemző adatokat gyűjt és elemez, a data scientist pedig tudományos alapon igyekszik magyarázatot adni az adatokra és előrejelzéseket alkotni. Egy elemző összegyűjti és rendszerezi például a korábbi hetek/hónapok hőmérsékleti adatait, a legköri nyomást, a páratartalmat, mindezt vizualizálja és jelentést készít, a data scientist pedig ezek alapján megmondja, lesz-e hurrikán a következő 2 hétben. Úgy is fogalmazhatnánk, hogy míg az elemző a múlttal foglalkozik, addig a data scientist a jövőt próbálja megjósolni.

Képzések ebben a témában:

SQL-programozás az alapoktól

Ákos Németh

Data Intelligence Solution Architect @ 1stQuad Solutions

A képzésről

A data analyst:

• rendelkezik matematikai, statisztika tudással (de kevesebbel, mint egy data scientist),
• ismeri a programozási nyelveket,
• képes az elemzésekhez szükséges KPI-ok meghatározására,
• adatvizualizációkat készít,
• üzleti intelligencia és elemző rendszereket használ (pl.: PowerBI).

Data engineer

A pozíció nevében szereplő mérnök kifejezés is arra utal, hogy a data engineer valaminek a létrehozásával, megalkotásával foglalkozik. Elsődleges feladatuk az adatok előkészítése. Az előrejelzések szerint 2024-re közel 150 zettabyte (azaz 1021 byte) adatot tárolunk majd világszinten. Ezen adatoknak már nem csupán a tárolása extrém feladat, az is kihívást jelent, hogyan nyerjünk ki ebből hasznos információkat. A cégek életében – még ha kisebb adatmennyiségről is van szó – elengedhetetlen, hogy ezek strukturált formában, rendszerezve legyenek elérhetők. Másképp az elemző és a data scientist sem tud majd vele mit kezdeni.

A data engineer feladatai a kisebb optimalizációs feladatoktól a teljes adatkezelő rendszer kiépítéséig terjedhetnek. Ők azok, akik összegyűjtik és tisztítják az adatokat. 

A data engineer:

• magas szintű programozási tudással (Python, Java, SQL) és
• erős logikai és analitikai érzékkel rendelkezik,
• ért az adatmodellezéshez és az adatintegrációhoz, 
• gyakran dolgozik Big Data eszközökkel (Kafka, Hadoop, MongoDB).

Ilyen tudást várnak a Data Engineer munkakörbe jelentkezőktől a munkáltatók. Forrás: Towards Data Science

Az adatok ma már mindenütt ott vannak. Az ezekkel foglalkozó szakemberek célja, legyenek azok tudósok, elemzők vagy mérnökök, hogy az adatokból információt, az információkból pedig előrejelzéseket alkossanak.