Spotify, Netflix, YouTube: Miből tudják ezek a szolgáltatók, hogy milyen tartalmat szeretünk?

Avagy így készíts egyedi algoritmust mesterséges intelligenciával a jobb felhasználói élményért.

A Spotify a szokásaink alapján javasol zenéket, a Netflix személyre szabja a műsorok borítóit, a YouTube pedig még azt is tudja, milyen hosszú videó az optimális nekünk. Elmagyarázzuk, hogyan. Olekszij Szimoncsuk és Olga Melnyk cikke az ukrán társblogunkról.

Honnan indult az egész?

A legelső ajánlórendszerek már a ‘90-es években megjelentek, az igazi áttörésre azonban 2006-ig várni kellett. Akkoriban a Netflix még postán kézbesített DVD-kölcsönzésben utazott (amit meglepő módon egyébként egészen 2023-ig folytattak – a ford.). Ekkor hozták létre a Cinematch nevű rendszert, hogy megjósolják, a felhasználók hogy fogják értékelni a filmeket. Az algoritmus előrejelzései és a valós értékek közötti eltérés 0,9525 volt.

Ekkoriban indult el az MIT Media Lab zenei adatelemző ügynöksége, a The Echo Nest is, behozva a legmodernebb megközelítést a zenék személyre szabásába. Itt a zene és a szöveg algoritmusokkal történő elemzésével azonosítottak dalokat, ajánlottak számokat, hoztak létre műsorlistákat és készítettek elemzéseket.

Változó, ki mi alapján néz meg egy filmet a Netflixen. Valaki 10 pontot adna egy Fellini-filmre, mégsem akar ilyesmit nézni minden egyes nap. Mit lehet hát tenni? Esténként ajánljunk mindenkinek akciófilmeket, hétvégén pedig vígjátékokat? A Netflix mostani ajánlórendszere szerint ahhoz, hogy feldobjon nekünk egy műsort, az több szempontnak is meg kell, hogy feleljen.

Legyen érdekes: passzoljon a felhasználó igényeihez, de ne legyen kiszámítható.

Legyen váratlan: olyasmi, amire a néző magától nem talált volna rá, de megfelel az akár rejtett elvárásainak.

Legyen jól időzített: a rendszer odafigyel arra is, hány óra van, milyen nap, milyen ünnep közeleg és mik a trendek, így igyekszik relevánsabb kontentet elénk rakni.

Így működik az algoritmus

A Netflix az ajánlásaihoz egy hibrid megközelítést alkalmaz, ötvözve a tartalomalapú és a kollaboratív szűrést (utóbbi a felhasználók viselkedését, értékeléseit, preferenciáit összehasonlítva ajánl tartalmakat a hozzánk hasonló ízlésű nézők mintázatai alapján – a ford.), illetve a mélytanulást. Így többtucatnyi tényezőt elemez:

Mit szeret a felhasználó – milyen műfajok, színészek, rendezők érdekelték?
Mit nézett meg eddig – mennyire gyakran fejez be filmeket és sorozatokat, illetve szokta-e azokat értékelni?
Milyen lehet a hangulata – milyen a tartalomválasztása különböző napokon és napszakokban?
Mit nem szeret, milyen tartalmakat és műfajokat ignorál?
Hol tartózkodik – a tartalmak népszerűsége (és elérhetősége – a ford.) ugyanis különbözik az egyes országokban.
Milyen idős – a gyerekek és a felnőttek nyilván nem ugyanazokat az ajánlásokat kapják.

Személyre szabott borítóképek

Az ajánlások mellett a Netflix az egyes felhasználóknak különböző borítókép-verziókat jelenít meg ugyanazokról a sorozatokról és filmekről (ami egyébként váltott már ki vitákat, lévén, hogy egyes felhasználók átverésnek érezték, hogy fekete mellékszereplőket szerepeltetnek olykor a képeken úgy, mintha szinte ők lennének a főszereplők – a ford.). Ezeket a felhasználó neme, életkora és érdeklődése alapján választja ki a rendszer.

Ugyanaz a sorozat, eltérő borítók: ezt mutatja meg a Stranger Thingsből a Netflix különböző felhasználóknak (forrás: Netflix)

Miként választják ki ezeket a borítókat?

- A/B teszteléssel – felhasználók különböző csoportjainak eltérő borítóképeket jelenít meg a rendszer, és elemzi a reakcióikat.

Preferenciaelemzéssel – a néző kedvenc színészei gyakrabban jelenhetnek meg a borítón.

Viselkedéselemzéssel – a borítók alkalmazkodnak ahhoz, mit néztünk korábban.

A Stranger Thingsnél például számos változatot teszteltek, és végül a legjobban teljesítő grafikákat tartották meg. Így növelik az esélyét annak, hogy kiválasszunk egy-egy tartalmat, illetve ezzel igyekeznek személyre szabni a felhasználói élményt.

Mi az a kollaboratív szűrés (collaborative filtering)?

A legnépszerűbb ajánlási módszer. Használja a Netflix, a Last.fm, az Amazon, az eBay, az AliExpress, a YouTube és a Facebook is. Úgy működik, hogy létrehoznak egy értékelési mátrixot, azaz egy olyan táblázatot, amely listázza az összes felhasználót és az ő értékeléseiket.

Ha különböző felhasználók értékelései hasonlók, az azt jelenti: a preferenciáik egybeesnek. Ha valaki A-t és B-t kedveli, más pedig A-t és C-t, akkor az elsőnek a C-t, utóbbinak pedig a B-t fogja feldobni a rendszer. Ugyanakkor ennek a megközelítésnek megvannak a maga hátrányai is.

Először is az ahhoz szükséges óriási adatmátrix. Ehhez egy olyan adattábla kell, amelyben minden sor egy felhasználó, minden oszlop pedig egy tartalom. Szóval ha például a Spotify több mint százmillió számát nézzük, ennyi oszlopra van szükség. Egy ekkora, folyamatosan frissülő adatmennyiséggel dolgozni pedig nem egyszerű feladat.

A másik probléma, hogy nem biztos, hogy az ajánlások passzolni fognak az új vagy értékeléseket, lájkokat nem nagyon osztogató felhasználók ízléséhez is. Ennek megoldására a felhasználókat klaszterekre osztják az érdeklődéseik alapján. Igaz, az ez alapján feldobott ajánlások már nem lesznek ténylegesen személyre szabottak.

Így ajánl zenéket a Spotify

A Spotify minden számot betáplál egy neurális hálóba, amely végigmegy a dal összes rétegén. Végeredményben pedig kiadja a szám különböző karakterisztikáit: hossz, tempó, hangerő, harmonikusság és így tovább. Ez segít a cégnek abban, hogy felismerje a dalok közti hasonlóságokat, hogy kevésbé ismert, kevesebb ember által elmentett előadók számait is ajánlhassák.

A zenestreaming-platform angolul Discover Weekly, magyarul E Heti Kaland név alatt futó, személyre szabott műsorlistája heti frissítéssel ajánl 30 számot, amit kifejezetten nekünk javasol a rendszer. A cél, hogy olyan dalokat megismertessen velünk a program, amelyeket még nem hallottunk, de jó eséllyel tetszeni fognak. A Spotify ehhez három fő algoritmikus modellt használ: a már említett kollaboratív szűrést, a természetes nyelvek feldolgozását és az audiófájlok elemzését.

Itt is képbe jön a kollaboratív szűrés

Az E Heti Kaland algoritmusának alapja a zenével való interakcióink elemzése. A Spotify követi, milyen zenéket hallgatsz, adsz hozzá egy műsorlistához vagy ugrasz át. A rendszer ezután összeveti a tevékenységed más, hasonló ízlésű felhasználókéval, és zenéket ajánl, amelyek nekik tetszettek, de te még nem hallottad őket.

Ez a folyamat a mátrix faktorizáció módszerét használja, amellyel a rengeteg felhasználói és hallgatottsági adatot egy összetett mátrixba rendezik, így feltárva az elsőre rejtve maradó kapcsolatokat felhasználók és zenék között.

Például ha egy másik felhasználóval ugyanazok a kedvenc előadóitok, de ő hallgat olyasvalakit is, akit te nem, azt a zenészt ajánlhatja neked a gép. Szóval ha te alternatív rockot hallgatsz, és The Killers meg Arctic Monkeys számokat adsz hozzá a lejátszási listádhoz, valaki más pedig, aki szintén szereti őket, Cage The Elephantot is hallgat, akkor jó eséllyel Az E Heti Kalandodban meg fog jelenni valamelyik daluk.

Természetes nyelvek feldolgozása (Natural Language Processing, NLP)

A Spotifynak a zenék ajánlásához van még egy hatékony eszköze, a szövegelemzés a természetesnyelv-feldolgozásnak nevezett módszer révén. (melynek lényege számítógépes programok képessé tétele a szövegek és a beszélt szavakat szemantikai megértésére – a ford.) Ennek keretében a zeneplatform algoritmusai zenei újságcikkek, blogbejegyzések, vélemények és közösségi médiás bejegyzések millióit nézik át, így igyekezve megérteni, azok hogyan és milyen kontextusban említik az egyes dalokat és előadókat.

Tehát ha egy új számot az indie rockról szóló cikkek gyakran emlegetnek pozitív felhanggal, te pedig gyakran kapcsolsz be számokat ebből a műfajból, akkor könnyen lehet, hogy azt a számot ajánlani fogja neked a rendszer. Ha a média kihoz listákat mondjuk a legjobb nyugis zenékről, az ilyesmit a Spotify felhasználhatja az ajánlásaihoz. Ez a módszer különösen hasznos új vagy kevésbé ismert zenéknél, amelyeknek még nincs nagyobb hallgatottsága, viszont jó eséllyel érdekelhet egy-egy adott célközönséget.

Nyershang-elemzés

Hogy az ajánlások még pontosabbak legyenek, a Spotify az audiófájlokon is mélyelemzést végez. Egy gépi tanuláshoz használt neurális háló elemez minden egyes dalt, meghatározva azok tempóját, hangnemét, ritmusát, illetve az energiáját és az általános hangulatát. Ez segít abban, hogy:

azonosítsák a hasonló dinamikájú, hangulatú számokat akkor is, ha azok nem egy műfajba tartoznak,
a kedvenc számaid hangkarakterisztikája alapján újakat lehessen javasolni, úgy is, hogy az ajánlott zenéknek még nincs sem túl sok sajtómegjelenése, sem túl nagy hallgatottsága,
ha az előző két módszer nem nyújt elég adatot, akkor is feltöltsék a javasolt számok listáját.

Így lesznek a három módszerből ajánlott zenék

A Spotify e 3 módszer eredményeinek kombinálásával készít egyedi E Heti Kaland műsorlistákat minden felhasználójának. Így nem azt veszik figyelembe, hogy egy számot statisztikailag valószínű, hogy bírni fogsz, de a kontextusát is: hogy szól, miként írt róla a média, és mit gondolnak róla a hozzád hasonló ízlésű zenehallgatók.

Ezzel a többrétegű ajánlórendszerrel a Spotify az egyik legjobb szolgáltatást tudja nyújtani ahhoz, hogy új zenéket fedezzünk fel. Az ajánlásaikat ugyanis természetesnek, érdekesnek érezzük, illetve a lehető leginkább személyre szabottnak.

Bandits for Recommendations as Treatments (BaRT)

A Spotify egy BaRT elnevezésű, mesterséges intelligenciát alkalmazó (MI/AI) rendszert is használ. Ez a rövidítés a Bandits for Recommendations as Treatments nevet takarja, magyarul lényegében egy, az úgynevezett bandita gépi tanulási modellt használó algoritmuson alapuló ajánlórendszert jelent. Ez hoz létre egyedi kezdőképernyőt mindannyiunknak, és ezen a rendszeren alapulnak az ajánlások.

A rendszer mindezt két szakaszban állítja össze. Először a felhasználóról szóló információkat használja: az illető mit hallgat, mit ugrik át, mit kedvel, milyen lejátszási listákat hozott létre eddig, és hol található. Ezt követően pedig a világról szóló információkat elemzi a rendszer: mely zenészek és dalok hasonlítanak azokra, amelyeket hallgatsz, illetve melyikük mennyire népszerű, mekkora a munkájukra a kereslet.

A rendszer igyekszik el is magyarázni nekünk, mi alapján választ. Ezt szolgálják az olyan műsorlista-nevek, mint hogy Vissza a múltba. Így láthatjuk, miért ajánl nekünk egy bizonyos listát, és mit fogunk ott hallani. Márpedig a Spotify saját kutatása arra jutott, hogy mindez nem is jelentéktelen, ezek a magyarázatok ugyanis fontos szerepet játszanak a felhasználók választásában.

Mi a helyzet a YouTube ajánlásaival?

A platformra becslések szerint mintegy 3,6-3,7 millió videót töltenek fel naponta, mégis mindannyian tudjuk, hogy ebből csak pár tucatot dobál fel elénk a rendszer. Ezen két konvolúciós(elsősorban képfeldolgozási feladatokra fejlesztett – a ford.) neurális háló dolgozik, melyek potenciális videóajánlásokat keresnek, illetve rangsorolják azokat.

Az első megkeresi azokat a tartalmakat, amelyek tetszeni fognak a felhasználónak, a második pedig sorbarakja őket, a legérdekesebbeket előresorolva természetesen. Az algoritmus figyelembe veszi az összes korábbi aktivitásunkat a platformon, valamit ez szintén figyeli a kontextust is. Vagyis az időt, illetve a hallgató korát, nemét és helyét.

Emellett a rendszer A/B tesztelést is végez: többféle ajánlást is megjelenít, és ha az egyik népszerűbb lesz, ahhoz a rendszer alkalmazkodik, így minél jobban megértve, mi passzol az egyes nézőkhöz. Fontos adat még az átkattintási arány (Click-Through Rate, CTR), ami ez esetben azt jelenti, hogy akiknek feldob egy videót, azok közül hányan néznek bele.

A YouTube saját adatai szerint a videók felének átlagos CTR-ja 2 és 10 százalék közé esik. Ugyanakkor nem csak ezt veszi figyelembe a rendszer. Hiszen ha kizárólag ezt nézné, akkor csak clickbait tartalmakat kapnánk. A neurális háló azzal is számol a rangsoroláskor, hogy várhatóan mennyi ideig maradunk majd ott a videónál. Minél hosszabb megtekintési idő várható, annál nagyobb eséllyel kerül be az adott tartalom az ajánlott videók közé.

Hogyan fejleszti a YouTube az ajánlóalgoritmusát?

Mélytanulás és neurális hálók bevonásával elemzik a felhasználói szokásokat,
folyamatosan frissítik a gépi tanulási modelljüket új adatok alapján,
a különböző etikai szempontokat és a manipuláció elleni küzdelmet is figyelembe veszik (például a káros tartalmak kiszűrésével), és
személyre szabják az ajánlásokat az egyes nézők és érdeklődési köreik közötti hasonlóságokat felhasználva.

A YouTube így nem csupán elemzi a felhasználók viselkedését, de igyekszik előre is jelezni, mi fogja őket érdekelni, olyan tartalmakat keresve, amelyekkel a leghosszabb és leginkább elkötelezett nézői élményt tudják elérni.

Összegzés

A YouTube, a Spotify, a Netflix és a hasonló szolgáltatók mára mesteri szintre fejlesztették a személyre szabott tartalmak ajánlását a szofisztikált algoritmusaiknak és a gépi tanulásnak köszönhetően. Elemzik a felhasználók preferenciáit, a megtekintési előzményeiket és a viselkedésmintáikat, hogy az egyedi érdeklődési körükhöz pontosan passzoló kontenteket javasolhassanak.

A kollaboratív szűrés, a természetesnyelv-feldolgozás és az audióelemzés mind segít megjósolni a zenei igényeket, műsorlistákat létrehozni, de még a filmborítók testreszabásához is hasznosak ezek a módszerek. Ezek a technológiák nemcsak javítják a felhasználói élményt, de segítenek a közönség megtartásában is, ugyanis a platformokkal történő interakciónkat a lehető leginkább intuitívvá és vonzóvá teszik.

(A kiemelt képen lévő anyagok forrása: Netflix és Spotify; fordította: Tarnay Kristóf Ábel)

Megosztás: