Nagy terhelhetőségű szoftverek építése az alapoktól
Egy átfogó és gyakorlati képzés, amelynek a célja olyan szoftverarchitektúrák építése, amelyekről nem is gondoltad, hogy lehetséges, és ahol elsajátíthatod a nagy terhelésű, elosztott, hibatűrő rendszerek építését.
Horváth Gergely,
Ex. Google Developer & Engineering Manager,
Technical lead @ Hypixel Studios
november 11.
17 alkalom
hétfő és szerda
18:00–19:30
Mi történik, ha a bemeneten olyan adatot kapunk, amire nem számítunk? Hogy szolgáljunk ki túlterhelést okozó, de normál ügyfeleket? Mi történik, ha meghibásodik a háttértár? És ha NullPointerExceptiont kér valaki? Egy összetett rendszer tervezésénél rengeteg építőelem közül kell kiválasztanunk a megfelelőket, és integrálni őket olyan módon, hogy a rendszer nagy terhelés alatt, akár évekkel később is jól tudjon teljesíteni. Ezen a kurzuson ezeket az építőelemeket fogjuk megismerni és gyakorlati példákkal, házi feladatokkal kiegészítve tanuljuk meg a használatukat.
akik nem tudják pontosan, hogyan kezdjenek neki egy elosztott rendszer tervezésének vagy meglévő, komplex rendszert kell felskálázniuk.
akik szeretnék lefejleszteni az első nagyobb terhelésű szoftverüket és szeretnék elsajátítani az „architect” gondolkodásmódot.
akik stratégiai szempontból szeretnék értékelni az elkészült szoftverterveket és olyan racionális döntéseket hozni, amelyek hosszú távon kifizetődők.
• Ismerni fogod a fontos alapelemeket egy komplex, hibatűrő rendszer építéséhez,
• Megismered a gyakorlati különbségeket egy monolit és microservices architektúra között,
• Elsajátítod a függőleges, vízszintes, gyorsítótáras és különböző terheléselosztásos skálázási módszereket,
• A különböző adatbázisokat, üzenetsorokat és adatfeldolgozási módszereket,
• Tudod, hogyan használd és integráld ezeket a komponenseket úgy, hogy egymást segítsék meghibásodások esetén,
• Gyakorlati tapasztalattal fogsz rendelkezni nagy és hibatűrő rendszerek tervezéséhez, építéséhez, teszteléséhez és felülvizsgálatához,
• Saját implementációd lesz egy nagy teljesítményt igénylő probléma megoldására.
- többmilliós kérés/másodperces rendszert felügyelt egyedül
- felügyelte és karbantartotta a YouTube-világ legnagyobb egyedi MySQL clusterét
- aktív fejlesztője volt a Cloud SQL monolit vezérlőrendszerének
- néhány sor Java-kód átírásával több száz TiB RAM-ot és értékes másodperceket spórolt
- az új adatközpontokért felelt és skálázta a meglévőket
- automatizálta egyedi hálózati eszközök telepítését és konfigurálását
- foglalkozott fegyverekkel őrzött kormányzati adatközpontokkal
- tanársegéd volt a Műegyetemen
- Simonyi Károly Szakkollégiumban több csapatot is vezetett, illetve előadó volt a Simonyi konferencián is
- elismert nemzetközi Google-oktató volt
- jelenleg aktívan mentorál több kollégát is
- Ismerkedés, programterv, elvárások
- Mit jelent a témakör? Milyen témákat fogunk érinteni?
- Milyen témákat nem fogunk érinteni, amelyekkel egyébként érdemes foglalkozni?
- Milyen kihívásokat jelent a high-load?
- Milyen döntéseket kell meghoznunk a tervezéseknél?
- NALSD
- Miért fontos a hibatűrés?
- Függőleges és vízszintes skálázás
- CAP theorem
- Elosztott rendszerek fontossága a terhelés- és hibatűrésben
- Terheléselosztás módjai és kapcsolódó elosztott rendszerek
- Kihívások az elosztott rendszerek építésében
- Példa és gyakorlatok néhány nem elosztott rendszer darabolására
- Protokollok
- Formátumok
- Összehasonlítások és egyéb megoldások
- Aszinkron kommunikáció
- Adatbázis típusok
- Néhány specifikus adatbázis: MariaDB, MongoDB, Cassandra
- Adatok particionálása, normál formák
- Elosztott tárolás, replikáció
- Egyéb tárolási módszerek: data lake, data warehouses és elosztott fájlrendszerek
- Konzisztencia
- Adatbázisok függőleges és vízszintes skálázása
- Monitoring
- Típusok
- Minták
- Érvénytelenítés
- Eltávolítás
- Gyorsítótár frissessége és sebessége
- Elosztott gyorsítótárak
- Kihívások
- Monitoring
- Batch és stream feldolgozása
- Map-reduce
- Adatfolyamok és ETL
- Szerepek
- Monolith vs. Microservices
- Darabolási módszerek
- Skálázhatóság, rugalmasság, karbantartás
- Vízszintes skálázás a microservice-eknél
- Terheléselosztás
- Naplózás és követés
- Biztonság: data protection, authorization, authentication
- CAP theorem és hatása az elosztott rendszerekre
- Strong, eventual, causal consistency
- Paxos, Raft és egyéb konszenzusmódszerek
- Konszenzus és a hibatűrés
- Google Borg és hatása
- Kubernetes, Docker
- Micro OS, Nomad, barebone
- Terraform és hybrid cloud
- Automatikus skálázás
- Naplófájlok, rendszer- és alkalmazásmetrikák
- Valós idejű felügyelet
- Tárolás
- Vizualizációk és műszerfalak
- Riasztási szabályok
- Fals pozitív és fals negatívok
- KPI-ok és teljesítménymetrikák
- Nagy rendelkezésre állás koncepciók
- Hibatűrő stratégiák
- Katasztrófaelhárítási tervek, megoldások
- On-line, near-line, off-line
- Depó modellek
- RPO, RTO
- Folyamatok, adatok másolása
- Teljes, részleges, verziókövetés
- Tömörítés, deduplikáció, titkosítás, multiplexing, refactoring, staging (D2D2T)
- Limitáló faktorok: idő, energia, pénz
- Valós idejű és aszinkron replikálás
- Validálás, időzítés, authentikálás, megbízhatóság
- Szűk keresztmetszetek keresése
- Load-testingOptimalizálási lehetőségek
- Optimalizálási lehetőségek
- Biztonsági kihívások
- Autentikáció és jogosultságok
- Titkosítás és adatvédelem
- Visszatekintés a katasztrófaelhárításra
- Felhőbiztonság
- Elérhető példák átbeszélése
- Mit lehet tanulni a jó és a rossz példákból?
- Team lead nézőpontok
- Vezetői nézőpontok
- Résztvevői projektek bemutatása, kérdések
- A legfontosabb pontok összefoglalása
- Milyen irányba érdemes haladni tovább?
- Q&A
A kurzussal és a részvételi díjjal kapcsolatos további részletekért jelentkezz most!