Nagy nyelvi modellek validációja, multiágens rendszerei és biztonsága

Kutatásaink a nagy nyelvi modellekre épülő rendszerek megbízhatóságának, teljesítményének és biztonságának vizsgálatára fókuszálnak. Ennek keretében LLM-ek validációjával és reprodukálható benchmarkolásával, több együttműködő modellből felépülő multiágens rendszerek működésének és teljesítményének elemzésével, valamint az LLM-alapú alkalmazások biztonsági kockázatainak feltárásával foglalkozunk.

Célunk olyan mérési és kísérleti módszerek kialakítása, amelyekkel különböző modellek és rendszerarchitektúrák objektíven összehasonlíthatók, működésük automatizáltan értékelhető, valamint biztonsági szempontból is vizsgálható, auditálható.

 

A témához kapcsolódó szakdolgozat / diplomamunka témák ITT...

    Kutatási megközelítés

    Az LLM-alapú rendszerek vizsgálata során a hangsúlyt nem önmagában a modellek értékelésére, hanem a teljes rendszer működésének mérhető és összehasonlítható elemzésére helyezzük. A kutatás középpontjában ezért olyan módszertanok és kísérleti eljárások kialakítása áll, amelyek segítségével a modellek, az alkalmazott rendszerarchitektúrák és az összetettebb működési folyamatok egységes keretek között vizsgálhatók.

    A kutatási területek egymásra épülnek: a modellek és rendszerkomponensek validációjától a multiágens működés elemzésén keresztül egészen a biztonsági események felismeréséig és modellezéséig.

    LLM validáció és értékelés
    Az LLM-ek validációját elsősorban kontrollált és összehasonlítható kísérletek kialakításán keresztül vizsgáljuk. Célunk annak meghatározása, hogy egy modell vagy LLM-alapú rendszer működése milyen mérőszámokkal és teszteljárásokkal jellemezhető megbízhatóan.

    A vizsgálatok során nemcsak a válaszok minőségét, hanem a rendszer viselkedésének stabilitását, érzékenységét és változását is elemezzük eltérő modellek, konfigurációk és működési feltételek mellett. Kiemelt cél olyan benchmarkok és értékelési eljárások kialakítása, amelyek ismételhető kísérleteket, különböző megoldások objektív összehasonlítását és az eredmények hosszabb távú követését is lehetővé teszik.

    Multiágens LLM-rendszerek működése és benchmarkolása
    A multiágens LLM-rendszerek esetében több autonóm vagy részben autonóm ágens működik együtt egy összetett feladat megoldásán. Ezekben a rendszerekben a teljesítmény már nem kizárólag az alkalmazott modellektől függ, hanem az ágensek közötti kommunikációtól, koordinációtól, feladatmegosztástól és döntési folyamatoktól is.
    Kutatásaink során különböző multiágens architektúrák működését, skálázhatóságát, megbízhatóságát és hatékonyságát vizsgáljuk.
    Kiemelt cél olyan benchmarkolási és mérési módszerek kidolgozása, amelyekkel nemcsak az egyes ágensek teljesítménye, hanem a teljes rendszer együttműködése, koordinációs hatékonysága és feladatmegoldási képessége is objektíven értékelhető.

    LLM-biztonság
    Az LLM-alapú alkalmazások és autonóm ágensrendszerek új támadási felületeket és biztonsági kockázatokat jelenítenek meg. A kutatás célja ezen sérülékenységek és támadási lehetőségek szisztematikus vizsgálata, valamint a hozzájuk kapcsolódó detektálási és védelmi módszerek fejlesztése.

    A vizsgálatok kiterjednek többek között a prompt injection és jailbreak jellegű támadásokra, az információszivárgásra, a külső eszközök és adatforrások használatából eredő kockázatokra, valamint a multiágens környezetben megjelenő új támadási lehetőségekre.

    Kiemelt kutatási irány a biztonsági szempontból releváns naplózási és riasztási események azonosítása és kidolgozása. A cél annak meghatározása, hogy az LLM-alapú rendszerek működésének mely eseményei és állapotváltozásai szolgáltathatnak megfelelő alapot biztonsági incidensek és rendellenes működés felismeréséhez.

    A kutatás része továbbá az LLM-alapú rendszerek támadási útvonalainak attack graph alapú modellezése és elemzése. Ez lehetőséget biztosít annak vizsgálatára, hogy az egyes sérülékenységek, komponensek és támadási lépések miként kapcsolódhatnak egymáshoz, illetve milyen útvonalakon keresztül vezethetnek egy rendszer kompromittálásához.

    Kísérleti, megfigyelési és tesztkörnyezet
    A kutatás egyik központi eleme egy olyan egységes test-framework kialakítása, amely lehetővé teszi az LLM-alapú rendszerek teljes működési láncának és életciklusának megfigyelését, elemzését és meghatározott feltételek mellett reprodukálható vizsgálatát. A cél nem csupán a modellkimenetek értékelése, hanem a teljes feldolgozási és végrehajtási folyamat nyomon követése, valamint annak vizsgálata, hogy az egyes rendszerkomponensek, konfigurációk és működési lépések milyen hatással vannak a végső eredményre.

    A keretrendszer támogatná különböző modellek, rendszerarchitektúrák és konfigurációk automatizált futtatását, a működéshez kapcsolódó események és metrikák gyűjtését, valamint az eredmények egységes kiértékelését és összehasonlítását.