AI- és ágensrendszerek felügyelete SOC-módszertan segítségével – AI purple teaming

Mi történik, ha egy AI-asszisztens a támadó utasításait követi egy dokumentum feldolgozása közben? Észrevesszük-e, ha egy ágens jogosulatlanul használ egy eszközt, védett adatot továbbít, vagy manipulált naplóadatok alapján félrevezető következtetést ad? Az AI-rendszerek terjedésével egyre fontosabb kérdés, hogyan figyelhetjük meg és ellenőrizhetjük biztonsági szempontból a működésüket.

 

A témához kapcsolódó szakdolgozat / diplomamunka témák ITT...

    Kutatásunk az AI-asszisztensek és eszközöket használó ágensek támadói szemléletű vizsgálatát kapcsolja össze a biztonsági műveleti központok, vagyis SOC-ok felügyeleti, detekciós és incidenskezelési módszertanával. Az AI purple teaming megközelítésben a támadó és védelmi oldal együttműködik: a kontrollált támadási kísérletek feltárják a gyenge pontokat, eredményeik pedig a megfigyelési képességek és védelmi megoldások fejlesztését támogatják.

    A projekt célja egy moduláris, cyber range környezetbe illeszthető kutatási platform kialakítása, amelyben reprodukálhatóan vizsgálhatók az AI-rendszerek elleni támadások és az alkalmazható védelmek. Kiemelt téma az indirekt prompt injection, amikor a támadói utasítás egy külső dokumentumon, naplóbejegyzésen vagy eszközválaszon keresztül befolyásolja a rendszer működését. A vizsgálatok kiterjednek a válaszok és elemzési következtetések manipulálására, az adatszivárgásra, az eszközhasználatra és a jogosultsági határok átlépésére.

    A támadói vizsgálatokra építve az AI-SOC megközelítés a rendszer összetevőinek leltárát – az AI-BOM-ot –, a futásidejű eseményeket és a végrehajtott műveletek bizonyítékait kapcsolja össze. A cél annak feltárása, hogy milyen adatokból ismerhető fel a támadói befolyás, hol vezethetők be hatékony detekciós szabályok, és mely pontokon akadályozható meg egy jogosulatlan művelet. A kísérletekben a biztonsági előnyök mellett a téves riasztásokat, a szabályos feladatok teljesítését és az erőforrásigényt is értékeljük.

    Kutatásunk többek között a következő kérdésekre keresi a választ:
    • Milyen események és összefüggések jelzik, hogy egy AI-rendszer működését támadói tartalom befolyásolja?
    • Hogyan különíthető el a támadás hatása az AI-rendszer általános pontatlanságától?
    • Mit ad hozzá az AI-BOM és a futásidejű események összekapcsolása a biztonsági felügyelethez?
    • Hol érdemes megfigyelési pontokat, detekciós szabályokat és végrehajtási kontrollokat bevezetni?
    • Hogyan csökkenthető a támadások hatása úgy, hogy az AI-asszisztensek és ágensek továbbra is hasznosan működjenek?