AI- és ágensrendszerek felügyelete SOC-módszertan segítségével – AI purple teaming
Mi történik, ha egy AI-asszisztens a támadó utasításait követi egy dokumentum feldolgozása közben? Észrevesszük-e, ha egy ágens jogosulatlanul használ egy eszközt, védett adatot továbbít, vagy manipulált naplóadatok alapján félrevezető következtetést ad? Az AI-rendszerek terjedésével egyre fontosabb kérdés, hogyan figyelhetjük meg és ellenőrizhetjük biztonsági szempontból a működésüket.
A témához kapcsolódó szakdolgozat / diplomamunka témák ITT...
Kutatásunk az AI-asszisztensek és eszközöket használó ágensek támadói szemléletű vizsgálatát kapcsolja össze a biztonsági műveleti központok, vagyis SOC-ok felügyeleti, detekciós és incidenskezelési módszertanával. Az AI purple teaming megközelítésben a támadó és védelmi oldal együttműködik: a kontrollált támadási kísérletek feltárják a gyenge pontokat, eredményeik pedig a megfigyelési képességek és védelmi megoldások fejlesztését támogatják.
A projekt célja egy moduláris, cyber range környezetbe illeszthető kutatási platform kialakítása, amelyben reprodukálhatóan vizsgálhatók az AI-rendszerek elleni támadások és az alkalmazható védelmek. Kiemelt téma az indirekt prompt injection, amikor a támadói utasítás egy külső dokumentumon, naplóbejegyzésen vagy eszközválaszon keresztül befolyásolja a rendszer működését. A vizsgálatok kiterjednek a válaszok és elemzési következtetések manipulálására, az adatszivárgásra, az eszközhasználatra és a jogosultsági határok átlépésére.
A támadói vizsgálatokra építve az AI-SOC megközelítés a rendszer összetevőinek leltárát – az AI-BOM-ot –, a futásidejű eseményeket és a végrehajtott műveletek bizonyítékait kapcsolja össze. A cél annak feltárása, hogy milyen adatokból ismerhető fel a támadói befolyás, hol vezethetők be hatékony detekciós szabályok, és mely pontokon akadályozható meg egy jogosulatlan művelet. A kísérletekben a biztonsági előnyök mellett a téves riasztásokat, a szabályos feladatok teljesítését és az erőforrásigényt is értékeljük.
Kutatásunk többek között a következő kérdésekre keresi a választ:
• Milyen események és összefüggések jelzik, hogy egy AI-rendszer működését támadói tartalom befolyásolja?
• Hogyan különíthető el a támadás hatása az AI-rendszer általános pontatlanságától?
• Mit ad hozzá az AI-BOM és a futásidejű események összekapcsolása a biztonsági felügyelethez?
• Hol érdemes megfigyelési pontokat, detekciós szabályokat és végrehajtási kontrollokat bevezetni?
• Hogyan csökkenthető a támadások hatása úgy, hogy az AI-asszisztensek és ágensek továbbra is hasznosan működjenek?
