Prompt injection: ochrana firemní AI před podvrženými pokyny

Co znamená prompt injection

Prompt injection je vstup, který se snaží změnit chování jazykového modelu pomocí podvržených pokynů. Může jít o přímý požadavek v chatu i o text vložený do zdroje, který aplikace načte. OWASP rozlišuje přímou a nepřímou injekci. Riziko roste, když model pracuje s citlivými daty nebo může ovládat další nástroje.

U pomocníka, který jen shrnuje text, můžete chybu zachytit při čtení návrhu. Pokud stejný pomocník umí odeslat dokument, může škodu způsobit dřív, než odpověď otevřete. Při posouzení proto projděte data, ke kterým se aplikace dostane, a akce, které smí provádět. Podle nich zvolíte potřebné kontroly.

Útok může být schovaný v běžném podkladu

Podvržený pokyn může přijít z webové stránky, výsledku vyhledávání nebo dokumentu v interní znalostní bázi.

Externí text může být užitečným podkladem, ale jeho autor nemá získat pravomoc měnit zadání. Oddělte důvěryhodné instrukce od načteného obsahu a posuzujte i zdroje, které původně vypadaly bezpečně. Dokument může být později upraven a škodlivý obsah se může dostat do sdílené složky přes jiného uživatele.

Omezte, co aplikace může vykonat

Asistentovi pro shrnutí dokumentů bych nedal nástroj na odesílání souborů. Pro tento úkol ho nepotřebuje a chyba modelu by získala zbytečně větší dopad. Pokud má aplikace něco odesílat, musí příjemce, soubor a oprávnění ověřit samotný odesílací nástroj. Pokyn v příloze tyto kontroly nesmí obejít.

U vyhledávání v dokumentech omezte podklady podle přístupových práv ještě před jejich vložením do kontextu. U citlivých akcí vyžadujte potvrzení konkrétní změny. Pro první verzi často pomůže režim pouze pro čtení. Návrh oprávnění je zásadní také u AI agentů ve firemních procesech.

Proč jeden filtr nestačí

Doporučení OWASP pro prevenci prompt injection kombinují více kontrol. Patří mezi ně rozlišení instrukcí a podkladů, validace vstupů, kontrola výstupů a řízení použití nástrojů. Samostatný bezpečnostní model může být další vrstvou, sám ale také může být ovlivněn podvrženým vstupem.

U návrhu aplikace si projděte cestu dat od přijetí až po zobrazení nebo odeslání výsledku. Ověřujte i odkazy, cílové adresy a HTML výstup, které mohou způsobit další účinky mimo odpověď v chatu. Vhodné je vyjít z modelování hrozeb při návrhu AI podle NCSC a popsat možné škody pro konkrétní proces.

Ověřte obranu a připravte reakci na chybu

Do zkušebních dokumentů vložte pokyn k odeslání cizích dat, změně příjemce a obejití schválení. Stejné situace zkuste v příloze i odpovědi nástroje. Za výsledek testu považuji dostupná data a provedené akce. Zdvořilé odmítnutí v chatu nestačí, pokud aplikace mezitím odeslala soubor.

Zařaďte i legitimní požadavky, aby obrana neblokovala běžnou práci. Zkoušejte opakované požadavky a více kroků za sebou. Výsledky uchovávejte jako regresní testy a spouštějte je po změně modelu, instrukcí či integrace. Ve vlastní sadě odlište nepovolenou akci od úlohy, kterou aplikace jednoduše neumí.

Co připravit pro řešení incidentu

Při podezřelém chování budete potřebovat zjistit, co asistent četl a co provedl. Připravte proto záznam vstupu, načtených podkladů a navržených i provedených akcí. Domluvte také, kdo může vypnout dotčený nástroj nebo zdroj dokumentů. Záznamy chraňte přístupovými právy a přiměřenou dobou uchování, aby při řešení chyby nevznikala další nechráněná kopie citlivých dat.

Po incidentu ověřte rozsah přístupu a dopad na další systémy, opravte příčinu a doplňte test, který ji zachytí. U znalostních bází navazuje návrh RAG nad firemními dokumenty. Před nasazením firemního asistenta můžete probrat jeho datové zdroje a integrační hranice.