GenAI ve firmách: kde pomáhá a jak začít bezpečně

Vyberte práci, kterou umíte zkontrolovat

Máte před sebou dlouhý návod a potřebujete z něj připravit krátkou odpověď kolegovi. To je vhodný první úkol pro generativní AI: podklad znáte a dokážete posoudit, zda návrh odpovídá jeho obsahu. Podobně můžete zkusit osnovu dokumentu nebo návrh odpovědi zákazníkovi. U práce, jejíž správný výsledek sami neumíte ověřit, byste se na přesvědčivý text spoléhali bez kontroly.

Plynulá odpověď může obsahovat vymyšlené údaje. Tento problém popisuje i finální profil NIST AI 600-1 z července 2024, který se věnuje také soukromí, bezpečnosti a vztahu člověka k AI. Pro rozhodnutí o nasazení proto nestačí působivá ukázka. Potřebujete znát dopad chyby v konkrétní práci.

Kde se vyplatí hledat první použití

Začal bych úkolem, který se opakuje a který lidé už dnes zvládají. Získáte srovnání času i kvality. Pokud není jasné, kdo posoudí správný výsledek, nejdřív vyřešte pracovní postup. Připojení modelu tuto mezeru neodstraní.

• Interní znalosti: asistent najde postup reklamace nebo pravidla cestovních výdajů a nabídne odkaz na zdroj. Odpověď má respektovat oprávnění zaměstnance a stáří dokumentu.
• Návrhy textů: obchodník připraví nabídku z ověřených podkladů. Člověk zkontroluje cenu, rozsah služby, termíny a sliby zákazníkovi. AI pouze navrhne formulaci.
• Asistovaná zákaznická služba: pracovník dostane shrnutí komunikace a návrh odpovědi. Odeslání, výjimky z pravidel a řešení sporné reklamace zůstávají na něm.
• Vývoj softwaru: programátor využije návrh testů nebo vysvětlení cizího kódu. Změny projdou kontrolou, testy a běžným schvalováním před nasazením.

Propojení s vyhledáváním v dokumentech, označované jako RAG, může dodat potřebné podklady. Nezaručuje však pravdivost odpovědi: systém může najít neplatný dokument nebo jeho obsah chybně vyložit. Také NIST uvádí RAG mezi zvažovanými opatřeními proti chybným výstupům, nikoli jako univerzální záruku.

Jak připravit malý, bezpečný pilot

Na první zkoušku stačí jedna práce a malá skupina lidí, kteří ji znají. Domluvte si období nebo počet případů, během kterých porovnáte běžné i složité situace. U zákaznických odpovědí ponechte odesílání člověku. Můžete tak návrh opravit nebo odmítnout a při problému pokračovat původním způsobem.

1. 01

   Popište dnešní postup a změřte čas na několik běžných i obtížných případů. Zaznamenejte, co znamená přijatelný výsledek.

2. 02

   Určete vlastníka pilotu, schválený nástroj, povolená data a situace, které se mají předat člověku bez použití AI.

3. 03

   Připravte testovací případy včetně chybějících podkladů, rozporů a požadavků, na které systém nemá odpověď.

4. 04

   Začněte na upravených nebo zkušebních datech. Přístup k živým systémům přidávejte až po ověření oprávnění a kontrol.

5. 05

   Domluvte způsob hlášení chyby a návrat k původnímu postupu. Uživatel má mít možnost návrh odmítnout bez obcházení procesu.

Data, dodavatel a oprávnění nejsou vedlejší detail

U dodavatele ověřte, kam odcházejí vstupy, kdo k nim může přistupovat, jak dlouho se uchovávají a zda se používají k trénování. Prověřte i logy, mazání, subdodavatele a smluvní podmínky konkrétní služby. Praktické doporučení: do pilotu neposílejte celé zákaznické spisy, pokud pro úkol stačí několik vybraných údajů.

Doporučení NCSC pro bezpečný vývoj AI řeší bezpečnost od návrhu přes nasazení až po provoz. Připojení modelu k firemnímu systému tedy posuzujte jako nové rozhraní: omezte oprávnění, oddělte čtení od změn a mějte dohledatelné důležité operace.

Text v příloze nebo na webu může obsahovat pokyn, který se snaží přesměrovat chování asistenta. NCSC v části o bezpečném návrhu doporučuje posoudit útoky a omezit akce, které AI může spouštět. Podklady proto nesmějí samy získat právo odeslat e-mail, změnit účet nebo zpřístupnit další dokumenty. V pilotu je rozumné ponechat takové akce k samostatnému potvrzení člověkem.

Měřte čistou úsporu i kvalitu

Samotný čas generování nic neříká o hotové práci. Porovnávejte celkový čas na případ: zadání, čekání, ověření, opravy i následné řešení chyby. Výpočet udělejte nad srovnatelnými případy se stejnými nároky na kvalitu.

Vedle času sledujte věcnou správnost, počet nutných oprav a podíl použitelných výstupů. Výsledky rozdělte podle obtížnosti případů. Průměr může zakrýt problémy se složitými požadavky. Do ekonomického vyhodnocení přidejte licenci, integraci, školení a průběžnou správu. Někdy se osvědčí jen část původně zamýšleného použití.

Z pilotu udělejte spravovaný proces

Po úspěšném pilotu sepište pravidla používání, odpovědnosti a kontrolu změn dodavatele nebo modelu. ISO/IEC 42001:2023 poskytuje rámec systému řízení AI. ISO/IEC 27701:2025 se zaměřuje na systém řízení ochrany soukromí. Jejich propojení pomáhá sladit správu AI a práci s osobními údaji. Použití rámce ani certifikace však samo o sobě nezaručuje správnou odpověď nebo právní soulad každého nasazení.