Když někomu poprvé ukazuju agenta na e-maily, první minuty jsou nadšení. Pak přijde otázka. Většinou opatrně, jako by byla hloupá:

„A co když napíše nějakou blbost klientovi?“

Není hloupá. Je to ta úplně správná otázka a měl by ji položit každý, kdo zvažuje pustit AI ke svým ostrým datům. Ptám se jí sám u každého agenta, kterého stavím. Tenhle článek je odpověď - tři pojistky, bez kterých u mě agent nešáhne na nic, co jde vidět ven.

Proč je ten strach na místě

V IT dělám 18 let a naprostá většina průšvihů, které jsem viděl, nevznikla ze zlého úmyslu. Vznikla z dobré vůle v kombinaci s rychlostí. Někdo chtěl pomoct, jednal rychle a neměl celý obrázek.

Agent je přesně tohle, jen mnohem rychleji. Je to rychlost bez kontextu. Za minutu stihne víc než stážista za celé léto - a to platí pro užitečnou práci stejně jako pro škodu.

Jeden rozdíl proti člověku je zásadní. Junior po druhém smazaném souboru znejistí a přijde se zeptat. Agent ne. Nemá pocit v žaludku, který člověku říká, že tohle už je moc. Není to jeho chyba, prostě mu chybí to, co ty máš z deseti let v oboru: tušení, že tahle konkrétní akce je nevratná.

Proto u agenta neřeším primárně, jak je chytrý. Řeším, kam vůbec dosáhne.

Pojistka 1: k heslům se vůbec nedostane

Nejčastější chyba, kterou vidím u lidí, co si agenta staví sami: heslo napsané přímo do zadání. Do promptu, do konfiguračního souboru, do sdílené tabulky. „Přihlas se do fakturace, jméno je tohle, heslo tohle.“

Tak to u mě nefunguje. Agent dostane jen odkaz na heslo, ne heslo samotné. Skutečné přihlašovací údaje leží v trezoru, do kterého agent nevidí. Když má něco udělat, systém ho přihlásí za něj.

Proč to je důležité prakticky: agentovi chodí do rukou cizí text. E-maily od lidí, které neznáš, PDF od dodavatelů, obsah webových stránek. A v tom textu může být schovaná instrukce, která se snaží agenta zmanipulovat - říká se tomu prompt injection a není to teorie, děje se to. Když se to povede, útočník se dostane k tomu, co má agent po ruce. A pokud po ruce nemá žádné heslo, nemá co ukrást.

Je to stejný princip, jako když dáš údržbáři čip od vchodu místo kopie univerzálního klíče. Dovnitř se dostane, ale odejít s klíčem nemůže.

Pojistka 2: smí jen to, co mu výslovně dovolíš

Intuice říká vypsat seznam zakázaných věcí. Nesmíš mazat, nesmíš posílat peníze, nesmíš rušit schůzky.

Zakazování je předem prohraná bitva. Vždycky se najde způsob, jak se ke stejnému výsledku dostat jinou cestou, na kterou jsi v seznamu zákazů nepomyslel. To není chyba AI, to je vlastnost jakéhokoli seznamu zákazů - nikdy není úplný.

Obracím to. Agent má seznam toho, co smí, a všechno mimo ten seznam pro něj neexistuje.

Konkrétně u agenta na třídění pošty to vypadá takhle: umí číst příchozí schránku, umí zakládat štítky, umí uložit rozepsanou odpověď do konceptů. Odeslat e-mail neumí. Ne že by to měl zakázané - ta schopnost mu prostě není dána. Kdyby ho někdo sebevíc přemlouval, nemá čím.

Rozdíl mezi zakázaným a nedostupným je celý ten vtip. Zakázané se dá obejít. Nedostupné ne.

Pojistka 3: co jde ven, čeká na tvoje OK

Práci agenta si rozděl do tří kategorií:

Čtení. Projít schránku, najít v dokumentech, spočítat čísla. Tady se neptá, protože není co pokazit.

Příprava. Napsat návrh odpovědi, srovnat data do tabulky, připravit podklad. Taky se neptá - výsledek si stejně prohlédneš, než ho použiješ.

Akce ven nebo nevratná. Odeslat e-mail klientovi, poslat upomínku, smazat data, změnit něco na webu. Tady je stopka. Agent připraví, co by udělal, položí to před tebe a čeká. Dokud neklikneš, nestane se nic.

Tohle je přesně to, co myslím tím, že rutina zmizí, ale kontrola zůstává tobě. Nepřipravuješ ty odpovědi. Jen rozhoduješ, které půjdou ven.

A teď nepříjemná pravda, kterou ti nikdo, kdo prodává AI, neřekne: tohle tě zpočátku zpomalí. První týdny budeš odklikávat věci, které by agent zvládl sám, a několikrát si řekneš, že bys to napsal rychleji. To je normální a je to cena za to, že mu poznáš rukopis dřív, než ho pustíš dál.

Kdy hranici posunout

Ty pojistky nemají zůstat stejné napořád. Mají se uvolňovat podle toho, co uvidíš.

Po pár týdnech máš záznam o tom, co agent navrhoval a cos s tím udělal. Když u jednoho konkrétního typu úlohy padesátkrát po sobě odklikneš návrh beze změny, ta úloha je kandidát na uvolnění. Když u jiného pokaždé něco přepisuješ, tak ta zůstává, kde je.

Posouvej po kategoriích, ne plošně. Potvrzení termínu schůzky ať si posílá sám, to je rozumný krok. Ať si posílá e-maily, jak chce, rozumný krok není.

A co u sebe neuvolňuju nikdy, ani po roce provozu: cokoli, co má cenovku, právní důsledek, nebo se nedá vzít zpět. Nabídka s cenou, ukončení smlouvy, smazání dat, změna fakturačních údajů. Tam ten klik zůstává napořád. Ne proto, že bych agentovi nevěřil, ale proto, že chyba v téhle kategorii stojí víc než všechen čas, který by mi ušetřil.

A když pojistka selže?

Žádná pojistka není stoprocentní. Proto ještě čtvrtá věc, kterou nepočítám mezi pojistky, protože je to samozřejmost: záznam o všem, co agent udělal.

Když se něco stane, chceš vědět co, kdy a na základě čeho. Bez záznamu jenom hádáš a jediné, co ti zbyde, je agenta vypnout. Se záznamem najdeš konkrétní místo, opravíš pravidlo a jedeš dál.

Tohle je mimochodem důvod, proč nedoporučuju stavět agenta jako černou skříňku, do které nevidíš. Ne kvůli technické čistotě. Kvůli tomu, že první nepříjemnost přijde a ty budeš chtít vědět proč.

Shrnuto

Agentovi věřím, že má dobrou vůli. Nevěřím, že chápe důsledky svých činů. Tu zkušenost do toho zatím musím dodávat já.

Proto ty tři pojistky nejsou brzda nadšení. Jsou důvod, proč se agent vůbec dá pustit do ostrého provozu, aniž bys u toho v noci nespal.

Jestli zvažuješ pustit AI ke svým datům a nejsi si jistý, kde vést čáru, rezervuj si 15 minut po telefonu zdarma. Řekneš mi, co by měl agent dělat, a projdeme spolu, co by u tebe směl a co ne. I kdyby z toho nakonec vyšlo, že se to teď stavět nevyplatí, budeš to vědět.