Firmy dnes AI často zavádějí živelně, bez přehledu, bez registru nástrojů a bez jasně určené odpovědnosti. To vytváří rizika nejen provozní a bezpečnostní, ale i právní, protože organizace často netuší, jakou roli vůči AI systémům vlastně mají.
Jindřich Kalíšek je CEO a hlavní architekt českého regtech start-upu regfor, který vyvíjí intuitivní nástroj pro efektivní a přehlednou správu legislativních a regulatorních požadavků, řízení rizik a podnikové compliance (GRC), management dodavatelského řetězce, automatizaci auditů, správu incidentů a vzdělávání v digitálních kompetencích.
Působí též jako advokát se specializací na právo informačních a nových technologií, regulatoriku a compliance, především v oblastech ochrany informací a osobních údajů, kybernetické bezpečnosti, digitální provozní odolnosti finančních institucí, vývoje a ochrany software a poskytování IT služeb.
O kybernetické bezpečnosti a ochraně osobních údajů přednáší na Právnické fakultě UK v Praze i odborných konferencích a vzdělávacích akcích.
Regfor se stal také dalším signatářem Etického Kompasu AI, který vznikl v rámci projektu AI Kompas od Business Leaders Forum. Etický Kompas AI je soubor pěti principů a s nimi souvisejících konkrétních opatření, které mohou společnostem a organizacím sloužit jako vodítko na cestě k odpovědnému a udržitelnému užívání umělé inteligence.
Přečtěte si celý rozhovor s JUDr. Ing. Jindřichem Kalíškem, Ph.D. CIPP/E CIPM FIP:
Mnoho firem dnes tvrdí, že „už AI používají“, ale ve skutečnosti jde často
o decentralizované experimenty napříč organizací. Jak dnes vypadá typická realita firem, se kterými se setkáváte?
Moje zkušenost je taková, že AI se dnes v organizacích zavádí živelně, „rozlévá“ se v podobě stínových aplikací (shadow IT / shadow AI) a nebo cloudových služeb (SaaS), které se často nakupují bez metodického vyhodnocení byznysových potřeb a jejich pokrytí novými technologiemi.
Tento „nadšenecký“ přístup je pochopitelný, ale jeho dopady jsou nepříjemné – management mnohdy ani neví, jaké nástroje a na jaká data se reálně používají. Z pohledu Aktu o umělé inteligenci (AIA) je takový přístup dlouhodobě neudržitelný, protože regulace vyžaduje komplexní řízení rizik napříč celým životním cyklem AI – od identifikace potřeby, přes posouzení a bezpečné nasazení, až po monitoring a vyřazení z provozu.
Ve vašich materiálech zaznívá téma shadow AI, tedy používání AI nástrojů mimo oficiální governance firmy. Jak velký problém to dnes reálně je? A jaká úskalí to firmě přináší?
Je to obrovský problém, protože neschválené a neevidované využívání AI přináší skrytá rizika. A nedávno publikovaný výzkum University of Melbourne a KPMG ukázal, že přestože téměř 2/3 pracovníků používají nástroje AI ve své práci pravidelně, jen menšina je ochotna jejich využití přiznat svým kolegům a zaměstnavateli.
Z pohledu AIA se tak firma může nevědomky stát „zavádějícím subjektem“ (deployer) vysoce rizikového systému, aniž by vůbec tušila, že musí plnit přísné zákonné povinnosti, nebo se dokonce může stát „poskytovatelem“ (provider), pokud její zaměstnanci daný model podstatně upraví. Dalším obrovským úskalím je compliance souběh s jinými předpisy; zaměstnanci mohou do stínové AI nahrávat citlivá data, čímž snadno poruší pravidla GDPR nebo kyberbezpečnostní předpisy.
Když dnes přijdete do firmy, která chce AI začít řídit systematicky, co je první věc, kterou obvykle zjistíte, že vůbec nemá podchycenou?
Téměř vždy chybí inventář AI nástrojů, tedy jakýsi centrální registr a nebo aspoň jeho pracovní verze. Bez inventáře ale nevíte, co máte řídit, a nemůžete provést základní klasifikaci rizik (risk triage), což je naprostý základ pro to, abyste určili, jaká pravidla z AIA se na vás vztahují.
Druhou nejčastější mezerou je chybějící elementární gramotnost v oblasti AI (AI literacy). Řada lidí povaze AI nástrojů nerozumí, nechápe jejich omezení, neumí posoudit jejich vhodnost na úlohy, ke kterým je každodenně využívají. Přestože v souvislosti s Digitálním omnibusem pro AI došlo k jisté revizi povinnosti zajistit dostatečné proškolení personálu, správně nastavené vzdělávání je nejjednodušší a nejefektivnější cestou, jak zajistit, že se organizace při zavádění nástrojů AI vyhne těm nejzásadnějším přešlapům a problémům.
Spousta organizací stále vnímá AI hlavně jako technologický projekt. Vy ale často mluvíte o governance, odpovědnosti a procesech. Kde se podle vás firmy nejčastěji mýlí v tom, co vlastně implementace AI znamená?
Firmy se nejčastěji mýlí v tom, že AI berou jen jako další IT nástroj, položku v technologickém portfoliu. Uniká jim, že AI je často zásah do klíčových procesů organizace a že bez jasného vlastníka se s tím spojená rizika nebezpečně „rozpijí“ mezi IT oddělení, byznys a compliance.
Přitom AIA a jeho aplikační praxe stojí především na principu odpovědnosti a doložitelnosti (accountability). Efektivní implementace proto neznamená jen zapnout software, ale vybudovat strukturované procesy a vnitřní kontrolní mechanismy – od schvalovacího workflow, lidské kontroly zásadních rozhodnutí a výstupů, průběžné měření rizik i výkonu až po ustavení řídícího výboru (AI Steering Committee).
Ve vašich prezentacích zmiňujete pravidlo „no registry, no production“. Co by měl minimálně obsahovat AI registr, aby měl skutečně praktickou hodnotu a nebyl jen další compliance tabulka?
Kvalitní AI registr musí fungovat jako živý nástroj, který pomáhá řídit rizika. Minimálně by měl u každého případu užití (use-case) definovat interního vlastníka, právní roli firmy (typicky zda je poskytovatelem či zavádějícím subjektem), klasifikaci rizika, kategorie zpracovávaných dat a identifikaci dodavatele.
Klíčové je také přesně rozlišovat mezi obecným „modelem“ a konkrétním „systémem“ či integrací, protože ten samý jazykový model má úplně jinou compliance stopu, pokud ho použijete pro psaní e-mailů, než když s ním automatizujete významná byznysová rozhodnutí.
Často se mluví o principu „human in the loop“, ale v praxi to někdy znamená jen formální potvrzovací kliknutí člověka. Jak podle vás poznat, že lidský dohled nad AI je skutečný a ne jen papírový?
Skutečný dohled vyžaduje, aby lidé pověření kontrolou měli dostatečnou odbornou kapacitu a porozuměli omezením AI systému; musí být schopni odhalit případné zkreslení (bias) a mít pravomoc výstup aktivně ignorovat nebo celý systém zastavit.
V praxi se skutečný lidský dohled pozná tak, že o něm existují prokazatelné a auditovatelné záznamy (logy), a to včetně záznamů událostí, kdy člověk výstup AI systému nepřijal a nebo zastavil. U citlivých agend, jako je například HR scoring nebo zdravotnictví, musí existovat povinný záznam o tom, jaké bylo doporučení AI, jaké bylo konečné lidské rozhodnutí a případné odůvodnění odchylky.
Kde dnes firmy v oblasti AI a práce s lidmi nejčastěji podceňují rizika – je to bias, kvalita dat, přílišná automatizace rozhodování, nebo něco jiného?
Vedle samotné kvality dat, což je téma na samostatný rozhovor, a rizika systematické diskriminace (biasu) firmy nejčastěji podceňují situace, kdy svou vlastní činností nevědomky změní svou právní roli. Pokud organizace jako uživatel (zavádějící subjekt) převezme cizí AI model a podstatně ho přetrénuje na vlastních chráněných či dokonce citlivých datech, může se podle AIA z pohledu práva stát „poskytovatelem“ (provider), na kterého okamžitě dopadají ty nejnáročnější regulatorní a certifikační povinnosti.
Dalším rizikem, které organizace obrovsky podceňují, je také kybernetická bezpečnost. AI systémy jsou a budou v hledáčku útočníků, protože ovlivňují podnikové procesy a rozhodovací mechanismy. Již dnes přitom dochází k útokům přímo na tyto nástroje a podkladové modely (např. data poisoning, kdy útočník cíleně ovlivní trénovací data a znehodnotí přesnost celého modelu).
Pokud byste měl navrhnout „minimum viable AI governance“ pro středně velkou firmu na příštích 12 měsíců, co by byly tři nejdůležitější věci, které musí zvládnout?
V prvé řadě je to zmapování terénu: vytvoření centrálního AI registru a provedení základní klasifikace rizik u všech nasazených nástrojů.
Jako druhé musí firma zvládnout řízení dodavatelů (vendor management), což znamená zakomponovat bezpečnostní a právní prověrky umělé inteligence přímo do procesu nákupu technologií, aby žádný software neprošel bez kontroly.
Třetím pilířem je zajištění plošné gramotnosti v oblasti AI, protože proškolený personál je tím nejlepším štítem proti neetickému a nezákonnému využívání AI v každodenní operativě.
Co dnes podle vás nejvíc odlišuje firmy, které budou schopné AI dlouhodobě využívat efektivně a bezpečně, od těch, které budou jen reagovat na jednotlivé problémy a regulace?
Úspěšné firmy nevytvářejí pro AI nová izolovaná byrokratická sila, ale chytře propojují compliance požadavky s existujícími procesy v rámci tzv. „cross-regulatory mappingu“. Například namísto tvorby tří různých dokumentů vytvoří jeden efektivní „impact-assessment“ balíček, který před spuštěním projektu naráz vyřeší posouzení dopadů na základní práva (FRIA), vliv na ochranu osobních údajů (DPIA) i rizika předávání dat (TIA). Odlišuje je tedy schopnost přetavit regulatorní texty do jasných, praktických a auditovatelných procesů, které byznys nebrzdí, ale chrání.
Když se podíváme několik let dopředu – myslíte si, že hlavním tématem kolem AI nakonec nebude samotná technologie, ale důvěra? Tedy schopnost firem vysvětlit, kontrolovat a obhájit, jak AI používají?
Naprosto souhlasím. Ostatně, budování důvěry a transparentnost jsou stěžejními pilíři AIA. Navíc to potvrzují i data – už zmiňovaný výzkum University of Melbourne a KPMG ukázal, že důvěra veřejnosti v AI spíše klesá.
Pokud chtějí podniky předejít budoucím problémům se ztrátou důvěry, měly by s touto metrikou pracovat už nyní. Jde především o tzv. „vysvětlitelnost“ (explainability) rozhodnutí nástrojů AI – vysoce rizikové systémy zkrátka nesmí fungovat jako neproniknutelné „černé skříňky“ (blackboxy). I proto AIA přímo zakotvuje právo dotčených osob získat srozumitelné vysvětlení toho, jakou roli hrál systém AI v rozhodnutí, které mělo vliv na jejich práva, zdraví či bezpečnost. Organizace, které tyto požadavky zabudují přímo do designu svých služeb a dokážou svá rozhodnutí spolehlivě zpětně auditovat, tím získají obrovskou konkurenční výhodu.
Key-takeaways z rozhovoru:
- Největší riziko není AI sama, ale její neřízené používání.
- Bez registru AI nástrojů firma neví, co vlastně provozuje.
- AI governance není jen úkol pro IT, ale pro celé vedení firmy.
- Lidský dohled musí být skutečný, ne jen formální potvrzení výstupu.
- Důvěra, auditovatelnost a vysvětlitelnost budou rozhodovat o tom, kdo AI zvládne dlouhodobě.
Hlavní myšlenkou rozhovoru je, že AI se nemá řídit jako izolovaný technologický experiment, ale jako součást firemních procesů, compliance a řízení rizik. Základním minimem je centrální evidence AI, klasifikace rizik, řízení dodavatelů, vzdělávání lidí a skutečný lidský dohled nad citlivými rozhodnutími.
Rozhovor vznikl v rámci projektu AI Kompas od Business Leaders Forum.
Hlavním partnerem projektu je Vodafone Czech Republic.
Více informací o projektu včetně dalších rozhovorů a článků naleznete na webu: https://blf.cz/ai-kompas/