„Je to téma posledních měsíců. S tím, jak se rozmohlo používání nových nástrojů, se také násobí hrozby a to, jak často se objevují,“ říká Ivana Kočíková, bezpečnostní expertka Aricomy, která se specializuje na celé tohle nové téma včetně navazující legislativy. Evropská unie totiž jako první na světě zavádí komplexní regulaci umělé inteligence s názvem AI Act. Ten stanovuje pravidla, povinnosti a požadavky pro vývoj, nasazení a používání AI systémů.
„Už teď víme, že firmy a organizace přistupují k AI nástrojům různě. Některé je nasazují rychle a bez hlubší analýzy dopadů, jiné jsou naopak ostražitější. My, kteří se pohybujeme v oblasti kybernetické bezpečnosti, k tomu navíc přidáváme kontext – v posledních měsících můžeme sledovat nárůst zneužití umělé inteligence při cílených podvodech, phishingových kampaních nebo automatizovaných útocích. Výrazně přibylo i deepfake útoků, a to v některých případech v řádu stovek až tisíců procent. Stejně efektivně, jako se nové možnosti naučili využívat běžní uživatelé, ji dnes zvládají nasadit i útočníci, a to s čím dál větší mírou sofistikovanosti,“ varuje Kočíková.
Právě proto přináší AI Act pro některé organizace nové povinnosti, například v oblasti řízení rizik, správy dat nebo kybernetické bezpečnosti. V Česku má v koordinaci této evropské regulace hlavní roli ministerstvo průmyslu a obchodu, které nyní připravuje navazující pravidla a postupy – od února 2025 už v celé Unii platí zákaz některých nepřípustných praktik, například manipulativních technik zneužívajících zranitelnosti lidí, a další právní mantinely se budou stavět.
Platit bude mimo jiné rozdělení systémů umělé inteligence podle míry rizikovosti – na zakázané, vysoce rizikové, systémy s omezeným a s minimálním rizikem. Podle toho, které z nich firmy nebo instituce využívají, se na ně budou vztahovat konkrétní povinnosti a požadovaná opatření.
Porozumění jako nejlepší obrana
„U části lidí to budí obavu, co všechno nového budou muset kvůli novým pravidlům dodržovat a nastavit. Jenže otázka, co vlastně v práci používáme a jak to máme zabezpečené, je důležitá sama o sobě, bez ohledu na to, jestli právní regulace existuje nebo ne,“ popisuje Ivana Kočíková.
Hlavní rozdíl je podle ní často v tom, zda se nástroje používají koordinovaně a vědomě v rámci firemních pravidel, nebo jednotlivě, bez znalosti možných dopadů. Proto je právě teď důležité věnovat se edukaci. „Nejen o tom, co říká AI Act, ale hlavně o tom, jak nástroje umělé inteligence fungují, jaké situace mohou v praxi nastat a jaká rizika z toho plynou. Pokud lidé znají souvislosti, dokážou se rozhodovat zodpovědněji a bezpečněji,“ upozorňuje bezpečnostní expertka. Důležitost kritického myšlení zkrátka do budoucna jenom poroste.
Bez kontextu není kontrola: proč sledovat vstupy AI systémů
Část povinností, které AI Act definuje, už firmy a instituce ze strategických odvětví znají. Zmapování nástrojů a jejich klasifikace pro ně bude základ a ani analýza rizik pro některé nebude nic nového. U systémů využívajících umělou inteligenci ale přibývá další požadavek, a to schopnost zpětně doložit, s jakými daty systém pracoval.
„Pokud ho začneme používat a on z nějakého důvodu začne generovat špatná rozhodnutí, musí být možnost zpětně dohledat, na základě jakých vstupů a kdy k tomu došlo. Záměrné ovlivnění chybnými nebo škodlivými vstupy totiž může být i formou útoku. Právě proto je důležité zaznamenávat nejen to, jaký výstup model vygeneroval, ale i kontext, ve kterém rozhodoval. U vysoce rizikových systémů využívaných v bankovnictví, zdravotnictví nebo energetice to může mít zásadní dopady,“ vysvětluje Ivana Kočíková a pochvaluje si, že jsme tentokrát proti jiným technologickým změnám v poměrně dobré výchozí pozici. Právě teď je vhodný moment nastavit si základní pravidla tak, aby se v budoucnu nemusely řešit zbytečné komplikace.