Jak se ve vaší firmě pracuje s AI? Teď je čas to zmapovat, nejen kvůli zákonu

2. 7. 2025

Jaké používáte AI nástroje? A máte přehled, jaké využívají kolegové ve firmě? A víte, kde data do nich vložená končí? Rovnou říkáme, tenhle článek vás nemá strašit. Ale víme také, že když manažeři dostanou předchozí tři otázky, řada z nich znejistí. A protože využívání umělé inteligence bude jen bobtnat, je ten správný čas nastavit mantinely, aby se ze skvělé pomůcky nestala bezpečnostní hrozba.

„Je to téma posledních měsíců. S tím, jak se rozmohlo používání nových nástrojů, se také násobí hrozby a to, jak často se objevují,“ říká Ivana Kočíková, bezpečnostní expertka Aricomy, která se specializuje na celé tohle nové téma včetně navazující legislativy.  Evropská unie totiž jako první na světě zavádí komplexní regulaci umělé inteligence s názvem AI Act. Ten stanovuje pravidla, povinnosti a požadavky pro vývoj, nasazení a používání AI systémů.

Nové možnosti, nová rizika

„Už teď víme, že firmy a organizace přistupují k AI nástrojům různě. Některé je nasazují rychle a bez hlubší analýzy dopadů, jiné jsou naopak ostražitější. My, kteří se pohybujeme v oblasti kybernetické bezpečnosti, k tomu navíc přidáváme kontext – v posledních měsících můžeme sledovat nárůst zneužití umělé inteligence při cílených podvodech, phishingových kampaních nebo automatizovaných útocích. Výrazně přibylo i deepfake útoků, a to v některých případech v řádu stovek až tisíců procent. Stejně efektivně, jako se nové možnosti naučili využívat běžní uživatelé, ji dnes zvládají nasadit i útočníci, a to s čím dál větší mírou sofistikovanosti,“ varuje Kočíková.

Právě proto přináší AI Act pro některé organizace nové povinnosti, například v oblasti řízení rizik, správy dat nebo kybernetické bezpečnosti. V Česku má v koordinaci této evropské regulace hlavní roli ministerstvo průmyslu a obchodu, které nyní připravuje navazující pravidla a postupy – od února 2025 už v celé Unii platí zákaz některých nepřípustných praktik, například manipulativních technik zneužívajících zranitelnosti lidí, a další právní mantinely se budou stavět.

Platit bude mimo jiné rozdělení systémů umělé inteligence podle míry rizikovosti – na zakázané, vysoce rizikové, systémy s omezeným a s minimálním rizikem. Podle toho, které z nich firmy nebo instituce využívají, se na ně budou vztahovat konkrétní povinnosti a požadovaná opatření.

Porozumění jako nejlepší obrana

„U části lidí to budí obavu, co všechno nového budou muset kvůli novým pravidlům dodržovat a nastavit. Jenže otázka, co vlastně v práci používáme a jak to máme zabezpečené, je důležitá sama o sobě, bez ohledu na to, jestli právní regulace existuje nebo ne,“ popisuje Ivana Kočíková.

Hlavní rozdíl je podle ní často v tom, zda se nástroje používají koordinovaně a vědomě v rámci firemních pravidel, nebo jednotlivě, bez znalosti možných dopadů. Proto je právě teď důležité věnovat se edukaci. „Nejen o tom, co říká AI Act, ale hlavně o tom, jak nástroje umělé inteligence fungují, jaké situace mohou v praxi nastat a jaká rizika z toho plynou. Pokud lidé znají souvislosti, dokážou se rozhodovat zodpovědněji a bezpečněji,“ upozorňuje bezpečnostní expertka. Důležitost kritického myšlení zkrátka do budoucna jenom poroste.

Bez kontextu není kontrola: proč sledovat vstupy AI systémů

Část povinností, které AI Act definuje, už firmy a instituce ze strategických odvětví znají. Zmapování nástrojů a jejich klasifikace pro ně bude základ a ani analýza rizik pro některé nebude nic nového. U systémů využívajících umělou inteligenci ale přibývá další požadavek, a to schopnost zpětně doložit, s jakými daty systém pracoval.

„Pokud ho začneme používat a on z nějakého důvodu začne generovat špatná rozhodnutí, musí být možnost zpětně dohledat, na základě jakých vstupů a kdy k tomu došlo. Záměrné ovlivnění chybnými nebo škodlivými vstupy totiž může být i formou útoku. Právě proto je důležité zaznamenávat nejen to, jaký výstup model vygeneroval, ale i kontext, ve kterém rozhodoval. U vysoce rizikových systémů využívaných v bankovnictví, zdravotnictví nebo energetice to může mít zásadní dopady,“ vysvětluje Ivana Kočíková a pochvaluje si, že jsme tentokrát proti jiným technologickým změnám v poměrně dobré výchozí pozici. Právě teď je vhodný moment nastavit si základní pravidla tak, aby se v budoucnu nemusely řešit zbytečné komplikace.

„U části lidí to budí obavu, co všechno nového budou muset kvůli novým pravidlům dodržovat a nastavit. Jenže otázka, co vlastně v práci používáme a jak to máme zabezpečené, je důležitá sama o sobě, bez ohledu na to, jestli právní regulace existuje nebo ne.“

Od 3D modelu jater k virtuální realitě. Rychleji propojí dárce a příjemce orgánů

11. 2. 2025

David Sibřina má v práci při ruce věc, kterou zaručeně nikdo z vás nemá. Je to 3D výtisk jater se všemi jejich výběžky a výstupky a je to tak trochu symbol. Výzkumník, který pracuje v IKEM jako vedoucí skupiny plánování operací pomocí rozšířené a virtuální reality, totiž na nasazování nástrojů virtuální reality do operačního procesu začal pracovat ve chvíli, kdy se ukázalo, že ani moderní technika plánování právě pomocí 3D tisků není dost.

Češi chtějí pomáhat, ale musí to být jednoduché. Tak jsme jim to umožnili

7. 1. 2025

Potřeba přizpůsobovat se, řešit kapacity serverů a databází, škálovat. Když se řekne charita, nic z těch předchozích slov si s tím nespojíte. Jenže David Procházka, zakladatel Donia, největší a nejznámější dárcovské platformy v Česku, takhle nepřemýšlí. Právě naopak, o Doniu mluví jako o technologickém nástroji, který zprostředkovává pomoc. V rozhovoru vysvětluje, co všechno jeho fungování obnáší a díky čemu si získalo takovou oblibu. Jemu a jeho týmu se totiž povedlo staré problémy s využitím nových nástrojů řešit daleko efektivněji. 

Ptejme se dětí nejen na to, co bylo ve škole, ale i co bylo na internetu

30. 12. 2024

Představit si dnes práci, školní den nebo život obecně bez počítačů, telefonů a technologií dost dobře není možné. Jenže jejich každodenní působení má na člověka vliv a podílí se na formování jeho života. Jak z nich vytěžit maximum, to dobré, a nenechat se ovlivnit tím negativním? Právě to na Masarykově univerzitě (MU) léta zkoumá psycholog David Šmahel. Na rozdíl od jiných od něj neuslyšíte apokalyptické scénáře. Zato ale umí poutavě vyprávět o tom, jaké všechny důsledky digitalizace života si pořád ještě neuvědomujeme.