Byl schválen Akt o umělé inteligenci (AI Act), historický krok Evropské unie k regulaci aplikací umělé inteligence. Tento průlomový dokument, navržený Evropskou komisí, představuje první závazné celosvětové nařízení svého druhu. AI Act stanovuje společný rámec pro používání a dodávku systémů umělé inteligence v EU, založený na přístupu, který rozlišuje různé úrovně rizika spojené s AI systémy. Tento akt nastiňuje specifické povinnosti pro vývojáře, poskytovatele, uživatele a další subjekty zapojené do ekosystému AI, včetně transparentnosti, bezpečnosti a ochrany základních práv.

Obsah článku

Co je akt o umělé inteligenci (AI Act)?

Akt o umělé inteligenci (AI Act) je průkopnický právní předpis Evropské unie, navržený Evropskou komisí v dubnu 2021, který má regulovat používání a nasazení systémů umělé inteligence (AI) v členských státech. Jde o první závazný celosvětový horizontální nařízení svého druhu, které stanovuje společný rámec pro bezpečné a etické využívání AI technologií. Zavádí klasifikaci AI systémů podle úrovně rizika, které představují, a stanovuje pro ně odpovídající požadavky a povinnosti.

Cílem AI Actu je podporovat inovace a přijetí AI technologií, zatímco zároveň chrání základní práva a bezpečnost občanů Evropské unie. Nařízení klade důraz na transparentnost, odpovědnost a dohledatelnost těchto systémů, s cílem zvýšit důvěru veřejnosti v tyto technologie a zajistit, aby jejich vývoj a použití byl v souladu s hodnotami a normami EU.

Zákon rozlišuje několik kategorií AI systémů na základě rizika, které představují, od nepřijatelných rizik, která jsou zakázána, přes vysoce rizikové systémy, které jsou povoleny, ale podléhají přísným požadavkům, až po systémy s omezeným nebo minimálním rizikem, na které se vztahují méně přísné nebo žádné regulační požadavky.

Platnost a aplikovatelnost

  • AI Act bude formálně přijat v dubnu 2024 a plně aplikovatelný 24 měsíců po vstupu v platnost.
  • Zakázané systémy umělé inteligence musí být vyřazeny 6 měsíců po vstupu aktu v platnost.
  • Kódy praxe (soubory dobrovolných pokynů, standardů a nejlepších postupů) se stanou aplikovatelnými 9 měsíců po vstupu v platnost.
  • Pravidla pro systémy obecného účelu, které musí splňovat požadavky na transparentnost, se stanou aplikovatelnými 12 měsíců po vstupu v platnost.
  • Povinnosti týkající se vysoce rizikových systémů se stanou aplikovatelnými 36 měsíců po vstupu aktu v platnost​​.

Subjekty dotčené aktem

Akt o umělé inteligenci (AI Act) se bude týkat širokého spektra subjektů zapojených do vývoje, distribuce, a používání systémů umělé inteligence v Evropské unii. Zde jsou hlavní kategorie subjektů, kterých se to dotkne:

  • Vývojáři: Subjekty, které navrhují, vyvíjejí, nebo vytvářejí AI systémy. To zahrnuje jak velké technologické firmy, tak startupy a výzkumné instituce.
  • Poskytovatelé: Firmy nebo jednotlivci, kteří uvádějí systémy umělé inteligence na trh EU nebo je zpřístupňují pro použití v tomto prostoru, ať už jsou založeny v EU nebo mimo ni.
  • Uživatelé: Organizace a podniky, které implementují a používají AI systémy ve svých operacích, produktech, nebo službách. To zahrnuje jak veřejný, tak soukromý sektor.
  • Dovozci: Subjekty, které do EU dovážejí AI systémy pro další distribuci nebo použití.
  • Distributoři: Distributoři a prodejci, kteří zprostředkovávají poskytování AI systémů konečným uživatelům v EU.
  • Spotřebitelé: Ačkoliv akt primárně reguluje subjekty zapojené do vývoje a distribuce AI, nepřímo ovlivní také spotřebitele tím, že stanoví normy pro transparentnost a bezpečnost těchto systémů určených pro spotřebitelský trh.

Regulace AI na základě rizik

Dohoda zahrnuje různé úrovně regulace na základě rizik, které systémy umělé inteligence představují. Některé z nich, které mají tzv. „nepřijatelná“ rizika, jsou zakázány. Široká škála „vysoce rizikových“ systémů, které mohou mít škodlivý dopad na bezpečnost lidí nebo na jejich základní práva, je povolena, avšak podléhá souboru požadavků a povinností pro získání přístupu na trh EU. Systémy umělé inteligence, které mají kvůli své nedostatečné transparentnosti omezená rizika, budou podléhat požadavkům na informace a transparentnost, zatímco systémy AI, které pro lidi představují pouze minimální riziko, nebudou podléhat dalším povinnostem​​.

Nařízení rovněž stanovuje zvláštní pravidla na modely AI pro všeobecné použití (GPAI) a přísnější požadavky na modely GPAI s „vysokým dopadem“, které by mohly představovat systémové riziko a mít významný dopad na vnitřní trh.

1. Nepřijatelné riziko – zakázané praktiky

  • Manipulace: Systémy umělé inteligence, které manipulují s chováním lidí nebo specifických zranitelných skupin (např. hračky aktivované hlasem, které podněcují nebezpečné chování u dětí).
  • Sociální skórování: Klasifikace lidí na základě chování, socioekonomického statusu nebo osobních charakteristik.
  • Biometrická identifikace a kategorizace: Včetně reálného a vzdáleného biometrického identifikačního systému, jako je rozpoznávání obličeje v reálném čase.

2. Vysoké riziko – přísná regulace

Systémy AI, které mohou negativně ovlivnit bezpečnost nebo základní práva, jsou považovány za vysoce rizikové a jsou rozděleny do dvou kategorií:

  • Systémy používané v produktech podléhajících legislativě EU týkající se bezpečnosti produktů, což zahrnuje hračky, letadla, auta, lékařské přístroje a výtahy.
  • Systémy v určitých oblastech, které musí být registrovány v databázi EU – jde například o řízení a provoz kritické infrastruktury, vzdělávání a profesní přípravu, zaměstnanost, přístup k soukromým a veřejným službám, právní vymáhání, správu migrace, azylu a hraniční kontroly.

Všechny vysoce rizikové systémy AI budou před uvedením na trh hodnoceny a během svého životního cyklu také. Lidé budou mít právo podávat stížnosti na systémy AI určeným národním orgánům.

Akt o umělé inteligenci klasifikuje některé AI systémy jako „vysoce rizikové“ na základě potenciálního dopadu na bezpečnost a základní práva jednotlivců. Tyto systémy musí splnit specifické požadavky před tím, než budou uvedeny na trh EU nebo používány v tomto prostoru. Zde je přehled toho, jaké systémy jsou považovány za vysoce rizikové a jaké jsou pro ně stanoveny požadavky:

Příklady systémů s vysokým rizikem

Vysoce rizikové AI systémy zahrnují ty, které jsou používány v následujících oblastech:

  • Kritická infrastruktura: Například systémy pro řízení dopravy nebo dodávky energie.
  • Vzdělávání a odborná příprava: Systémy, které ovlivňují přístup ke vzdělávání nebo hodnotí učební výsledky studentů.
  • Zaměstnanost a řízení pracovní síly: Systémy používané pro nábor, výběr nebo hodnocení zaměstnanců.
  • Základní soukromé a veřejné služby: Systémy, které mohou ovlivnit přístup k základním službám, jako je sociální zabezpečení nebo zdravotní péče.
  • Právní a správní systémy: Systémy používané v soudních a správních rozhodovacích procesech.
  • Migrace, azyl a kontrola hranic: Systémy používané pro správu a kontrolu migrace.
  • Prevence, detekce a reakce na trestnou činnost: Systémy používané policií nebo jinými bezpečnostními orgány.

Požadavky pro vysoce rizikové AI systémy

  • Transparentnost a informovanost: Poskytování jasných informací o tom, jak systém funguje, včetně vysvětlení rozhodovacích procesů a používaných údajů.
  • Technická dokumentace: Vytvoření a udržování podrobné technické dokumentace, která dokládá soulad AI systémů s regulačními požadavky.
  • Datová správa: Implementace opatření pro zajištění kvality a integrity dat používaných systémem, včetně opatření proti zkreslení.
  • Lidský dozor: Zajištění, že rozhodnutí vysoce rizikových systémů umělé inteligence podléhají lidskému dozoru, aby bylo možné přezkoumat a potenciálně zvrátit rozhodnutí systému.
  • Přesnost, robustnost a bezpečnost: Zajištění vysoké úrovně přesnosti, robustnosti a bezpečnosti, včetně odolnosti proti útokům a schopnosti funkce v různých podmínkách.
  • Ochrana základních práv: Zabránění diskriminačním výsledkům a zajištění, že používání AI systémů respektuje základní práva a svobody jednotlivců.

Tyto požadavky mají zajistit, aby vysoce rizikové AI systémy byly bezpečné, transparentní a odpovědné, a že jejich používání neohrozí práva ani bezpečnost občanů EU. Subjekty zapojené do vývoje, distribuce nebo používání takových systémů musí prokázat soulad s těmito požadavky před uvedením systému na trh nebo jeho použitím.

3. Omezené riziko – specifické požadavky

Akt kategorizuje některé AI systémy jako představující „omezené riziko“, což znamená, že i když tyto systémy nespadají do kategorie „vysoce rizikových“, stále existují určité požadavky na transparentnost a informovanost, které musí být splněny, aby bylo zajištěno, že uživatelé jsou řádně informováni o tom, jak jsou používány a jak s nimi mohou interagovat. Cílem je poskytnout uživatelům dostatečné informace, aby mohli učinit informovaná rozhodnutí a byli si vědomi možného vlivu AI na jejich životy. Zde jsou příklady umělé inteligence s omezeným rizikem a specifické požadavky pro ně:

Příklady systémů s omezeným rizikem

  • Chatboti a virtuální asistenti: systémy navržené tak, aby simulovaly lidskou konverzaci s uživateli prostřednictvím textu nebo hlasových odpovědí.
  • AI generovaný obsah: Systémy, které generují nebo manipulují s obsahem, jako jsou obrázky, texty nebo videa (např. generativní AI pro umělecké účely).
  • Osobní doporučovací systémy: systémy, které poskytují personalizovaná doporučení uživatelům, například ve službách streamingování nebo e-commerce platformách.

Požadavky pro AI s omezeným rizikem

  • Transparentnost a informovanost uživatelů: Je klíčové, aby byli uživatelé jasně informováni o tom, že interagují s umělou inteligencí. U chatbotů a virtuálních asistentů to znamená, že uživatelé musí být informováni o tom, že jejich odpovědi nejsou poskytovány lidským protějškem, ale umělou inteligencí.
  • Označování generovaného obsahu: Pokud AI systémy generují nebo manipulují s obsahem, musí být tento obsah jasně označen, aby uživatelé věděli, že byl vytvořen umělou inteligencí. To pomáhá zabránit záměně mezi reálnými a uměle generovanými obrazy, videi nebo texty.
  • Informace o použití AI v doporučovacích systémech: Uživatelé by měli být informováni o tom, že doporučení, která obdrží, jsou generována umělou inteligencí, a měli by mít možnost pochopit, na jakém základě jsou tyto návrhy poskytovány.

4. Minimální riziko – základní bezpečnostní principy

Systémy s minimálním rizikem jsou takové, u nichž se předpokládá, že mají na bezpečnost, základní práva a svobody lidí jen nepatrný dopad. Tato kategorie zahrnuje širokou škálu AI aplikací, které jsou v běžném životě považovány za relativně bezpečné a jejichž používání není spojeno s významnými etickými nebo sociálními dilematy.

Příklady systémů s minimálním rizikem

  • Umělá inteligence ve spotřebitelských aplikacích: Hudební nebo video systémy, které se učí na základě preferencí uživatelů a pomáhají jim objevovat nový obsah.
  • E-mailové filtry: Systémy pro filtraci spamu, které používají umělou inteligenci k identifikaci a oddělení nevyžádaných e-mailů od legitimní komunikace.
  • Osobní asistenti: Software, jako jsou hlasově aktivovaní virtuální asistenti v mobilních zařízeních, kteří pomáhají uživatelům s organizací, vyhledáváním informací nebo ovládáním chytré domácnosti, ale nezpracovávají citlivé informace nebo nezasahují do základních práv.

Požadavky a doporučení pro systémy s minimálním rizikem

I když systémy umělé inteligence s minimálním rizikem nejsou předmětem stejně přísných regulací jako vysoce rizikové nebo systémy s omezeným rizikem, je důležité, aby i tyto systémy dodržovaly základní principy ochrany osobních údajů a transparentnosti. To znamená:

  • Dodržování GDPR a ochrany dat: I v případě aplikací s minimálním rizikem je nutné zajistit, aby veškeré zpracování osobních údajů bylo v souladu s obecným nařízením o ochraně údajů (GDPR) a jinými příslušnými právními předpisy.
  • Transparentnost: Uživatelé by měli být informováni o používání AI technologií, i když jsou tyto systémy považovány za bezpečné a jejich dopad za minimální. To zahrnuje informace o tom, jak jsou data zpracovávána a pro jaké účely.
  • Etičnost a sociální dopad: Také u systémů s minimálním rizikem je důležité zvážit jejich etické a sociální dopady, zejména pokud existuje potenciál pro zneužití nebo negativní dopady na určité skupiny uživatelů.

Systémy s minimálním rizikem tedy představují většinu AI aplikací využívaných v běžném životě. I když tyto systémy nevyžadují tak přísnou regulaci, je důležité, aby byly navrženy a používány zodpovědně s ohledem na ochranu dat, transparentnost a etické standardy.

Povinnosti subjektů dotčených aktem

Akt o umělé inteligenci stanovuje různé povinnosti pro vývojáře, poskytovatele a uživatele AI systémů v závislosti na kategorii rizika spojeného s danými systémy. Zde jsou klíčové povinnosti pro jednotlivé skupiny:

Vývojáři AI systémů

  • Posouzení rizika: Provést komplexní posouzení rizik spojených s AI systémy, které vyvíjejí, zejména pokud tyto systémy mohou být klasifikovány jako vysoce rizikové.
  • Transparentnost a informovanost: Zajistit, že AI systémy jsou transparentní a že jsou uživatelé informováni o tom, jak fungují, jaké údaje používají a jak jsou tyto údaje chráněny.
  • Technická dokumentace: Vypracovat a udržovat technickou dokumentaci potřebnou pro demonstraci souladu AI systémů s nařízením.
  • Bezpečnost a ochrana údajů: Implementovat opatření pro zajištění bezpečnosti a ochrany údajů používaných nebo generovaných systémy umělé inteligence.

Poskytovatelé AI systémů

  • Conformity Assessment: Pro vysoce rizikové systémy provést hodnocení souladu před jejich uvedením na trh nebo do provozu v EU.
  • Záznamy a archivace: Udržovat záznamy o operacích a výkonech systémů, aby bylo možné ověřit jejich soulad s nařízením.
  • Post-Market Surveillance: Pro vysoce rizikové systémy provádět dohled po uvedení na trh, včetně sledování výkonu a zaznamenávání jakýchkoliv incidentů.
  • Soulad s GDPR: Zajistit, že veškeré zpracování osobních údajů prováděné AI systémy je v plném souladu s obecným nařízením o ochraně údajů (GDPR).

Uživatelé AI systémů

  • Použití v souladu s pokyny: Používat AI systémy v souladu s pokyny poskytovatele, zejména s ohledem na bezpečnost a etiku.
  • Monitoring a zprávy: Monitorovat výkon a chování systémů během jejich používání a hlásit jakékoliv problémy nebo incidenty regulačním orgánům.
  • Informovanost koncových uživatelů: Ujistit se, že koncoví uživatelé jsou informováni o použití AI systémů, jejich funkcích a o tom, jak mohou ovlivnit uživatelské rozhodování nebo výstupy.

Subjekty používající vysoce rizikové AI

V kontextu Aktu o umělé inteligenci je důležité zmínit, že subjekty zapojené do vývoje, distribuce, nebo používání vysoce rizikových AI systémů musí zajistit také:

  • Hodnocení shody: Provádět hodnocení shody, které zahrnuje proces ověřování, zda byly splněny specifické požadavky na vysoce rizikové systémy. Toto hodnocení může být interní nebo vyžadovat zapojení externích certifikovaných orgánů, v závislosti na povaze rizika a aplikace.
  • Registrace vysoce rizikových AI systémů: Některé vysoce rizikové systémy umělé inteligence mohou podléhat požadavku na registraci ve specifické databázi EU. Tato registrace pomáhá zvyšovat transparentnost a umožňuje regulačním orgánům lepší dohled.
  • Odpovědnost a odškodnění: Subjekty musí být připraveny nést odpovědnost za škody způsobené vysoce rizikovými systémy a zajistit, že existují mechanismy pro odškodnění poškozených stran.
  • Průběžné monitorování a aktualizace: Vysoce rizikové AI systémy vyžadují průběžné monitorování a aktualizace, aby bylo zajištěno, že zůstanou v souladu s regulačními požadavky a že jsou adekvátně reagovány na nově identifikovaná rizika nebo změněné podmínky používání. Toto zahrnuje aktualizace softwaru, zlepšení bezpečnostních protokolů a přizpůsobení systémů pro zajištění nepřetržitého dodržování právních a etických standardů.
  • Spolupráce s regulačními orgány: Subjekty musí být připraveny spolupracovat s regulačními orgány, poskytovat požadované informace a podporovat přezkumy nebo audity. Tato spolupráce může zahrnovat poskytování přístupu k dokumentaci, vysvětlení fungování AI systémů a sdílení údajů o jejich používání.
  • Školení a vzdělávání: Subjekty jsou povinny zajistit, aby jejich pracovníci, kteří se podílejí na vývoji, implementaci nebo používání vysoce rizikových AI systémů, byly pravidelně školeni a informováni o relevantních regulačních požadavcích a etických zásadách. To zahrnuje pochopení rizik spojených s umělou inteligencí, způsobů jejich mitigace a zásad odpovědného používání.
  • Etické a sociální zvažování: Kromě splnění právních a regulačních požadavků se od subjektů očekává, že budou ve své práci zohledňovat etické a sociální aspekty, zejména pokud jde o potenciální dopad AI systémů na společnost, včetně otázek spravedlnosti, rovnosti a nediskriminace.
  • Ochrana soukromí a osobních údajů: Zajištění, že veškeré zpracování osobních údajů prováděné vysoce rizikovými AI systémy je v plném souladu s obecným nařízením o ochraně údajů (GDPR) a dalšími příslušnými právními předpisy, které se týkají ochrany soukromí a dat.
  • Mezinárodní spolupráce a přenos údajů: V případě, že vysoce rizikové AI systémy zpracovávají údaje přenesené napříč hranicemi, musí subjekty dodržovat příslušná pravidla a dohody o mezinárodním přenosu údajů a zajištění ochrany dat na odpovídající úrovni.

Zavedení aktu představuje významný krok k zajištění, že rozvoj a používání umělé inteligence v EU bude probíhat způsobem, který je bezpečný, transparentní, odpovědný a v souladu s hodnotami a právními normami EU. Pro subjekty zapojené do ekosystému AI je klíčové, aby tyto povinnosti pochopily a integrovaly do svých operací a aby zajistily úspěšnou adaptaci na nové regulační prostředí.

Porušení povinností týkající se umělé inteligence

Porušení Aktu o umělé inteligenci může zahrnovat širokou škálu činů nebo opomenutí, které jsou v rozporu s požadavky a povinnostmi stanovenými v tomto nařízení. Vzhledem k tomu, že AI Act klade důraz na bezpečnost, transparentnost, odpovědnost a ochranu základních práv v kontextu vývoje, distribuce a používání AI systémů, mohou být porušení rozdělena do několika kategorií:

  • Nedodržení požadavků na bezpečnost a technické normy: Uvedení vysoce rizikového AI systému na trh bez předchozího hodnocení shody nebo bez splnění specifických technických a bezpečnostních požadavků. Nedostatečná technická dokumentace nebo chybějící důkazy o testování a validaci systémů umělé inteligence.
  • Porušení transparentnosti a informačních povinností: Neinformování uživatelů o tom, že interagují s AI systémem, nebo o tom, jak systém funguje a jak jsou zpracovávána data. Nedostatečná transparentnost v procesech rozhodování vysoce rizikových systémů.
  • Porušení práv subjektů údajů: Použití systémů ke zpracování osobních údajů v rozporu s GDPR nebo jinými příslušnými předpisy o ochraně dat a soukromí. Nedodržení požadavků na ochranu a bezpečnost dat.
  • Použití zakázaných praktik: Vývoj, distribuce nebo použití systémů, které jsou explicitně zakázány Aktem o umělé inteligenci, jako jsou systémy pro sociální skórování, manipulativní praktiky, nebo neautorizované použití biometrických dat.
  • Nedodržení požadavků na lidský dozor: Nedostatečné začlenění lidského dozoru nad rozhodovacími procesy vysoce rizikových systémů, což může vést ke škodlivým výsledkům nebo nespravedlivým rozhodnutím.
  • Neúplné nebo nesprávné posouzení rizika: Nedostatečné nebo chybné posouzení rizik spojených s AI systémem, což může vést k nesplnění regulačních požadavků na snížení těchto rizik.
  • Nedostatečný dohled po uvedení na trh: Nedostatečné monitorování a aktualizace AI systémů po jejich uvedení na trh, což vede k přehlížení nových rizik nebo bezpečnostních problémů.

Porušení Aktu o umělé inteligenci může mít vážné důsledky, včetně uložení pokut, nápravných opatření a v extrémních případech i zákazu dalšího používání nebo distribuce konkrétních AI systémů. Proto je pro všechny subjekty zapojené do ekosystému AI zásadní, aby plně rozuměly svým povinnostem podle AI Actu a zajistily jejich plnění.