Dne 21. května 2021 Evropská komise představila návrh nařízení Evropského parlamentu a Rady, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci (nařízení o umělé inteligenci) a mění určité legislativní akty Unie (dále jen „Návrh nařízení o umělé inteligenci“)[1], čímž navázala na Evropskou strategii pro umělou inteligenci představenou v roce 2018, Etické pokyny pro zajištění důvěryhodnosti umělé inteligence z roku 2019 a Bílou knihu o umělé inteligenci z roku 2020.
Návrh nařízení o umělé inteligenci obsahuje komplexní soubor pravidel pro správu technologií s umělou inteligencí v Evropské unii, který zahrnuje zejména:
- pravidla pro vývoj,
- uvádění na trh a používání systémů s umělou inteligencí,
- zákaz určitých praktik v rámci umělé inteligence,
- zvláštní požadavky, které musí splňovat vysoce rizikové systémy s umělou inteligencí,
- pravidla transparentnosti pro systémy s umělou inteligencí a
- pravidla pro monitorování a dohled nad trhem.
Definice umělé inteligence
Umělá inteligence, respektive systém umělé inteligence je definován Návrhem nařízení o umělé inteligenci jakožto „software, který je vyvinut s jednou nebo více technikami a přístupy uvedenými v Příloze I [nařízení] a který může, na základě člověkem stanovených cílů, generovat výstupy jako je obsah, predikce, doporučení nebo rozhodnutí ovlivňující prostředí, s nimiž komunikují.“1 Jedná se o velmi rychle se rozvíjející skupinu technologií, která může přispět k široké škále ekonomických a společenských výhod napříč celým spektrem průmyslových odvětví a společenských aktivit (dále jen „AI“).
Zlepšením předvídání, optimalizací operací a přidělování zdrojů a personalizací digitálních řešení dostupných pro jednotlivce a organizace může využití AI poskytnout společnostem klíčové konkurenční výhody a podpořit společensky a environmentálně prospěšné výsledky, například v oblasti zdravotní péče, zemědělství, vzdělávání a odborné přípravy, řízení infrastruktury, energetiky, dopravy a logistiky, veřejných služeb, bezpečnosti, justice, efektivního využívání zdrojů a energie a zmírňování změny klimatu a přizpůsobování se jí.
Působnost Návrhu nařízení o umělé inteligenci
Návrh nařízení o umělé inteligenci bude upravovat jakékoli používání technologií AI v Evropské unii, tzn. bude směřovat na poskytovatele a další subjekty uvádějící AI systémy na trh v Evropské unii bez ohledu na to, zda jsou usazeni v EU a dále na veškeré uživatele AI systémů v Evropské unii.
Cílem je, aby pravidla nařízení dopadala na subjekty a AI systémy v Evropské unii i mimo ni, pokud se systémy nějak dotýkají občanů EU, tedy aby se stejně jako u GDPR pravidla stala právní normou, kterou musí respektovat i subjekty mimo Evropskou unii.
Přístup založený na riziku
Návrh nařízení o umělé inteligenci zavádí kategorizaci AI podle možného rizika na nepřijatelné riziko, vysoké riziko, omezené riziko a minimální riziko s cílem zajistit, aby systémy AI byly bezpečné, transparentní, etické, nestranné a pod lidskou kontrolou. Jednotlivé kategorie AI jsou podrobněji rozebrány v následujících odstavcích tohoto článku.
Nepřijatelné riziko
Veškeré systémy AI, které jsou návrhem označeny za nepřijatelné riziko jsou bezpodmínečně zakázány. Do této kategorie spadá omezený soubor zvláště škodlivých způsobů využití umělé inteligence, které odporují hodnotám Evropské unie, protože porušují základní práva. Jedná se například o systémy nebo aplikace AI, které manipulují s lidským chováním s cílem obejít svobodnou vůli uživatelů, systémy pro sociální skóring ze strany státní správy, systémy pro biometrickou identifikaci osob na dálku na veřejně přístupných místech za účelem vymáhání práva nebo a systémy, které umožňují vládám provádět tzv. „sociální hodnocení“.
Vysoké riziko
Mezi vysoce rizikové systémy AI řadí Návrh nařízení o umělé inteligenci omezený počet systémů, které mají nepříznivý dopad na bezpečnost lidí nebo jejich základní práva. Zejména se jedná o všechny systémy biometrické identifikace na dálku, jejichž přímé používání ve veřejně přístupných prostorách pro účely prosazování práva je zásadně zakázáno.
V seznamu vysoce rizikových systémů AI, který Návrh nařízení o umělé inteligenci obsahuje jsou dále uvedeny technologie AI používané v:
- kritické infrastruktuře (např. v dopravě), které by mohly ohrozit život a zdraví občanů,
- vzdělávání nebo odborné přípravě, které mohou předurčovat přístup ke vzdělání a či další kariérní dráhu jednotlivců (např. hodnocení zkoušek),
- bezpečnostních součástech produktů (např. aplikace AI v robotické chirurgii),
- zaměstnávání, řízení pracovníků a přístupu k samostatně výdělečné činnosti (např. software pro třídění životopisů v přijímacích řízeních),
- základních soukromých a veřejných službách (např. v úvěrovém hodnocení, které občanům znemožní získat půjčku),
- vymáhání práva, které může zasahovat do základních lidských práv (např. hodnocení spolehlivosti důkazů),
- řízení migrace, azylu a správě hraničních kontrol (např. ověřování pravosti cestovních dokladů),
- výkonu spravedlnosti či soudnictví a demokratických procesech (např. uplatňování práva v konkrétních případech).
U těchto vysoce rizikových systémů AI Návrh nařízení o umělé inteligenci zavádí přísné požadavky, kterým budou vysoce rizikové systémy před uvedením na trh podléhat. Jedná se o požadavky týkající se například:
- kvality použitých souborů dat,
- systémů hodnocení a zmírňování rizik,
- zaznamenávání činnosti k zajištění sledovatelnosti výsledků,
- podrobné dokumentace obsahující veškeré informace o systému a jeho účelu,
- jasných a přiměřených informací pro uživatele a
- vhodných opatřeních zajišťujících lidský dohled.
Omezené riziko
Do kategorie omezeného rizika dle Návrhu nařízení o umělé inteligenci spadají systémy AI pro interakci s fyzickými osobami, pokud se neřadí mezi vysoce rizikové systémy. Tyto systémy mají podle Návrhu nařízení o umělé inteligenci podléhat povinnosti transparentnosti, například pokud existuje zjevné riziko manipulace (např. pomocí chatbotů). Uživatelé by si měli být vědomi, že komunikují se strojem, aby se mohli informovaně rozhodnout, zda budou v komunikaci pokračovat, či nikoli.
Minimální riziko
Návrh nařízení o umělé inteligenci umožňuje volné používání všech ostatních systémů AI, které jsou zařazeny do kategorie systémů s minimálním rizikem. Tyto systémy bude tedy možné vyvíjet a používat v souladu se stávajícími právními předpisy bez dalších zákonných povinností. Mezi systémy s minimálním rizikem spadá mimo jiné používání aplikací, jako jsou videohry založené na AI nebo používání spamových filtrů.
Dohled a sankce
Dohled nad dodržováním povinností vyplývajících z Návrhu nařízení o umělé inteligenci budou zajišťovat členské státy prostřednictvím k tomuto účelu zřízených vnitrostátních orgánů. Tato činnost se bude skládat zejména z rozhodování o sankcích, včetně správních pokut a přijímání opatření k zajištění řádného a účinného uplatňování Návrhu nařízení o umělé inteligenci.
Za účelem harmonizace vnitrostátních pravidel v Evropské unií však budou Evropskou Komisí na základě doporučení Rady vypracovány pokyny pro postupy při stanovování správních pokut.
Některé hraniční hodnoty ohledně ukládaných sankcí stanoví i přímo Návrh nařízení o umělé inteligenci. Výše uložených sankcí může být:
- až 30 milionů EUR nebo je-li pachatelem společnost 6 % z celkového celosvětového ročního obratu za předchozí účetní období (podle toho která částka je vyšší) za porušení týkající se zakázaných praktik nebo nedodržení požadavků na data;
- až 20 milionů EUR nebo 4 % z celkového celosvětového ročního obratu za předchozí účetní období v případě nedodržení požadavků nebo povinností systému AI dle Návrhu nařízení o umělé inteligenci;
- až 10 milionů EUR nebo 2 % z celkového celosvětového ročního obratu za předchozí účetní období v případě poskytnutí nesprávných, neúplných nebo zavádějících informací oznámeným subjektům a příslušným vnitrostátním orgánům v odpovědi na jejich žádost.
Evropská rada pro umělou inteligenci a vnitrostátní dohled
Návrhem nařízení o umělé inteligenci se také zřizuje Evropská rada pro umělou inteligenci složená ze zástupců členských států (tj. z vysokých představitelů příslušných vnitrostátních orgánů dozoru), evropského inspektora pro ochranu údajů a Evropské Komise. Cílem Evropské rady pro AI by mělo být usnadnění provádění navrhovaných pravidel a vývoj norem pro AI. Evropská rada pro AI bude Evropské Komisi vydávat doporučení a stanoviska týkající se vysoce rizikových systémů AI a dalších aspektů důležitých pro účinné a jednotné provádění nových pravidel.
Na vnitrostátní úrovni budou muset členské státy určit jeden nebo více příslušných vnitrostátních orgánů a mezi nimi i vnitrostátní orgán dohledu za účelem dohledu nad uplatňováním a prováděním Návrhu nařízení o umělé inteligenci. Tento vnitrostátní orgán bude také zastupovat členský stát v Evropské radě pro AI a bude se na radu moci obracet za účelem konzultace.
Přijetí a účinnost
Návrh nařízení o umělé inteligenci bude přijat po schválení v legislativním procesu Evropské unie, jehož délka je nyní odhadována přibližně na dva roky. Poté, co nařízení vstoupí v platnost nastane u většiny ustanovení dle návrhu dvouletá legisvakance a až poté bude použitelné.
Je tedy možné očekávat, že nové povinnosti pro poskytovatele a uživatele AI pravděpodobně začnou platit až v roce 2025.
Závěr
Návrh nařízení o umělé inteligenci komplexně upravuje dosud neregulovanou oblast umělé inteligence, což je vzhledem k neustálému pokroku a vývoji technologických odvětví velmi žádoucí.
Vzhledem k tomu, že navrhované nařízení bude muset ještě projít legislativním procesem Evropské unie, je pravděpodobné, že znění nařízení není finální a bude upraveno dle připomínek Evropského parlamentu, Rady EU a dalších zúčastněných stran.
V případě jakýchkoli dotazů týkajících se Návrhu nařízení o umělé inteligenci a aktuální právní úpravy Vám jsme k dispozici. Neváhejte se proto na nás obrátit.
Tereza Pšenčíková, LL.M., právník – psencikova@plegal.cz
Mgr. Jakub Málek, partner – malek@plegal.cz
Kateřina Roučková, právní asistentka – rouckova@plegal.cz
21. 06. 2021
[1] https://eur-lex.europa.eu/legal-content/CS/TXT/HTML/?uri=CELEX:52021PC0206&from=EN