Artikel 15 Riktighet, robusthet och cybersäkerhet

Kraven bör tillämpas på AI-system med hög risk när det gäller riskhantering, kvaliteten på och relevansen av använda dataset, teknisk dokumentation och loggning, transparens och information till tillhandahållare, mänsklig kontroll samt robusthet, riktighet och cybersäkerhet. Dessa krav är nödvändiga för att på ett effektivt sätt begränsa riskerna för hälsa, säkerhet och grundläggande rättigheter. Eftersom inga andra åtgärder som är mindre handelsbegränsande finns rimligen tillgängliga så utgör dessa krav inte omotiverade begränsningar av handeln.

AI-system med hög risk bör fungera konsekvent under hela sin livscykel och uppnå en lämplig nivå av riktighet, robusthet och cybersäkerhet mot bakgrund av sitt avsedda ändamål och i enlighet med den allmänt erkända senaste utvecklingen. Kommissionen och relevanta organisationer och berörda parter uppmanas att ta vederbörlig hänsyn till riskbegränsning och AI-systemets negativa konsekvenser. Den förväntade graden av prestandamått bör anges i den medföljande bruksanvisningen. Leverantörer uppmanas att förmedla denna information till tillhandahållare på ett tydligt och lättbegripligt sätt, utan missförstånd eller vilseledande uttalanden. Unionsrätten om legal metrologi, inbegripet Europaparlamentets och rådets direktiv 2014/31/EU(³⁵) och 2014/32/EU(³⁶), syftar till att säkerställa mätningarnas noggrannhet och att bidra till öppenhet och rättvisa i handelstransaktioner. I detta sammanhang bör kommissionen, i samarbete med relevanta berörda parter och organisationer, såsom metrologi- och riktmärkningsmyndigheter, vid behov uppmuntra utvecklingen av riktmärken och mätmetoder för AI-system. Därvid bör kommissionen följa och samarbeta med internationella partner som arbetar med metrologi och relevanta mätindikatorer som rör AI.

Teknisk robusthet är ett nyckelkrav för AI-system med hög risk. De bör vara resilienta mot skadligt eller på annat sätt oönskat beteende som kan bero på begränsningar inom de system eller den miljö där systemen fungerar (t.ex. felaktigheter, funktionsfel, inkonsekvenser, oväntade situationer). Därför bör tekniska och organisatoriska åtgärder vidtas för att säkerställa robustheten i AI-system med hög risk, till exempel genom att utforma och utveckla lämpliga tekniska lösningar för att förebygga eller minimera skadligt eller på annat sätt oönskat beteende. Dessa tekniska lösningar kan till exempel omfatta mekanismer som gör det möjligt för systemet att på ett säkert sätt avbryta sin drift (felsäkra planer) vid vissa avvikelser eller när driften sker utanför vissa på förhand fastställda gränser. Bristande skydd mot dessa risker kan leda till säkerhetskonsekvenser eller inverka negativt på grundläggande rättigheter, exempelvis på grund av felaktiga beslut eller felaktigheter eller bias i den utdata som genereras av AI-systemet.

Cybersäkerhet har avgörande betydelse för att säkerställa att AI-system är resilienta mot försök att ändra deras användning, beteende eller prestanda eller att undergräva deras säkerhetsegenskaper genom tredje parter med avsikt att vålla skada som utnyttjar systemets svagheter. Cyberattacker mot AI-system kan riktas mot AI-specifika tillgångar, såsom träningsdataset (t.ex. dataförgiftning) eller tränade modeller (t.ex. antagonistiska attacker eller medlemskapsinferens), eller utnyttja sårbarheter i AI-systemets digitala tillgångar eller i den underliggande IKT-infrastrukturen. För att säkerställa en cybersäkerhetsnivå som är anpassad till riskerna bör lämpliga åtgärder såsom säkerhetskontroller därför vidtas av leverantörerna av AI-system med hög risk, även med beaktande av den underliggande IKT-infrastrukturen när så är lämpligt.

Utan att det påverkar de krav avseende robusthet och riktighet som fastställs i denna förordning kan AI-system med hög risk som omfattas av tillämpningsområdet för en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element i enlighet med den förordningen visa överensstämmelse med cybersäkerhetskraven i den här förordningen genom att uppfylla de grundläggande cybersäkerhetskrav som anges i den förordningen. Om AI-system med hög risk uppfyller de grundläggande kraven i en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element, bör de anses uppfylla de cybersäkerhetskrav som fastställs i den här förordningen, i den mån uppfyllandet av dessa krav visas i den EU-försäkran om överensstämmelse eller delar av den som utfärdats enligt den förordningen. I detta syfte bör den bedömning av cybersäkerhetsrisker som är förknippade med en produkt med digitala element som klassificeras som AI-system med hög risk enligt den här förordningen och som utförs enligt en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element, beakta risker för ett AI-systems cyberresiliens när det gäller obehöriga tredje parters försök att ändra dess användning, beteende eller prestanda, inbegripet AI-specifika sårbarheter såsom dataförgiftning eller antagonistiska attacker, samt, i relevanta fall, risker för grundläggande rättigheter i enlighet med kraven i den här förordningen.

Det förfarande för bedömning av överensstämmelse som föreskrivs i denna förordning bör tillämpas på de grundläggande cybersäkerhetskraven för en produkt med digitala element som omfattas av en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element och som klassificeras som ett AI-system med hög risk enligt den här förordningen. Denna regel bör dock inte leda till att den nödvändiga assuransnivån sänks för kritiska produkter med digitala element som omfattas av en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element. Genom undantag från denna regel omfattas därför också AI-system med hög risk som omfattas av den här förordningen och som också kategoriseras som viktiga eller kritiska produkter med digitala element enligt en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element, och på vilka förfarandet för bedömning av överensstämmelse baserat på intern kontroll enligt en bilaga till den här förordningen är tillämpligt, av bestämmelserna om bedömning av överensstämmelse i en förordning från Europaparlamentet och rådet om övergripande cybersäkerhetskrav för produkter med digitala element i den mån som de grundläggande cybersäkerhetskraven i den förordningen berörs. Om så är fallet bör de respektive bestämmelserna om bedömning av överensstämmelse på grundval av intern kontroll i en bilaga till den här förordningen gälla för alla andra aspekter som omfattas av den här förordningen. Med utgångspunkt i Enisas kunskap och expertis om den cybersäkerhetspolicy och de uppgifter som tilldelats Enisa enligt Europaparlamentets och rådets förordning (EU) 2019/881(³⁷) bör kommissionen samarbeta med Enisa i frågor som rör cybersäkerhet i AI-system.