Source: OJ L, 2024/1689, 12.7.2024

Artikel 14 Mänsklig kontroll

Summary What does Article 14 of the AI Act say?

This article establishes the human oversight requirements for high-risk AI systems.

It sits within the broader set of requirements for high-risk AI systems under Chapter III and builds directly on those technical obligations by addressing the human element: ensuring that natural persons remain meaningfully in control during the operation of such systems.

The article covers both how oversight measures should be designed into systems by providers before market placement, and how deployers must be equipped to exercise that oversight in practice.

It also addresses a specific heightened standard for biometric identification systems listed in Annex III, requiring dual verification before any action is taken on the basis of the system's output.

Important points:

Providers must design human oversight into high-risk AI systems before placing them on the market, including the technical ability for operators to monitor, override, and halt the system.
Ensure that persons assigned oversight responsibilities are equipped to understand the system's limitations, detect anomalies, and guard against automation bias.
For high-risk AI systems used for remote biometric identification (Annex III, point 1(a)), no action may be taken by the deployer on the basis of the system's identification unless at least two competent natural persons have separately verified and confirmed it, with a carve-out where Union or national law deems this disproportionate in law enforcement, migration, border control, or asylum contexts.

Springlex's summary of the article, a reading aid, not a substitute for the legal text.

1. AI-system med hög risk ska utformas och utvecklas på ett sådant sätt, inbegripet med lämpliga verktyg för människa–maskin-gränssnitt, att fysiska personer på ett effektivt sätt kan utöva kontroll över dem när de används.
1. Mänsklig kontroll ska syfta till att förebygga eller minimera de risker för hälsa, säkerhet eller grundläggande rättigheter som kan uppstå när ett AI-system med hög risk används i enlighet med sitt avsedda ändamål eller under förhållanden där det kan förekomma rimligen förutsebar felaktig användning, särskilt när sådana risker kvarstår trots tillämpningen av andra krav i detta avsnitt.
1. Tillsynsåtgärderna ska stå i proportion till riskerna, graden av autonomi och användningssammanhang för AI-systemet med hög risk, och ska säkerställas genom en eller båda av följande typer av åtgärder:
  1. Åtgärder som leverantören har fastställt och, när det är tekniskt möjligt, byggt in i AI-systemet med hög risk innan det släpps ut på marknaden eller tas i bruk.
  2. Åtgärder som leverantörer har fastställt innan AI-systemet med hög risk släpps ut på marknaden eller tas i bruk och som är lämpliga att genomföras av tillhandahållaren.
1. Vid genomförandet av punkterna 1, 2 och 3 ska AI-systemet med hög risk tillhandahållas tillhandahållaren på ett sådant sätt att fysiska personer som fått i uppdrag att utöva mänsklig kontroll ges möjlighet, enligt vad som är lämpligt och proportionellt, att
  1. korrekt förstå den relevanta kapaciteten och begränsningarna hos AI-systemet med hög risk och på vederbörligt sätt kunna övervaka dess drift, bland annat i syfte att upptäcka och ta itu med avvikelser, funktionsstörningar och oväntad prestanda,
  2. förbli medvetna om den möjliga tendensen att automatiskt eller i alltför hög grad lita på de utdata som produceras av ett AI-system med hög risk (automation bias), särskilt när det gäller AI-system med hög risk som används för att tillhandahålla information eller rekommendationer för beslut som ska fattas av fysiska personer,
  3. korrekt kunna tolka utdata från AI-systemet med hög risk, med beaktande av till exempel tillgängliga tolkningsverktyg och tolkningsmetoder,
  4. i vissa situationer besluta att inte använda AI-systemet med hög risk eller på annat sätt bortse från, åsidosätta eller reversera de resultat som AI-systemet med hög risk genererar,
  5. ingripa i driften av AI-systemet med hög risk eller stoppa systemet med en stoppknapp eller ett liknande förfarande som gör det möjligt för systemet att stoppas i ett säkert läge.
1. För AI-system med hög risk som avses i punkt 1 a i bilaga III ska de åtgärder som avses i punkt 3 i denna artikel dessutom vara sådana att de säkerställer att ingen åtgärd och inget beslut vidtas respektive fattas av tillhandahållaren på grundval av den identifiering som systemet resulterar i, såvida inte denna identifiering har kontrollerats och bekräftats separat av minst två fysiska personer med nödvändig kompetens, utbildning och auktoritet.
2. Kravet på en separat kontroll av minst två fysiska personer är inte tillämpligt på AI-system med hög risk som används inom områdena brottsbekämpning, migration, gränskontroll eller asyl, om en tillämpning av detta krav enligt unionsrätten eller nationell rätt skulle betraktas som oproportionell.

Relevant recitals

Skäl 66 Coverage of mandatory requirements

Kraven bör tillämpas på AI-system med hög risk när det gäller riskhantering, kvaliteten på och relevansen av använda dataset, teknisk dokumentation och loggning, transparens och information till tillhandahållare, mänsklig kontroll samt robusthet, riktighet och cybersäkerhet. Dessa krav är nödvändiga för att på ett effektivt sätt begränsa riskerna för hälsa, säkerhet och grundläggande rättigheter. Eftersom inga andra åtgärder som är mindre handelsbegränsande finns rimligen tillgängliga så utgör dessa krav inte omotiverade begränsningar av handeln.

Skäl 73 Human oversight

AI-system med hög risk bör utformas och utvecklas på ett sådant sätt att fysiska personer kan övervaka deras funktionssätt, säkerställa att de används som avsett och att deras effekter hanteras under systemets livscykel. För det ändamålet bör lämpliga åtgärder för mänsklig kontroll identifieras av leverantören av systemet innan detta släpps ut på marknaden eller tas i bruk. Sådana åtgärder bör i synnerhet, när så är lämpligt, garantera att systemet är föremål för inbyggda operativa begränsningar som inte kan åsidosättas av systemet självt och som lyder den mänskliga operatören, och att de fysiska personer som anförtros uppgiften att utöva mänsklig kontroll har den kompetens, utbildning och auktoritet som de behöver för att utföra sina uppgifter. Det är också viktigt, beroende på vad som är lämpligt, att säkerställa att AI-system med hög risk innehåller mekanismer för att vägleda och informera den fysiska person som anförtros uppgiften att utöva mänsklig kontroll när det gäller att fatta välgrundade beslut om, när och hur ett ingripande ska ske för att undvika negativa konsekvenser eller risker eller stoppa systemet om det inte fungerar som avsett. Med tanke på de betydande konsekvenserna för personer vid vissa biometriska identifieringssystems felaktiga träffar är det lämpligt att föreskriva ett förstärkt krav på mänsklig kontroll för dessa system så att tillhandahållaren inte kan vidta åtgärder eller fatta beslut på grundval av den identifiering som systemet ger upphov till såvida inte detta har verifierats och bekräftats separat av minst två fysiska personer. Dessa personer kan komma från en eller flera enheter och inbegripa den person som driver eller använder systemet. Detta krav bör inte medföra onödiga bördor eller förseningar och det kan vara tillräckligt att de olika personernas separata kontroller automatiskt registreras i de loggar som genereras av systemet. Med tanke på särdragen inom brottsbekämpning, migration, gränskontroll och asyl bör detta krav inte tillämpas i fall där tillämpningen av detta krav enligt unionsrätten eller nationell rätt betraktas som oproportionerlig.

Table of contents

Springlex and this text is meant purely as a documentation tool and has no legal effect. No liability is assumed for its content. The authentic version of this act is the one published in the Official Journal of the European Union.