Source: OJ L, 2024/1689, 12.7.2024

Article 60 Essais de systèmes d’IA à haut risque en conditions réelles en dehors des bacs à sable réglementaires de l’IA

Summary What does Article 60 of the AI act regulation say?

This article establishes the framework for testing high-risk AI systems in real-world conditions outside of the formal AI regulatory sandbox environment described in Article 57.

It is a detailed operational article that sets out the full regime governing such testing: who can conduct it, the procedural steps required to get started, the conditions that must be continuously met throughout the testing period, and what happens when things go wrong.

The article also addresses the rights of test subjects, the oversight powers of market surveillance authorities, and the liability of providers for any damage caused during testing.

Important points:

Prepare a real-world testing plan and submit it to the relevant market surveillance authority before commencing any testing — testing may only proceed once that authority has approved the plan, with silence for 30 days treated as approval unless national law requires explicit authorisation.
Testing is capped at six months, extendable by a further six months upon prior notification to the market surveillance authority, and test subjects must give informed consent and have the right to withdraw at any time without detriment.
Providers and prospective providers are liable under applicable Union and national liability law for any damage caused in the course of real-world testing.

Springlex's summary of the article, a reading aid, not a substitute for the legal text.

1. Les essais de systèmes d’IA à haut risque en conditions réelles en dehors des bacs à sable réglementaires de l’IA peuvent être effectués par les fournisseurs ou fournisseurs potentiels de systèmes d’IA à haut risque énumérés à l’annexe III, conformément au présent article et au plan d’essais en conditions réelles visé au présent article, sans préjudice des interdictions prévues à l’article 5.
2. La Commission précise, par voie d’actes d’exécution, les éléments détaillés du plan d’essais en conditions réelles. Ces actes d’exécution sont adoptés en conformité avec la procédure d’examen visée à l’article 98, paragraphe 2.
3. Le présent paragraphe est sans préjudice du droit de l’Union ou du droit national relatif aux essais en conditions réelles de systèmes d’IA à haut risque liés aux produits qui relèvent de la législation d’harmonisation de l’Union dont la liste figure à l’annexe I.
1. Les fournisseurs ou fournisseurs potentiels peuvent effectuer, seuls ou en partenariat avec un ou plusieurs déployeurs ou déployeurs potentiels, des essais des systèmes d’IA à haut risque visés à l’annexe III, en conditions réelles, à tout moment avant la mise sur le marché ou la mise en service du système d’IA concerné.
1. Les essais de systèmes d’IA à haut risque en conditions réelles au titre du présent article sont sans préjudice de tout examen éthique exigé par le droit de l’Union ou le droit national.
1. Les fournisseurs ou fournisseurs potentiels ne peuvent effectuer les essais en conditions réelles que si toutes les conditions suivantes sont remplies:
  1. le fournisseur ou le fournisseur potentiel a établi un plan d’essais en conditions réelles et l’a soumis à l’autorité de surveillance du marché dans l’État membre où les essais en conditions réelles doivent être réalisés;
  2. l’autorité de surveillance du marché de l’État membre où les essais en conditions réelles doivent être réalisés a approuvé les essais en conditions réelles et le plan d’essais en conditions réelles; lorsque l’autorité de surveillance du marché n’a pas fourni de réponse dans un délai de 30 jours, les essais en conditions réelles et le plan d’essais en conditions réelles sont réputés approuvés; lorsque le droit national ne prévoit pas d’approbation tacite, les essais en conditions réelles restent soumis à autorisation;
  3. le fournisseur ou fournisseur potentiel, à l’exception des fournisseurs ou fournisseurs potentiels de systèmes d’IA à haut risque visés à l’annexe III, points 1, 6 et 7, dans les domaines des activités répressives, de la migration, de l’asile et de la gestion des contrôles aux frontières, ainsi que des systèmes d’IA à haut risque visés à l’annexe III, point 2, a enregistré les essais en conditions réelles dans la partie non publique de la base de données de l’UE visée à l’article 71, paragraphe 4, avec un numéro d’identification unique à l’échelle de l’Union et les informations indiquées à l’annexe IX; le fournisseur ou fournisseur potentiel de systèmes d’IA à haut risque visé à l’annexe III, points 1, 6 et 7, dans les domaines des activités répressives, de la migration, de l’asile et de la gestion des contrôles aux frontières, a enregistré les essais en conditions réelles dans la partie non publique de la base de données de l’UE visée à l’article 49, paragraphe 4, point d), avec un numéro d’identification unique à l’échelle de l’Union et les informations y indiquées; le fournisseur ou fournisseur potentiel de systèmes d’IA à haut risque visé à l’annexe III, point 2, a enregistré les essais en conditions réelles conformément à l’article 49, paragraphe 5.
  4. le fournisseur ou fournisseur potentiel effectuant les essais en conditions réelles est établi dans l’Union ou a désigné un représentant légal établi dans l’Union;
  5. les données collectées et traitées aux fins des essais en conditions réelles ne sont transférées vers des pays tiers qu’à condition que des garanties appropriées et applicables en vertu du droit de l’Union soient en place;
  6. les essais en conditions réelles ne durent pas plus longtemps que nécessaire pour atteindre leurs objectifs et, en tout état de cause, pas plus de six mois, qui peuvent être prolongés pour une période supplémentaire de six mois, sous réserve d’une notification préalable par le fournisseur ou fournisseur potentiel à l’autorité de surveillance du marché, accompagnée d’une explication des raisons qui motivent une telle prolongation;
  7. les participants aux essais en conditions réelles qui sont des personnes appartenant à des groupes vulnérables en raison de leur âge ou de leur handicap sont dûment protégées;
  8. lorsqu’un fournisseur ou un fournisseur potentiel organise les essais en conditions réelles en coopération avec un ou plusieurs déployeurs ou déployeurs potentiels, ces derniers ont été préalablement informés de tous les aspects des essais qui sont pertinents pour leur décision de participer et ont reçu les instructions d’utilisation adéquates pour le système d’IA visé à l’article 13; le fournisseur ou fournisseur potentiel et le déployeur ou déployeur potentiel concluent un accord précisant leurs rôles et responsabilités en vue d’assurer le respect des dispositions relatives aux essais en conditions réelles prévues par le présent règlement et en vertu d’autres dispositions applicables du droit de l’Union et du droit national;
  9. les participants aux essais en conditions réelles ont donné leur consentement éclairé conformément à l’article 61 ou, dans le cas des services répressifs, lorsque la recherche d’un consentement éclairé empêcherait de réaliser les essais du système d’IA, les essais proprement dits et les résultats des essais en conditions réelles n’ont pas d’effet négatif sur les participants, et leurs données à caractère personnel sont supprimées une fois les essais réalisés;
  10. le fournisseur ou le fournisseur potentiel ainsi que les déployeurs ou les déployeurs potentiels effectuent un contrôle effectif des essais en conditions réelles, par des personnes dûment qualifiées dans le domaine concerné et disposant des capacités, de la formation et de l’autorité nécessaires pour accomplir leurs tâches;
  11. les prévisions, recommandations ou décisions du système d’IA peuvent effectivement être infirmées et ignorées.
1. Tout participant aux essais en conditions réelles, ou son représentant légal, selon le cas, peut, sans encourir de préjudice et sans devoir se justifier, se retirer des essais à tout moment, en révoquant son consentement éclairé et peut demander la suppression immédiate et définitive de ses données à caractère personnel. Le retrait du consentement éclairé n’affecte pas les activités déjà menées.
1. Conformément à l’article 75, les États membres confèrent à leurs autorités de surveillance du marché le pouvoir d’exiger des fournisseurs et des fournisseurs potentiels qu’ils fournissent des informations, de procéder à des inspections inopinées à distance ou sur place et d’effectuer des vérifications concernant la réalisation des essais en conditions réelles et des systèmes d’IA à haut risque connexes. Les autorités de surveillance du marché utilisent ces pouvoirs pour veiller au développement sûr des essais en conditions réelles.
1. Tout incident grave constaté au cours des essais en conditions réelles est signalé à l’autorité nationale de surveillance du marché, conformément à l’article 73. Le fournisseur ou fournisseur potentiel adopte des mesures d’atténuation immédiates ou, à défaut, suspend les essais en conditions réelles jusqu’à ce que cette atténuation soit effective ou y met fin en l’absence d’atténuation. Le fournisseur ou fournisseur potentiel établit une procédure pour le rappel rapide du système d’IA lors de la cessation des essais en conditions réelles.
1. Les fournisseurs ou fournisseurs potentiels informent l’autorité nationale de surveillance du marché de l’État membre où les essais en conditions réelles doivent être réalisés de la suspension ou de la cessation des essais en conditions réelles et des résultats finaux.
1. Le fournisseur ou le fournisseur potentiel sont responsables, en vertu du droit de l’Union et du droit national applicable en matière de responsabilité, de tout préjudice causé durant les essais en conditions réelles.

Relevant recitals

Considérant 141 Conditions for testing high-risk AI systems

Afin d’accélérer le processus de développement et la mise sur le marché des systèmes d’IA à haut risque énumérés dans une annexe du présent règlement, il importe que les fournisseurs ou fournisseurs potentiels de ces systèmes puissent également bénéficier d’un régime particulier pour soumettre ces systèmes à des essais en conditions réelles sans participer à un bac à sable réglementaire de l’IA. Toutefois, dans de tels cas, compte tenu des conséquences possibles de ces essais sur des personnes physiques, il convient de veiller à ce que le présent règlement introduise des garanties et des conditions appropriées et suffisantes pour les fournisseurs ou fournisseurs potentiels. Ces garanties devraient comprendre, entre autres, une demande de consentement éclairé de la part des personnes physiques pour participer à des essais en conditions réelles, sauf en ce qui concerne les services répressifs lorsque la recherche d’un consentement éclairé empêcherait que le système d’IA ne soit mis à l’essai. Le consentement des participants à la participation à ces essais au titre du présent règlement est distinct et sans préjudice du consentement des personnes concernées au traitement de leurs données à caractère personnel en vertu de la législation applicable en matière de protection des données. Il importe également important de réduire les risques au minimum et de permettre aux autorités compétentes d’exercer un contrôle et, par conséquent, d’exiger des fournisseurs potentiels qu’ils disposent d’un plan d’essais en conditions réelles présenté à l’autorité de surveillance du marché compétente, d’enregistrer les essais dans des sections spécifiques de la base de données de l’UE, sous réserve de quelques exceptions limitées, de fixer des limitations de la période pendant laquelle les essais peuvent être menés et d’exiger des garanties supplémentaires pour les personnes appartenant à certains groupes vulnérables, ainsi qu’un accord écrit définissant les rôles et les responsabilités des fournisseurs potentiels et des déployeurs et établissant un contrôle effectif par le personnel compétent participant aux essais en conditions réelles. En outre, il convient d’envisager des garanties supplémentaires pour veiller à ce que les prédictions, recommandations ou décisions d’un système d’IA puissent être infirmées et ignorées de manière effective et à ce que les données à caractère personnel soient protégées et supprimées lorsque les personnes concernées ont retiré leur consentement à participer aux essais, sans qu’il soit porté atteinte aux droits dont elles disposent en tant que personnes concernées en vertu du droit de l’Union en matière de protection des données. En ce qui concerne le transfert de données, il convient en outre d’envisager que les données collectées et traitées aux fins des essais en conditions réelles ne soient transférées vers des pays tiers que lorsque des garanties appropriées et applicables en vertu du droit de l’Union sont en place, en particulier conformément aux bases pour le transfert de données à caractère personnel prévues par le droit de l’Union en matière de protection des données, et que des garanties appropriées soient mises en place pour les données à caractère non personnel conformément au droit de l’Union, notamment les règlements (UE) 2022/868(⁴²) et (UE) 2023/2854(⁴³) du Parlement européen et du Conseil.

Table of contents

Springlex and this text is meant purely as a documentation tool and has no legal effect. No liability is assumed for its content. The authentic version of this act is the one published in the Official Journal of the European Union.