Source: OJ L, 2024/1689, 12.7.2024

Article 51 Classification de modèles d’IA à usage général en tant que modèles d’IA à usage général présentant un risque systémique

Summary What does Article 51 of the AI Act say?

This article establishes the classification criteria for general-purpose AI models with systemic risk, a designation that triggers a significantly heavier set of obligations under Chapter V of the regulation.

It sets out two routes by which a model can receive this classification: either by demonstrating high-impact capabilities through technical evaluation, or by Commission decision based on equivalent capabilities or impact.

Critically, the article provides a concrete quantitative threshold — a training computation exceeding 10²⁵ floating point operations creates a presumption of high-impact capabilities.

The Commission retains the power to update these thresholds and benchmarks via delegated acts as technology evolves.

Important points:

Providers of general-purpose AI models should be aware that a training computation exceeding 10²⁵ floating point operations triggers a presumption of systemic risk classification.
The Commission can designate a model as presenting systemic risk either on its own initiative or following a qualified alert from the scientific panel, regardless of the computational threshold.
The Commission is empowered to amend the classification thresholds and benchmarks through delegated acts to reflect evolving technological developments.

Springlex's summary of the article, a reading aid, not a substitute for the legal text.

1. Un modèle d’IA à usage général est classé comme modèle d’IA à usage général présentant un risque systémique s’il remplit l’une des conditions suivantes:
  1. il dispose de capacités à fort impact évaluées sur la base de méthodologies et d’outils techniques appropriés, y compris des indicateurs et des critères de référence;
  2. sur la base d’une décision de la Commission, d’office ou à la suite d’une alerte qualifiée du groupe scientifique, il possède des capacités ou un impact équivalents à ceux énoncés au point a), compte tenu des critères définis à l’annexe XIII.
1. Un modèle d’IA à usage général est présumé avoir des capacités à fort impact conformément au paragraphe 1, point a), lorsque la quantité cumulée de calcul utilisée pour son entraînement mesurée en opérations en virgule flottante est supérieure à 10²⁵.
1. La Commission adopte des actes délégués conformément à l’article 97 pour modifier les seuils énumérés aux paragraphes 1 et 2 du présent article, ainsi que pour compléter les critères de référence et les indicateurs à la lumière des évolutions technologiques, telles que les améliorations algorithmiques ou l’efficacité accrue du matériel informatique, si nécessaire, afin que ces seuils reflètent l’état de la technique.

Relevant recitals

Considérant 110 Definition of 'systemic risk'

Les modèles d’IA à usage général pourraient présenter des risques systémiques qui comprennent, sans s’y limiter, tout effet négatif réel ou raisonnablement prévisible en rapport avec des accidents majeurs, des perturbations de secteurs critiques et des conséquences graves pour la santé et la sécurité publiques, tout effet négatif réel ou raisonnablement prévisible sur les processus démocratiques, la sécurité publique et la sécurité économique, et la diffusion de contenus illicites, faux ou discriminatoires. Les risques systémiques devraient être perçus comme augmentant avec les capacités et la portée du modèle, peuvent survenir tout au long du cycle de vie du modèle et sont influencés par les conditions de mauvaise utilisation, la fiabilité du modèle, l’équité et la sécurité du modèle, le niveau d’autonomie du modèle, son accès aux outils, les modalités nouvelles ou combinées, les stratégies de publication et de distribution, le potentiel de suppression des garde-fous et d’autres facteurs. En particulier, les approches internationales ont jusqu’à présent mis en évidence la nécessité de prêter attention aux risques liés à une potentielle mauvaise utilisation intentionnelle ou à des problèmes non intentionnels de contrôle liés à l’alignement sur l’intention humaine, aux risques chimiques, biologiques, radiologiques et nucléaires, tels que les moyens d’abaisser les barrières à l’entrée, y compris pour la mise au point, l’acquisition ou l’utilisation d’armes, aux cybercapacités offensives, tels que les moyens permettant la découverte, l’exploitation ou l’utilisation opérationnelle de vulnérabilités, aux effets de l’interaction et de l’utilisation des outils, y compris, par exemple, la capacité de contrôler les systèmes physiques et d’interférer avec les infrastructures critiques, aux risques liés à la possibilité que les modèles fassent des copies d’eux-mêmes ou «s’auto-reproduisent» ou qu’ils entraînent d’autres modèles, à la manière dont les modèles peuvent donner lieu à des préjugés et des discriminations préjudiciables présentant des risques pour les individus, les communautés ou les sociétés, à la facilitation de la désinformation ou au préjudice porté à la vie privée par des menaces pour les valeurs démocratiques et les droits de l’homme, et au risque qu’un événement particulier entraîne une réaction en chaîne s’accompagnant d’effets négatifs considérables qui pourraient aller jusqu’à affecter toute une ville, tout un secteur d’activité ou toute une communauté.

Considérant 111 Criteria for classifying general-purpose AI models with systemic risk

Il convient d’établir une méthode de classification des modèles d’IA à usage général en tant que modèle d’IA à usage général présentant des risques systémiques. Étant donné que les risques systémiques résultent de capacités particulièrement élevées, un modèle d’IA à usage général devrait être considéré comme présentant des risques systémiques s’il a des capacités à fort impact, évaluées sur la base de méthodologies et d’outils techniques appropriés, ou une incidence significative sur le marché intérieur en raison de sa portée. Les capacités à fort impact des modèles d’IA à usage général sont des capacités égales ou supérieures aux capacités des modèles d’IA à usage général les plus avancés. L’éventail complet des capacités d’un modèle pourrait être mieux compris après sa mise sur le marché ou lorsque les déployeurs interagissent avec le modèle. Selon l’état de la technique au moment de l’entrée en vigueur du présent règlement, la quantité cumulée de calculs utilisée pour l’entraînement du modèle d’IA à usage général mesurée en opérations en virgule flottante est l’une des approximations pertinentes pour les capacités du modèle. La quantité cumulée de calculs utilisée pour l’entraînement inclut les calculs utilisés pour l’ensemble des activités et méthodes destinées à renforcer les capacités du modèle avant le déploiement, telles que l’entraînement préalable, la production de données synthétiques et le réglage fin. Par conséquent, il convient de fixer un seuil initial d’opérations en virgule flottante, qui, s’il est atteint par un modèle d’IA à usage général, conduit à présumer qu’il s’agit d’un modèle d’IA à usage général présentant des risques systémiques. Ce seuil devrait être ajusté au fil du temps pour tenir compte des évolutions technologiques et industrielles, telles que les améliorations algorithmiques ou l’amélioration de l’efficacité des matériels, et être complété par des critères de référence et des indicateurs pour la capacité du modèle. À cette fin, le Bureau de l’IA devrait coopérer avec la communauté scientifique, l’industrie, la société civile et d’autres experts. Les seuils, ainsi que les outils et les critères de référence pour l’évaluation des capacités à fort impact, devraient être de bons indicateurs de la généralité et des capacités des modèles d’IA à usage général ainsi que du risque systémique qui y est associé, et pourraient tenir compte de la manière dont le modèle sera mis sur le marché ou du nombre d’utilisateurs qu’il pourrait affecter. Afin de compléter ce système, la Commission devrait avoir la possibilité de prendre des décisions individuelles désignant un modèle d’IA à usage général comme modèle d’IA à usage général présentant un risque systémique s’il est constaté que ce modèle a des capacités ou une incidence équivalentes à celles relevant du seuil fixé. Ces décisions devraient être prises sur la base d’une évaluation globale des critères de désignation des modèles d’IA à usage général présentant un risque systémique énoncés dans une annexe du présent règlement, tels que la qualité ou la taille du jeu de données d’entraînement, le nombre d’utilisateurs professionnels et finaux du modèle, ses modalités d’entrée et de sortie, son niveau d’autonomie et d’évolutivité, ou les outils auxquels il a accès. Sur demande motivée d’un fournisseur dont le modèle a été désigné comme modèle d’IA à usage général présentant un risque systémique, la Commission devrait tenir compte de la demande et peut décider de réévaluer si le modèle d’IA à usage général peut encore être considéré comme présentant un risque systémique.

Table of contents

Springlex and this text is meant purely as a documentation tool and has no legal effect. No liability is assumed for its content. The authentic version of this act is the one published in the Official Journal of the European Union.