Talia est responsable de la mise en œuvre du SMIA dans une entreprise d’imagerie médicale. Son appréciation des risques liés à l’IA met au jour un risque provenant d’un modèle de diagnostic en temps réel, qui appelle une mesure d’escalade spécifique avec intervention humaine pour les sorties à faible confiance, une mesure sans équivalent direct dans l’Annexe A. Un collègue expérimenté soutient qu’il convient que la Déclaration d’Applicabilité n’énumère que les mesures de l’Annexe A, en rattachant ce risque à la correspondance la plus proche (A.9.3, objectifs d’utilisation responsable) et en laissant la mesure d’escalade sur mesure dans la liste des tâches d’ingénierie en attente, en dehors du SMIA. Pour éviter de retarder la mise en service, le même collègue suggère que Talia signe elle-même l’acceptation du risque résiduel. Quelle est l’approche correcte au titre du paragraphe 6.1.3 ?
- A. Refuser les deux suggestions du collègue concernant le traitement des risques.
- B. Accepter les deux suggestions du collègue concernant le traitement des risques.
- C. Accepter la signature de Talia, mais refuser le rattachement à A.9.3 proposé par le collègue.
- D. Accepter le rattachement à A.9.3 proposé par le collègue, mais refuser la signature de Talia.
+ Afficher la réponse
+ Bonne réponse : A
Le paragraphe 6.1.3 exige de l’organisme qu’il détermine toutes les mesures nécessaires à la mise en œuvre des options de traitement retenues, qu’il les compare à l’Annexe A pour vérifier qu’aucune mesure nécessaire n’a été omise et qu’il identifie des mesures supplémentaires au-delà de l’Annexe A lorsqu’elles sont nécessaires ; l’Annexe A est un ensemble de référence servant à la complétude et non un catalogue exhaustif. La Déclaration d’Applicabilité doit contenir ces mesures nécessaires, avec des inclusions et des exclusions justifiées, et la direction désignée doit approuver le plan de traitement des risques liés à l’IA et l’acceptation du risque résiduel lié à l’IA. La correspondance avec la mesure la plus proche omet une mesure nécessaire, et l’acceptation par la responsable de la mise en œuvre elle-même contourne l’approbation requise de la direction désignée.
Référence : ISO/IEC 42001:2023 paragraphe 6.1.3
Piège : T-01 Traiter l’Annexe A comme obligatoire
Meridian Health construit un modèle d’aide au triage qui signale les patients du service des urgences en vue d’une revue clinique accélérée. Lors de l’étape de vérification et de validation, l’équipe de mise en œuvre documente deux critères d’acceptation : une cible d’exactitude globale (atteinte à 94 %) et un critère documenté d’utilisation responsable selon lequel le rappel pour le sous-groupe de patients le plus critique ne doit pas descendre sous un seuil fixé. Lors de la validation finale, le modèle atteint la cible d’exactitude mais n’atteint pas le seuil de rappel par sous-groupe. Selon l’ISO/IEC 42001, quelle est l’étape suivante la plus appropriée pour l’équipe de mise en œuvre ?
- A. Mettre en service, puisque le modèle satisfait globalement à ses critères d’acceptation documentés.
- B. Mettre en service, en appliquant le mécanisme documenté pour un facteur de performance acceptable.
- C. Différer la mise en service et reconsidérer l’utilisation prévue et les exigences de performance.
- D. Différer la mise en service et ouvrir une non-conformité de qualité des données sur les données du sous-groupe.
+ Afficher la réponse
+ Bonne réponse : C
L’A.6.2.4 exige de l’organisme qu’il définisse et documente les mesures de vérification et de validation et qu’il précise les critères de leur utilisation, et le B.6.2.4 indique qu’il convient d’évaluer le système d’IA au regard de ces critères documentés. Élément déterminant : lorsque le système ne peut pas satisfaire aux critères, en particulier des critères liés à des objectifs de développement ou d’utilisation responsables tels que l’équité ou le rappel par sous-groupe, il convient que l’organisme reconsidère ou gère les insuffisances de l’utilisation prévue, des exigences de performance et de la manière dont les impacts seront traités. Atteindre une cible d’exactitude distincte ne satisfait pas un critère d’utilisation responsable non atteint, et ni la mise en service sur la base du résultat global ni le fait de déclarer a posteriori l’écart comme un facteur acceptable ne sont conformes : les facteurs acceptables relèvent des critères d’évaluation documentés, et les critères documentés par l’équipe n’en mentionnent aucun.
Référence : ISO/IEC 42001:2023, Annexe A.6.2.4 et B.6.2.4
Piège : T-02 Cycle de vie logiciel ou cycle de vie du système d’IA
Un responsable de la mise en œuvre hérite d’une « Politique d’IA » de 22 pages qui reproduit mot pour mot les procédures de validation des modèles et d’étiquetage des données de l’organisme. Elle a été approuvée par la direction et n’est stockée que sur l’espace de travail interne du SMIA. En l’examinant au regard du paragraphe 5.2, le responsable de la mise en œuvre doit décider quelle modification unique la met le mieux en conformité. Quelle modification aligne le mieux le document sur le paragraphe 5.2 ?
- A. La réduire à des principes qui renvoient aux procédures ; la faire approuver formellement par la direction
- B. La réduire à des principes qui renvoient aux procédures ; la rendre disponible pour les parties intéressées, selon le cas
- C. Ajouter des renvois aux autres politiques de l’organisme ; la rendre disponible pour les parties intéressées, selon le cas
- D. Ajouter des renvois aux autres politiques de l’organisme ; la faire approuver formellement par la direction
+ Afficher la réponse
+ Bonne réponse : B
L’ISO/IEC 42001:2023, paragraphe 5.2, prévoit que la direction établisse une politique d’IA adaptée à la finalité de l’organisme, qui fournit un cadre pour l’établissement des objectifs de l’IA et engage à satisfaire aux exigences applicables ainsi qu’à l’amélioration continue du SMIA. La politique doit être documentée, faire référence, le cas échéant, aux autres politiques de l’organisme, être communiquée au sein de l’organisme et être disponible pour les parties intéressées, selon le cas. L’Annexe B ajoute qu’il convient qu’elle inclue les principes qui guident les activités de l’organisme en matière d’IA et qu’elle peut renvoyer à d’autres politiques pour le détail propre à une thématique. Cette politique est déjà approuvée par la direction : ses lacunes sont donc les procédures d’ingénierie reproduites mot pour mot et son stockage purement interne, et une correction doit traiter les deux.
Référence : ISO/IEC 42001:2023 paragraphe 5.2
Piège : T-03 Politique d’IA ou déclaration éthique
Un responsable de la mise en œuvre indique au comité de pilotage du SMIA que l’Annexe B de l’ISO/IEC 42001 est informative et que ses éléments de recommandation n’appellent donc aucune justification individuelle dans la Déclaration d’Applicabilité. En jugeant séparément la prémisse et la conclusion, quelle affirmation est exacte ?
- A. La conclusion tient bien que la prémisse soit fausse : l’Annexe B constitue des recommandations normatives de mise en œuvre pour les mesures du Tableau A.1, et rien dans la norme n’exige que ses éléments de recommandation soient listés ou justifiés individuellement dans la Déclaration d’Applicabilité.
- B. Les deux parties tiennent et vont plus loin que ce qui est avancé : l’Annexe B est informative, ses éléments restent hors de la Déclaration d’Applicabilité, et lorsque ses recommandations sont adoptées intégralement pour une mesure, cette adoption vaut également justification de l’inclusion de la mesure correspondante de l’Annexe A.
- C. La prémisse est fausse et entraîne la conclusion avec elle : l’Annexe B est normative, de sorte que chaque élément de recommandation qu’elle contient entre dans la Déclaration d’Applicabilité aux côtés des mesures de l’Annexe A et y porte sa propre justification d’inclusion ou d’exclusion.
+ Afficher la réponse
+ Bonne réponse : A
La conclusion du responsable de la mise en œuvre est juste, mais la raison avancée pour la justifier est fausse. L’Annexe B est une annexe normative (seules les Annexes C et D sont informatives) : la prémisse de l’annexe « informative » est donc fausse ; mais le caractère normatif ne crée pas davantage d’obligation au titre de la DdA, car le B.1 énonce que l’inclusion ou l’exclusion des recommandations de mise en œuvre n’a pas à être documentée ni justifiée dans la Déclaration d’Applicabilité. La discipline de la DdA prévue au paragraphe 6.1.3 s’attache aux mesures de l’Annexe A, et l’adoption de recommandations ne peut s’y substituer.
Référence : ISO/IEC 42001:2023, Annexe B.1
Piège : T-01 Traiter l’Annexe A comme obligatoire
Un responsable de la mise en œuvre dans une société de technologie financière a déployé un classifieur qui signale les transactions potentiellement frauduleuses ; la fraude réelle représente environ 0,8 % du volume des transactions. Le système n’utilise pas l’apprentissage continu. Le responsable de la mise en œuvre définit les mesures d’exploitation et de surveillance continues et doit décider comment le SMIA mesurera et surveillera les performances du système en production. Quel choix satisfait le mieux aux exigences de l’ISO/IEC 42001 relatives à l’exploitation et à la surveillance du système d’IA ?
- A. Suivre le score F1 et vérifier chaque mise à jour par apprentissage au regard des objectifs de conception
- B. Suivre le taux d’erreur et surveiller les données de production pour détecter une dérive conceptuelle ou une dérive des données
- C. Suivre le taux d’erreur et vérifier chaque mise à jour par apprentissage au regard des objectifs de conception
- D. Suivre le score F1 et surveiller les données de production pour détecter une dérive conceptuelle ou une dérive des données
+ Afficher la réponse
+ Bonne réponse : D
Le bon indicateur reflète la classe rare mais significative sur le plan opérationnel et peut être calculé sur le trafic de production. La mesure A.6.2.6 de l’ISO/IEC 42001:2023 exige que l’organisme définisse et documente les éléments nécessaires au fonctionnement continu du système d’IA ; il convient que ces éléments incluent au minimum la surveillance du système et des performances, les réparations, les mises à jour et l’assistance. Ses recommandations indiquent qu’un système qui n’utilise pas l’apprentissage continu peut tout de même voir ses performances évoluer du fait d’une dérive conceptuelle ou d’une dérive des données de production, et que la surveillance peut mettre en évidence la nécessité d’un réentraînement. Une métrique fondée sur la précision et le rappel, associée à une surveillance de la dérive, y satisfait.
Référence : ISO/IEC 42001:2023 Annexe A.6.2.6 (avec les recommandations de mise en œuvre B.6.2.6 ; cf. Paragraphe 9.1)
Piège : T-02 Cycle de vie logiciel ou cycle de vie du système d’IA
Un implémenteur finalise les artefacts relatifs aux personnes pour un système de management de l’IA. Un prestataire sous contrat fournit des travailleurs qui annotent les données d’entraînement façonnant l’équité et l’exactitude d’un modèle. Le personnel du prestataire ne voit jamais la politique d’IA ni les instances de gouvernance internes. L’implémenteur envoie déjà à chaque salarié interne un module annuel de sensibilisation à la politique et prévoit d’ajouter les annotateurs à ce même module, en se disant qu’en tant que prestataires externes ils ont seulement besoin de savoir que la politique existe. Qu’est-ce que l’implémenteur a le plus besoin d’ajouter pour ces annotateurs sous contrat ?
- A. Un canal de signalement confidentiel afin que les annotateurs puissent faire part de leurs préoccupations sur la définition de la tâche d’annotation, puisqu’ils sont les plus proches des données préparées.
- B. Des preuves conservées de leur compétence pour le travail d’annotation, sur la base de la formation initiale, professionnelle ou de l’expérience, parce que ce travail influe sur la performance de l’IA.
- C. Leur intégration au programme de sensibilisation afin qu’ils comprennent la politique d’IA, leur propre contribution à l’efficacité du système de management et les implications d’un non-respect de ses exigences.
+ Afficher la réponse
+ Bonne réponse : B
La lacune porte sur la compétence, pas seulement sur la sensibilisation. Parce que l’annotation influe sur la performance de l’IA, ces personnes sous contrat relèvent de l’exigence de compétence, avec des informations documentées disponibles comme preuves de compétence, et non de la seule exigence de sensibilisation qui convient à tous ceux qui sont dans le périmètre.
Référence : ISO/IEC 42001:2023, paragraphe 7.2 (compétence), mis en regard du paragraphe 7.3 (sensibilisation)
Piège : T-03 Politique d’IA ou déclaration éthique
Un responsable de la mise en œuvre finalise la Déclaration d’Applicabilité pour deux systèmes inclus dans le périmètre et consignés dans l’inventaire d’IA : (1) un classificateur d’images à apprentissage profond supervisé, réentraîné chaque mois, et (2) un moteur de règles déterministe, rédigé par des experts, qui n’effectue aucun apprentissage. Les deux sont étiquetés « système d’IA » dans l’inventaire. Le responsable de la mise en œuvre détermine comment traiter la mesure A.4.3 (documentation des ressources de données) pour chacun. Comment la catégorisation « apprentissage automatique » du système (1) devrait-elle orienter le traitement de A.4.3 par le responsable de la mise en œuvre, par rapport au système (2) ?
- A. Le même enregistrement A.4.3 de base pour les deux systèmes, sans catégories de données d’apprentissage automatique
- B. Le même enregistrement A.4.3 complet pour les deux systèmes, catégories de données d’apprentissage automatique comprises
- C. Un enregistrement A.4.3 complet pour le système (1), et celui du système (2) sans catégories de données d’apprentissage automatique
- D. Un enregistrement A.4.3 complet pour le système (2), et celui du système (1) sans catégories de données d’apprentissage automatique
+ Afficher la réponse
+ Bonne réponse : C
La mesure A.4.3 exige de l’organisme, dans le cadre de l’identification des ressources, qu’il documente les informations relatives aux ressources de données utilisées pour le système d’IA. L’Annexe B.4.3 énumère des thèmes tels que la provenance des données, le processus d’étiquetage des données, la qualité des données et les problèmes de biais connus ou potentiels, ainsi que, pour l’apprentissage automatique, les catégories de données (données d’entraînement, de validation, de test et de production). La catégorisation « apprentissage automatique » fixe donc l’étendue de A.4.3 : le classificateur d’apprentissage profond réentraîné chaque mois a tous ces éléments à consigner, tandis que le moteur de règles déterministe n’a aucune donnée d’entraînement, de validation ou de test, de sorte que son enregistrement est plus léger. L’étiquette « système d’IA » commune dans l’inventaire ne rend pas les deux enregistrements identiques, et la surveillance de la dérive au titre de la mesure A.6.2.6 ne remplace pas la documentation des données du classificateur.
Référence : ISO/IEC 42001:2023 Annexe A.4.3
Piège : T-01 Traiter l’Annexe A comme obligatoire
Une équipe spécialisée dans les technologies de santé affine un modèle de triage sur un jeu de données externe acheté. Au cours de la mise en œuvre, elle a déjà enregistré les détails de l’acquisition (fournisseur, catégories, données démographiques, droits de licence) et défini des seuils de qualité des données que le lot a respectés. Des mois plus tard, une autorité de régulation cherche à savoir si une version antérieure d’un champ avait été dérivée à nouveau et si des enregistrements avaient ensuite été fusionnés à partir d’un second flux, modifiant la signification de ce champ au fil du temps. L’équipe peut démontrer que le jeu de données actuel est de haute qualité, mais ne peut pas reconstituer la manière dont les données sont parvenues à leur état actuel au fil des versions intermédiaires. Quelle mesure relative aux données le responsable de la mise en œuvre a-t-il le plus probablement laissée insuffisamment mise en œuvre ?
- A. Les détails relatifs à l’acquisition et à la sélection des données n’ont pas été consignés, laissant non documentés les sources, les catégories, les droits et les caractéristiques démographiques du jeu de données acheté.
- B. Les exigences de qualité des données pour le système d’IA n’ont pas été définies, de sorte que l’organisme ne peut pas démontrer que les données utilisées pour développer et exploiter le système respectaient les seuils de qualité convenus.
- C. Les critères de sélection des méthodes de préparation des données, telles que le nettoyage, l’imputation, la normalisation et l’étiquetage, n’avaient été ni définis ni documentés pour ce jeu de données.
- D. L’exigence consistant à définir et documenter un processus d’enregistrement de la provenance des données tout au long des cycles de vie des données et du système d’IA lui-même n’a pas été suffisamment satisfaite.
+ Afficher la réponse
+ Bonne réponse : D
La mesure laissée insuffisamment mise en œuvre est la provenance en tant que lignage enregistré dans le temps (A.7.5), et non la qualité à un instant donné (A.7.4), l’acquisition au point d’entrée (A.7.3) ou les critères relatifs aux méthodes de transformation (A.7.6). Un jeu de données actuellement de haute qualité, dont l’acquisition est documentée, peut néanmoins être en défaut si l’historique, d’une version à l’autre, de l’origine et des modifications n’a jamais été enregistré.
Référence : ISO/IEC 42001:2023 Annexe A mesure A.7.5
Piège : T-02 Cycle de vie logiciel ou cycle de vie du système d’IA
Vous mettez en œuvre le SMIA d’un assistant de service client qui répond aux questions de facturation et peut émettre des remboursements jusqu’à une limite fixée. La direction souhaite que des exigences de transparence soient intégrées avant le lancement. Une proposition consiste à publier un rapport annuel de transparence décrivant le modèle à l’intention des autorités de réglementation et du public, et à considérer que ce rapport satisfait à l’obligation de transparence. Au titre de l’Annexe A, quelle disposition l’implémenteur devrait-il privilégier pour atteindre l’objectif selon lequel les parties intéressées pertinentes peuvent comprendre et évaluer le système et ses impacts au point d’utilisation ?
- A. A.8.3 Comptes rendus externes, fournir aux parties intéressées des moyens de signaler à l’organisme les impacts négatifs du système d’IA, pour examen.
- B. C.2.11 Transparence et explicabilité, traiter la transparence comme une propriété du système et rendre explicables aux parties intéressées les facteurs importants qui influencent chaque résultat.
- C. A.8.2 Documentation et informations du système à l’attention des utilisateurs : déterminer et fournir aux utilisateurs les informations dont ils ont besoin : notification de l’interaction avec une IA, finalité et limites du système, comment et quand passer outre, et besoins en matière de supervision humaine.
- D. A.8.5 Informations à l’attention des parties intéressées, déterminer et documenter les obligations de l’organisme en matière de communication d’informations sur le système d’IA aux parties intéressées telles que les autorités de réglementation.
+ Afficher la réponse
+ Bonne réponse : C
Le destinataire et le niveau restreignent le choix : quelle disposition place l’information sous les yeux de l’utilisateur au point d’utilisation, et non un compte rendu destiné aux autres parties intéressées ou provenant d’elles, ni un objectif de niveau conceptuel. L’objectif de l’Annexe A.8 de l’ISO/IEC 42001:2023 est que les parties intéressées pertinentes disposent des informations nécessaires pour comprendre et évaluer les risques et les impacts du système, et la mesure qui les fournit aux utilisateurs, avec des recommandations en B.8.2, est A.8.2. Un rapport annuel destiné aux autorités de réglementation et au public n’atteint pas l’utilisateur au point d’utilisation.
Référence : ISO/IEC 42001:2023 Annexe A.8.2
Piège : T-03 Politique d’IA ou déclaration éthique
Une non-conformité relevée chez un fournisseur d’IA a établi qu’une mise à jour de modèle avait atteint la production sans l’évaluation exigée de l’impact. Le responsable de la mise en œuvre a corrigé le déploiement, réalisé l’analyse des causes racines et déployé une modification approuvée du flux de mise en production. Sur quelles preuves convient-il de clôturer la revue de l’efficacité de cette action corrective au titre du paragraphe 10.2 ?
- A. Procès-verbal de la revue de direction suivante consignant que la direction a accepté l’analyse des causes racines et approuvé le flux de mise en production révisé
- B. Résultats d’un échantillonnage des mises en production après une période de fonctionnement réel, montrant que la lacune du flux a disparu et qu’aucune mise à jour n’a de nouveau contourné l’évaluation
- C. Enregistrements de vérification confirmant que chaque action convenue a été mise en œuvre comme prévu, puisque la clôture dépend de l’achèvement des actions planifiées dans les délais prévus
+ Afficher la réponse
+ Bonne réponse : B
Le paragraphe 10.2 exige de revoir l’efficacité de l’action corrective, une étape qui va au-delà de la vérification de la mise en œuvre des actions. L’efficacité est démontrée par des preuves de fonctionnement dans la durée : la cause a disparu et la non-conformité ne s’est pas reproduite. La vérification de la mise en œuvre et l’acceptation par la direction sont des étapes antérieures ; aucune ne démontre l’absence de récurrence. La clôture dépend du fait que l’action fonctionne en pratique, et pas seulement du fait qu’elle a été mise en œuvre comme prévu.
Référence : ISO/IEC 42001:2023 paragraphe 10.2
Piège : T-02 Cycle de vie logiciel ou cycle de vie du système d’IA