Azmed

• Modalité : X rays
• Liste exhaustive des zones anatomiques validées pour la détection des fractures par votre logiciel :
  • Main
  • Poignet
  • Avant-bras
  • Coude
  • Humérus
  • Épaule / Clavicule
  • Côtes
  • Rachis cervical, thoracique, lombaire
  • Pelvis / Bassin
  • Hanche
  • Tibia / Fibula
  • Genou
  • Cheville
  • Pied
• Liste des zones anatomiques non validées : crâne / massif facial
  • Pour les zones anatomiques non validées, une évolution est-elle attendue ? Ce n’est pas le cas aujourd’hui.
• Produit validé chez l’adulte/ chez l’enfant sans restriction d’âge.

• Marquage CE : Oui, Si oui quelle classe :
  • Classe I sous l’ancienne directive européenne MDD 93/42/EEC depuis juin 2019

  • Classe IIA sous le nouveau règlement Européen MDR 2017/745 depuis mai 2021
• Marquage (Approval) FDA : Oui, depuis le 2 juin 2022.
• Les certifications (ISO 13485, 27001) ont-elles été obtenues : certification ISO 13 485 depuis novembre 2019.
• L’algorithme est-il fixe ou s’adapte-t-il avec les ajouts de nouvelles données ?

Il s’adapte et s’améliore continuellement avec l’ajout de nouvelles données. Il existe 2 types de modifications liées à ces améliorations :

• • Modifications majeures, réalisées une fois par an et qui concerne notre algorithme “général”. Cette modification est soumise chaque année à un nouvel audit dans le cadre de notre marquage CE. Cette modification consiste à ajouter de nouvelles données pour l’entraînement avec des optimisations des paramètres et de l’architecture globale de l’algorithme.
  • Modifications mineures réalisées plusieurs fois par an. Sur demande de nos centres partenaires. Exemple : Ajustement du seuil de détection afin de modifier la balance entre sensibilité et spécificité en fonction du contexte clinique et des besoins du partenaire.

• Si évolution avec données nouvelles, s’agit-il d’ajout de :
  • Données locales
  • Données externes incrémentées

Cf question précédente : données externes, + données locales si souhaité par le partenaire en question.

• Provenance et diversité des données de la base : La base de données provient de 27 pays basés pour la plupart en Europe, Moyen-Orient, Afrique, Amérique Latine et Amérique du Nord. La nature des centres est également extrêmement variable : Hôpitaux publics, Hôpitaux privés, centres de radiologie, cliniques, groupe de téléradiologie, centres d’urgences.
• Taille de la base d’entrainement (en nombre de radio) : 10 millions.
• Taille de la base de validation : 100 000
• Taille de la base de test : 100 000
  • Pour la base de test, s’agit-il d’une base « externe » : oui.
• Technique d’annotation : au moins 3 radiologues distincts annotent chaque image. Si accord entre les radiologues = vérité absolue. Si désaccord entre les radiologues = au moins un radiologue expert tranche. Aucun achat de base « commerciale ». Les 3 radiologues sont des experts seniors ou juniors
• Standard de référence pour l’établissement de la vérité terrain = au moins 3 radiologues distincts + au moins un radiologue expert si désaccord.

• Avec quels PACS / RIS / Marketplace, votre outil peut-il être intégré ?
  • Nous nous intégrons avec l’entièreté des PACS / RIS / Marketplace du marché. Des accords commerciaux et/ou techniques pour une intégration encore plus poussée ont par ailleurs été signés avec la quasi-totalité des acteurs du marché français.
  • Intégration du DICOM et HL7
• Déploiement : Local (serveur spécifique) / Cloud :
  • Les deux. Nous avons certifié CE l’entièreté de l’intégration locale, en prenant en compte le serveur spécifique.
• Proposition de questions fermées sur le renvoi des résultats :
  • Format de renvoi? Secondary Captures, GSPS, Dicom SR, HL7
  • Forme du résultat (bb, heat map etc): Rectangles de détection “bounding boxes”
  • Type d’information délivré pour la détection de fracture : forte suspicion de fracture(s), faible suspicion de fracture(s), pas de suspicion de fracture.
  • Personnalisation possible ? OUI : format de renvoi paramétrable, ajout ou suppression de la mention “faible suspicion de fracture” en fonction du workflow, adaptation de l’algorithme, changement du texte de renvoi sur-mesure, possibilité d’interagir avec logiciel et de le corriger. 
=> Le logiciel est totalement paramétrable et sur-mesure en fonction du contexte, du workflow et de son utilisation par les radiologues ou cliniciens.
• Comment sont exprimés les résultats (heat ou saliency map / Oui, non, doute/ échelle semi quantitative, autre ? …)
  • Nous avons une multitude d’options possibles afin d’exprimer les résultats. La plupart de nos partenaires nous demande : un renvoi des résultats à l’aide de « bounding boxes » (délimitation des zones suspectes à l’aide d’un rectangle) accompagné du texte « Suspicion de fracture ».

Nous pouvons réaliser la détection de manière binaire : Suspicion de fracture vs Pas de suspicion de fracture.
Nous pouvons également réaliser la détection en plusieurs modalités :

• • • Pas de suspicion de fracture
    • Faible suspicion de fracture (avec la zone d’intérêt encadré par des pointillés)
    • Forte suspicion de fracture (avec la zone d’intérêt encadrée par un trait plein).

Nous préférons les termes « forte et faible suspicion » que « doute » car en réalité toutes les détections sont des zones d’intérêt qui doivent être revues par le médecin. Nous ne voulons pas sous-entendre que les détections hors « doute » sont des détections certaines.

• Temps de process (en secondes) : temps de process de moins d’1 seconde par image pour l’algorithme ; temps de process moyen de 45 secondes pour l’ensemble de l’opération (téléchargement de l’image etc). => Bien faire comprendre que les logiciels d’IA tournent automatiquement dès réception de l’image par le PACS, et que le radiologue n’attend pas.
• Taux de dossiers non traités : N/A
• Notification des dossiers non traités : OUI : Option activable par le partenaire. Renvoi d’un rapport d’examen avec la raison évoquée, que cela concerne une image d’un examen, ou l’examen entier (région anatomique, particularité de l’image ou de l’examen etc).
• Présence d’un tag/priorisation directement dans la liste de travail
  • Du RIS : OUI
  • Du PACS : OUI
• Intégration dans le PACS
  • Automatique : OUI
  • Après validation du radiologue : OUI

• Respect des règles RGPD dans le déploiement du logiciel ?
  • Respect total du RGPD. Plusieurs audits externes effectués pour en attester, chartes en internes élaborées. Aucune donnée à caractère personnelle n’est traitée en dehors de l’hôpital. Lorsque le cloud est utilisé, il reçoit systématiquement des données 100% anonymisées (et non pseudonymisées).
• Serveurs d’entraînement agréés HDS : OUI
• Méthodes d’anonymisation ou de pseudonymisation : anonymisation pure. AZmed extrait uniquement les pixels de l’image et crée un fichier png ne contenant aucune métadonnée du fichier DICOM initial. De plus, le logiciel fonctionne de manière synchrone, ce qui veut dire qu’il traite les images une par une et attend la réponse de l’algorithme avant de traiter l’image suivante. Ainsi, il n’y a pas besoin de créer un lien entre le fichier DICOM original et le fichier PNG extrait, et cela garantit l’anonymisation totale.
• Droit d’accès et d’opposition : Une notice de non-opposition peut être mis à disposition du Partenaire, pour un affichage général (accueil, salle d’attente).
  Selon le code Santé publique (Art L. 1111-4), l’IA n’est ni un acte médical ni un traitement. Il s’agit d’un simple outil d’aide à la décision qui n’engage pas de consentement préalable du patient. Cependant, comme rappelé dans le principe de garantie humaine, l’information du patient en cas de recours à l’IA est exigée par le code de santé publique (Art. L.1111-2 et Art. L. 4001-3.I).

• Liste des publications en peer review (pubmed) ou en « gray literature »
  • Michel Dupuis, Léo Delbos, Raphael Veil, Catherine Adamsbaum, External validation of a commercially available deep learning algorithm for fracture detection in children, dans “Diagnostic and Interventional Imaging”. Disponible sur le lien suivant : https://www.sciencedirect.com/science/article/abs/pii/S2211568421002400?dgcid=coauthor
  • Hopital Louis Mourier de l’AP-HP: https://www.mdpi.com/2313-433X/7/7/105
  • Etude Clinique menée avec 21 hôpitaux universitaire de Cleveland (UHC), dans le cadre de l’obtention de la FDA : https://www.accessdata.fda.gov/cdrh_docs/pdf22/K220164.pdf

• Zones anatomiques ayant fait l’objet de la (des) validation (s) scientifique (s) : cf question 2.

• Communications scientifiques dans les congrès :
  • FC18-04 L’intelligence artificielle permet-elle de faciliter le diagnostic de fracture de membre aux urgences? Poonam LOLL (Niort), Mathieu VIOLEAU
  • Guillaume Reicher, Louis Mourier APHP, ECR 2020 : https://www.youtube.com/watch?v=vK62DWwpPsQ
  • RSNA 2022 : Working « Smarter »: A Review of Artificial Intelligence in Musculoskeletal Radiology
  • RSNA 2022 : Assessing the Potential of a Deep Learning Tool To Improve Fracture Detection by Radiologists and Emergency Physicians on Extremity Radiographs

• Performances validées scientifiquement : les performances de notre logiciel ont été évaluées à travers plusieurs études :
  • How Can a Deep Learning Algorithm Improve Fracture Detection on X-rays in the Emergency Room? (Published: 25 June 2021 – Journal of Imaging)
  • External validation of a commercially available deep learning algorithm for fracture detection in children – Fracture detection with a deep learning algorithm (Published: November 2021 – Diagnostic and Interventional Imaging)
  • L’intelligence artificielle permet-elle de faciliter le diagnostic de fracture de membre aux urgences? (Niort 2021)
  • Effectiveness of a new deep learning algorithm for fracture detection and localization using musculoskeletal X-rays. (Post market clinical investigation – 2020).
  • Etude Clinique menée avec 21 hôpitaux universitaire de Cleveland (UHC), dans le cadre de l’obtention de la certification FDA.

• Détail des Sensibilité / spécificité / ROC curve…

Population adulte : https://www.accessdata.fda.gov/cdrh_docs/pdf22/K220164.pdf

• Sensibilité : 98.7%
• Spécificité : 88.5%
• Valeur Prédictive Négative : 99.6%
• AUC de la courbe ROC : 98.6%

Population pédiatrique : https://www.sciencedirect.com/science/article/abs/pii/S2211568421002400?dgcid=coauthor
External validation of a commercially available deep learning algorithm for fracture detection in children – Fracture detection with a deep learning algorithm (Published: November 2021 – Diagnostic and Interventional Imaging) : 2 600 patients consécutifs de moins de 18 ans aux rgences pédiatriques (Hôpital Bicêtre APHP). 4 Radiologues ont participé à l’étude.

Performances pour 5-18 ans :

• • 96 % sensibilité / patient
  • 90 % spécificité / patient
  • 98 % Valeur predictive négative

• Données de performance en vie réelle ?

Méthodologie unique afin d’évaluer les performances en vie réelle :

• • Avant chaque mise en production, création d’un ensemble de test constitué exclusivement d’images du partenaire en question. Cet ensemble est fidèle à l’environnement source (prévalence, âge, région anatomique etc.)
  • 3 radiologues d’AZmed déterminent ensuite la vérité absolue sur cet ensemble.
  • Cela nous permet donc :
(i) de choisir, parmi notre bibliothèque d’algorithmes, celui qui correspondra le mieux à l’environnement du partenaire avant la mise en production.
(ii) d’évaluer les futures performances de cet algorithme, avant même sa mise en production, et de partager ces résultats aux radiologues du centre.
(iii) de mesurer de la manière la plus précise possible les nouvelles améliorations au cours du partenariat, spécifiquement pour le partenaire en question (une même amélioration algorithmique aura des effets différents d’une structure à l’autre ; de même, cela nous permet d’évaluer précisément les améliorations spécifiques pour le partenaire en question).

La force d’AZmed réside dans la capacité d’industrialisation de ce processus, qui a été répété plus de 600 fois en moins de 2 ans pour l’ensemble de nos partenaires.

• • Mise en place d’une surveillance post-market (algorithmo-vigilance) ? Recueil des retours d’expérience des médecins à travers des échanges réguliers avec les équipes d’AZmed. Mise en place d’outils pour suivre précisément les statistiques du logiciel et les retours sur des cas cliniques spécifiques.

• Pour chacun des scenarios listés ci-dessous (inspiré du white paper canadien : Tang et al CAR WP, PMID: 29655580), préciser si :
  • Techniquement possible OUI / NON
  • Privilégié dans votre accompagnement technique et commercial OUI / NON / Indifférent

• Triage (outil positionné en amont du travail radiologique) :
  • Techniquement possible : OUI
  • Privilégié dans l’accompagnement technique et commercial : OUI dans la plupart des cas. Pas toujours le cas néanmoins, notamment lorsqu’il est préférable que l’utilisateur ne soit pas influencé par le résultat de l’algorithme avant de prendre connaissance de l’examen de manière neutre.
• Aide à la décision radiologique (outil positionné en aval ou en parallèle) (Add-on) :
  • Techniquement possible : OUI
  • Privilégié dans l’accompagnement technique et commercial : OUI
• Aide au diagnostic du professionnel de santé (by-pass momentané du radiologue)
  • Techniquement possible : OUI
  • Privilégié dans l’accompagnement technique et commercial : cela dépend également de la situation. Notre politique est toujours la même : l’imagerie médicale reste l’apanage des radiologues. Nous nous devons de présenter la solution aux radiologues, et nous nous en tenons à leur décision et leur choix quant à la manière avec laquelle ils souhaitent intégrer l’outil. La plupart du temps, en milieu hospitalier français, les radiologues souhaitent que l’outil soit mis à disposition des cliniciens, notamment pour réduire le nombre de discordances en seconde lecture (cf étude clinique réalisée avec le CH de Niort).
• Remplace le professionnel de santé (Replace) (Radiologue / Autre)
  • Techniquement possible : NON
  • Privilégié dans l’accompagnement technique et commercial : NON

• Date de création de la société : 2018
• Nombre d’employés : 42
• Nombre de clients : 670 au total, dont :
  • en France : 200 environ
  • à L’étranger : 470 environ
• Modèle de facturation : Pay per view / Abonnement / Autre
  • Abonnement annuel ou pluriannuel avec un prix fixe, qui dépend de la volumétrie analysable par la solution et qui est fixé à l’avance.
  • Licence perpétuelle ou pay per view possibles également sur demande du partenaire
• Des formations à l’usage de l’outil sont-elles proposées ?
  • Moyens importants mis en œuvre pour la formation : (i) formation en personne au sein de la structure, ou visioconférence ; (ii) Vidéos de formation disponibles en ligne sur demande ; (iii) mail explicatif facilement partageable par les responsables ; (iv) webinars, formations DPC, cours en ligne ou en présentiels organisés de manière récurrente par les équipes.
• Détails des maintenances et service après-vente
  • Moyen de communication en cas de problème disponible 7j/7 et 24h/24
  • Maintenance corrective, support et assistance offerts en continu effectué par la société.
• Le modèle économique inclue-t-il la mise à disposition de nouvelles versions ? OUI.