Gleamer

• Modalité : Radiographie conventionnelle (CR, DR et DX)
• Liste exhaustive des zones anatomiques validées pour la détection des fractures par votre logiciel : Membres, Pelvis, Rachis dorso-lombaire et gril costal
• Liste des zones anatomiques non validées : Rachis cervical, crâne
• Pour les zones anatomiques non validées, une évolution est-elle attendue ? non
• Produit validé chez l’adulte et l’enfant sans limite d’âge

• Marquage CE MDR IIa en Mars 2023 sous la directive 2017/745 (MDR) via BSI (2797)
• Clearance FDA 510(k) CADx/CADe – en Mars 2022 pour Adulte et fracture uniquement et nouveau marquage en Mars 2023 avec l’ajout de la pédiatrie (dès 2ans) pour les fractures
• Certifications ISO 13485 via BSI
• L’algorithme est-il fixe ou s’adapte-t-il avec les ajouts de nouvelles données ? 
Pour la version CE, l’algorithme BoneView suit un processus d’amélioration continue visant la mise en production de nouvelles versions jusqu’à trois à quatre, accessibles automatiquement aux utilisateurs.
  Information : Plusieurs évolutions mineures (3) entre Février et Juin 2022, dont 1 pour amélioration des performances.
  Conformément à la réglementation européenne en vigueur, chaque ajout de données dans la base d’entraînement nécessite une annotation précise et conforme à la conception de l’algorithme, et suit un processus qualité et réglementaire permettant d’assurer l’obtention de l’amélioration des performances souhaitée sans impact ou dégradation d’autres performances en sous-groupe.
• Les évolutions FDA sont soumises à la validation complète de la FDA, pour chaque changement majeur.
• Si évolution avec données nouvelles, s’agit-il d’ajout de : de données externes publiques et privées récupérées via nos partenaires.

• Provenance et diversité des données de la base : Données externes provenant de plus de 22 centres publics et privés, de France, d’Europe et des Etats-Unis.
• Taille de la base d’entraînement +500 000 images
• Taille de la base de validation +20,000 images
• Taille de la base de test 60 000 images + bases de tests spécifiques suivant l’évolution apportées (âge, pathologies, sous-pathologies…)
• Pour la base de test, s’agit-il d’une base « externe » : OUI, plusieurs bases de test sont utilisées et sont majoritairement issues de partenariats.
• Technique d’annotation : Technique d’annotation internalisée sur une plateforme interne, avec des radiologues de surspécialité (pas de sous-traitance, une 50aine de radiologues)
• Standard de référence pour l’établissement de la vérité terrain Croisement de lectures indépendantes de radiologues experts, établissement d’un consensus avec au moins 3 experts si discordance.

• Avec quels PACS / RIS / Marketplace, votre outil peut-il être intégré ?
  L’outil peut être intégré à l’ensemble des PACS et RIS via des formats de résultats standards (DICOM).
  Intégration Marketplace avec: Incepto / deepc / Aidoc / Blackford / Ferrum Health / Wellbeing / Sectra Amplifier Store / Philips AI Manager / Fujifilm ReiLi / Infinitt / Softway EasyIA / CARP.L
• Déploiement : Cloud (Google cloud) ou en local sur demande
• Comment sont exprimés les résultats (heat ou saliency map / Oui, non, doute/ échelle semi-quantitative, autre ? …)
  • Renvoi d’un intercalaire résumant les anomalies détectées, le nombre d’images analysées vs reçues et le statut positif/doute/négatif à l’échelle de l’examen.
  • Si cas positif ou doute : recopie des images natives avec ajout d’une zone d’intérêt rectangulaire autour de la zone de détection notifiant la localisation et le type de l’anomalie (en trait plein si confiance élevée = positif, en trait pointillée si confiance intermédiaire = doute)

Exemple d’intercalaire de résultat positif 

Exemple de visualisation des images copiées avec les régions d’intérêt

• Temps de process en cloud ou local (en secondes) : inférence de l’IA < 20 secondes, retour des résultats en 1 minute environ
• Taux de dossiers non traités : = taux d’examens non supportés (abdomen, rachis cervical, mandibule, …)
• Notification des dossiers non traités : OUI

Exemple d’intercalaire lorsqu’une ou plusieurs images ne sont pas supportées par BoneView

• Présence d’un tag/priorisation directement dans la liste de travail : Oui
• Intégration dans le PACS
  • Automatique : OUI
  • Après validation du radiologue : Possible avec certaines intégrations

• Respect des règles RGPD dans le déploiement du logiciel ? OUI
• Serveurs d’entraînement agréés HDS : OUI ainsi que HIPAA (USA)
• Méthodes d’anonymisation : Les champs DICOM identifiants sont effacés ou remplacés. Envoi de l’examen de la gateway (déployée en local sur une machine virtuelle) vers BoneView après pseudonymisation (une table de correspondance est conservée localement sur la gateway de façon à réassocier les résultats au dossier du patient sur le PACS).
• Droit d’accès et d’opposition : Les données traitées sont pseudonymisées, et ne sont pas conservées. Gleamer se soumet au Règlement (UE) 2016/679 pour assurer la bonne conformité de notre système de gestion des données patient.

• Liste des publications en peer review (pubmed) ou en « gray literature

1°/ Fractures by Emergency Physicians and Radiologists: A Multicenter Cross-sectional Diagnostic Study 

Auteurs : Loïc Duron, Alexis Ducarouge, André Gillibert, Julia Lainé, Christian Allouche, Nicolas Cherel, Zekun Zhang, Nicolas Nitche, Elise Lacave, Aloïs Pourchot, Adrien Felter, Louis Lassalle, Nor-Eddine Regnard, Antoine Feydy

Article Radiology

2°/ Improving Radiographic Fracture Recognition Performance and Efficiency Using Artificial Intelligence

Auteurs: Ali Guermazi, Chadi Tannoury, Andrew J Kompel, Akira M Murakami, Alexis Ducarouge, André Gillibert, Xinning Li, Antoine Tournier, Youmna Lahoud, Mohamed Jarraya, Elise Lacave, Hamza Rahimi, Aloïs Pourchot, Robert L Parisien, Alexander C Merritt, Douglas Comeau, Nor-Eddine Regnard, Daichi Hayashi

Article Radiology – Alexander Margulis award RSNA 2022 for scientific excellence

3°/ Automated detection of acute appendicular skeletal fractures in pediatric patients using deep learning

Daichi Hayashi, Andrew J. Kompel, Jeanne Ventre, Alexis Ducarouge, Toan Nguyen, Nor‐Eddine Regnard, Ali Guermazi

Article Skeletal Society

4°/ Added value of an artificial intelligence solution for fracture detection in the radiologist’s daily trauma emergencies workflow

Lisa Canoni-Meyneta, Pierre Verdota, Alexis Dannera, Paul Calamea, Sébastien Aubry

Article Diagnostic and Interventional Imaging

5°/ Assessment of performances of a deep learning algorithm for the detection of limbs and pelvic fractures, dislocations, focal bone lesions, and elbow effusions on trauma X-rays

Nor-Eddine Regnard, Boubekeur Lanseur, Jeanne Ventre, Alexis Ducarouge, Lauryane Clovis, Louis Lassalle, Elise Lacave, Albane Grandjean, Aurelien Lambert,Benjamin Dallaudiere, Antoine Feydy

Article European Journal of Radiology

6°/ Assessment of an artifcial intelligence aid for the detection of appendicular skeletal fractures in children and young adults by senior and junior radiologists

Toan Nguyen, Richard Maarek, Anne‐Laure Hermann, Amina Kammoun, Antoine Marchi, Mohamed R. Khelif‐Touhami, Mégane Collin, Aliénor Jaillard, Andrew J. Kompel, Daichi Hayashi, Ali Guermazi, Hubert Ducou Le Pointe

Article Pediatric Radiology

7°/ Artificial intelligence vs. radiologist: accuracy of wrist fracture detection on radiographs

Cohen, M., Puntonet, J., Sanchez, J., Kierszbaum, E., Crema, M., Soyer, P., & Dion

Article European Journal of Radiology

8°/ A Prospective Approach to Integration of AI Fracture Detection Software in Radiographs intoClinical Workflow

Jonas Oppenheimer, Sophia Lüken, Bernd Hamm, Stefan Markus Niehues

Life

• Zones anatomiques ayant fait l’objet de la (des) validation (s) scientifique (s)

Mains, poignet, pieds, cheville, jambe, genoux, bras, épaule, clavicule, pelvis, hanche, rachis thoraco-lombaire

• Communications scientifiques dans les congrès

JFR 2021
Évaluation de l’impact médico-économique d’une IA pour la détection de fracture en radiographie
Authors : NE. Regnard; B. Lanseur; L. Lassalle; S. Gaudart; C. Malandrin; JD.Laredo; A. Feydy; N. Theumann; F. Brettmayer; D. Jacob

CNT2U 2021
Évaluation de l’impact médico-économique d’un logiciel d’IA pour la détection des fractures des membres et du bassin
Authors : Nor-Eddine Regnard, Maxime Saad, Boubekeur Lanseur, Louis Lassalle, Antoine Feydy, Nicolas Theumann, Julien Berhouet

EUSOMII 2021
Performances of a deep learning algorithm for the detection of fracture, dislocation, elbow joint effusion, focal bone lesions on trauma X-rays


Authors: Jeanne Ventre, Nor-Eddine Regnard, Boubekeur Lanseur, Louis Lassalle, Aurélien Lambert, Benjamin Dallaudière, Antoine Feydy

Development of a deep learning-based model for chest X-ray quality assessment
Authors : Rémi Khansa, Gabriel Misrachi

RSNA 2021
Evaluation of the medical impact of artificial intelligence on limb and pelvic bone fracture detection
Authors: Nor-Eddine Regnard; Boubekeur Lanseur; Louis Lassalle; Antoine Feydy; Nicolas Theumann

Improving Radiographic Fracture Detection and Reducing Reading Time using Artificial Intelligence: A Multi-Center Study with Radiologists and Non-Radiologists in The United States
Authors: Daichi Hayashi, Andrew J. Kompel, Akira Murakami, Mohamed Jarraya, Nor-Eddine Regnard, Ali Guermazi

ECR 2022
Assessment of an AI aid in detection of pediatric appendicular skeletal fractures by senior and junior radiologists
Author Block: R. Maarek, A-L. Hermann, A. Kamoun, R. Khelifi, A. Marchi, M. Collin, A. Jaillard, T. Nguyen, H. Ducou Le Pointe; Paris/FR

• Performances validées scientifiquement

Réduction de 30% des fractures non détectées
+12% en sensibilité
+22% de sensibilité aux multiples fractures
En moyenne 20 à 35% de réduction du temps de lecture 

Les données sont calculées à partir d’une moyenne entre radiologues de différents niveaux d’expérience.

• Détail des Sensibilité / spécificité / ROC curve

Sensibilité 98,1% / Spécificité 88% / NPV 99,5

Dataset de l’étude (5) – publiée dans European Journal of Radiology

Courbe de ROC Étude (4) – publiée dans Diagnostic & Interventional Imaging

• Données de performance en vie réelle ?

Étude publiée en 2022 (4) dans Diagnostic & Interventional Imaging. 


Dataset: Radiographies collectées de manière consécutive sur 3 mois pour urgences traumatiques au CHU de Besançon
500 patients (232 femmes, 268 hommes) de 0,25 à 99 ans
Au total 37,8% de patients positifs dont 7% de multi fractures
Résultats : +20% sensibilité, -20-35% du temps de lecture, +10% NPV et -60% de faux négatifs

Étude publiée en 2022 (5) dans European Journal of Radiology
Dataset: Radiographies et comptes rendus associés collectés de manière consécutive sur 3 mois dans 14 centres
4774 examens (49% de Femmes) de 1 à 103 ans (dont 30% de pédiatrie)
Résultats: Sensibilité à 97,8%, NPV 99,5% +26% de fractures détectées par l’IA et non décrites par les radiologues.

• Mise en place d’une surveillance post-market (algorithme-vigilance) ?

Dans le cadre de la certification ISO et CE, Gleamer suit un protocole de réactovigilance permettant d’assurer la surveillance de son parc ainsi que la satisfaction de ses utilisateurs :

• • Service support client disponible par mail ou téléphone.
  • Logiciel installé sur les postes utilisateurs pour permettre la remontée d’information directement anonymisées au service support.
  • Mise en place d’un cycle produit, avec un groupe dédié à la surveillance des retours sur de multiples dimensions (équipements, anatomie, catégories d’âge, …)

• Triage (outil positionné en amont du travail radiologique) :
  • Techniquement possible : OUI
  • Privilégié : OUI
• Aide à la décision radiologique (outil positionné en aval ou en parallèle) (Add-on)
  • Techniquement possible : OUI
  • Privilégié : OUI
• Aide au diagnostic du professionnel de santé
  • Techniquement possible : OUI
  • Privilégié : OUI dans certains cas, notamment dans l’attente du compte rendu radiologique aux urgences
• Remplace le professionnel de santé (Replace) (Radiologue / Autre)
  • Techniquement possible : NON (incompatible avec le marquage CE obtenu)

• Date de création de la société : 2017
• Nombre d’employés : 50 employés
• Nombre de clients : 540 clients sur 22 pays
• Modèle de facturation : Abonnement (souscription mensuelle, annuelle ou pluriannuelle) ou coût au test à la demande (mais non recommandé). Une période d’essai gratuite est possible.
• Des formations à l’usage de l’outil sont-elles proposées ? Oui, elles sont incluses dans l’abonnement
• Détails des maintenances et service après-vente
  • Service client disponible via e-mail, téléphone, ou via l’application de monitoring discord
  • Système de télémonitorage inclus dans l’abonnement permettant d’envoyer des alertes aux équipes support en cas de coupure du service
• Le modèle économique inclut-t-il la mise à disposition de nouvelles versions ? 
Oui, les nouvelles versions sont incluses dans l’abonnement.