Quand la consommation rencontre l'IA | De la "Metaverse" à l'"espace de l'esprit", les organes tels que le cœur et le cerveau humains sont en train d'être reconstruits
La technologie des jumeaux numériques est en train de changer le paradigme médical. Aujourd'hui, les médecins peuvent déjà reconstruire en trois dimensions les différents organes du corps, du cœur au cerveau, et espèrent bientôt créer un jumeau virtuel complet du corps humain, rendant ainsi les interventions chirurgicales et les traitements plus précis et prévisibles.
Avec le développement de la technologie des grands modèles d'intelligence artificielle, une puissance de calcul plus forte rendra la construction de modèles 3D plus rapide et plus pratique à l'avenir. Après l'intégration des informations d'imagerie par intelligence artificielle, les médecins pourront également évaluer de manière plus complète la santé des patients.
Du cœur virtuel au cerveau virtuel
Il y a 6 mois, l'ingénieur en logiciel Steven Levine a subi une opération de 12 heures pour enlever une tumeur au cerveau. Après avoir été diagnostiqué avec une tumeur bénigne de la taille d'une balle de golf dans son cerveau, les médecins ont modélisé son cerveau, localisé précisément la tumeur et effectué une intervention chirurgicale assistée par imagerie 3D. 6 semaines plus tard, Levine s'était complètement remis de l'intervention chirurgicale.
Bien que la tumeur ne mette pas immédiatement ma vie en danger, elle a déjà envahi une partie de mon crâne, de mes sinus et comprime le nerf optique, a déclaré Levine au journaliste de la First Financial Daily. La tumeur a également affecté la fonction de l'hypophyse, sécrétant un excès d'hormone de croissance, ce qui a lentement fait grossir mes pieds et mes mains.
Le neurochirurgien Thomas Beaumont de l'Université de Californie à San Diego a utilisé la technologie du jumeau numérique pour reconstruire le cerveau de Leven, y compris la tumeur. Pendant l'opération, à l'aide d'images sur un écran de salle d'opération, Beaumont a inséré une caméra dans une narine de Leven et a introduit des instruments chirurgicaux dans l'autre narine, en retirant la tumeur morceau par morceau et en réparant les tissus endommagés de manière non invasive.
Comme la structure osseuse de chaque patient est différente, la courbure des artères cervicales varie également. Toutes ces variations doivent être visualisées en 3D pour garantir le succès de l'opération. Grâce aux images en 3D, le médecin n'a pas besoin d'imaginer la structure anatomique du cerveau du patient, mais peut la voir directement, ce qui lui permet d'opérer avec plus de certitude et de précision.
L'opération de Lévin a été très réussie. Six mois plus tard, il est retourné travailler comme d'habitude. En fait, la technologie jumelle numérique utilisée par le Dr Beaumont a été développée personnellement par Lévin, qui est devenu le bénéficiaire de sa propre technologie. Son expérience l'a convaincu davantage que cette technologie pourra aider davantage de patients à l'avenir et soulager le fardeau des médecins.
Maintenant, Levene promeut la technologie jumelle numérique du laboratoire à la clinique, ces jumeaux numériques incluront le cœur, le cerveau, le foie et d'autres organes humains. À cette fin, Levene a travaillé durant plus de dix ans.
En 2014, chez son entreprise Dassault Systèmes, Lévin a lancé en premier le projet de cœur virtuel (Living Heart), le premier outil de modélisation numérique du cœur humain à être approuvé par la FDA américaine, qui aide les cardiologues interventionnels à mieux comprendre la structure du cœur des patients avant ou pendant l'opération, afin de trouver le meilleur plan opératoire.
Loren a dit aux journalistes de la première économie qu'il avait lancé le projet de cœur virtuel inspiré par sa fille Jessie. Jessie est née avec une malformation cardiaque rare et grave. Les médecins lui ont implanté un stimulateur cardiaque. Jessie a maintenant 35 ans et son cœur a déjà été remplacé par 5 stimulateurs.
Les médecins font face à une grande incertitude lorsqu'ils traitent la maladie cardiaque de Jessie. Ils s'appuient principalement sur l'expérience et les suppositions, ce qui a profondément impressionné Lévin. Depuis lors, Lévin espère développer un système numérique pour aider les médecins à mieux étudier le développement des maladies cardiaques congénitales chez des enfants comme Jessie.
« C’est comme si personne n’allait construire un vrai avion ou une vraie voiture et le conduire pour un essai routier. » Levin a déclaré à CBN : « Avant que ces produits ne soient réellement assemblés, les logiciels et les systèmes informatiques permettent aux concepteurs de fabriquer et de tester d’abord ces pièces dans un environnement virtuel, alors pourquoi les équipements de chirurgie cardiaque et d’intervention coronarienne ne peuvent-ils pas être testés à l’avance ? » ”
Ingénieur de formation, Lévin réfléchit toujours à ce problème avec une pensée physique. Il estime que puisque le cœur est une "pompe", il devrait être soumis aux lois de la physique. Cette idée a conduit à l'ébauche de son projet de cœur virtuel.
"Si le modèle construit est correct, le produit final sera également correct," a-t-il déclaré. Et ce succès provient de l'open source du système. Levine a déclaré que la collaboration open source du projet dure depuis dix ans. Des centaines de médecins, ingénieurs, normalisateurs de l'industrie et fonctionnaires gouvernementaux du monde entier participent au projet, apportant leurs compétences professionnelles respectives dans le but de construire le premier cœur tridimensionnel entièrement fonctionnel dans un environnement virtuel.
Lavin a déclaré à un journaliste de First Financial que, au début, de nombreuses personnes doutaient du projet, car chaque opération cardiaque concerne la vie, et actuellement, les opérations cardiaques dépendent toujours des compétences et de l'expérience des médecins. Cependant, progressivement, le modèle tridimensionnel est créé à partir de scanners CT et d'images par résonance magnétique (IRM) courantes, le logiciel est progressivement amélioré, le projet est également progressivement validé et se comporte bien dans les tests sur les animaux et finalement sur les humains.
Le projet Heart-in-a-Box est animé par un écosystème en constante évolution, réunissant des chercheurs de premier plan en cardiologie, des développeurs de dispositifs médicaux, des organismes de réglementation et des experts en cardiologie, dans le but de développer des modèles de cœur numériques personnalisés et des thérapies numériques innovantes, cliniquement validés, hautement précis et commercialisables.
Les enfants atteints de malformations cardiaques congénitales devraient être les premiers à en bénéficier
Après plusieurs années de travail acharné, l’équipe de Levine a réussi à construire un cœur virtuel entièrement fonctionnel et à le mettre à la disposition des chirurgiens du Boston Children’s Hospital. De l’avis de Levin, le département de cardiologie pédiatrique devrait être le premier département à commercialiser la technologie des jumeaux numériques en raison du manque de moyens prédictifs permettant aux cardiologues pédiatriques de développer des cardiopathies congénitales chez les enfants.
Aujourd'hui, deux fois par semaine, des dizaines d'experts se réunissent au service de cardiologie de l'hôpital pour enfants de Boston pour planifier les opérations cardiaques les plus complexes. Ils analysent des images numériques tridimensionnelles du cœur projetées à l'écran, chaque vaisseau sanguin endommagé ou chaque chambre cardiaque anormale pouvant menacer la vie et la santé des enfants.
Ces images numériques en 3D peuvent être tournées ou décomposées en morceaux sur l'écran de l'ordinateur, permettant aux chirurgiens de planifier précisément les opérations à venir. Avec l'aide des ingénieurs biomédicaux, les médecins peuvent observer le flux sanguin et d'oxygène, les signaux électriques du cœur, ainsi que l'impact de la pression des valves sur la fonction cardiaque. Les médecins peuvent même prédire l'effet des valves qu'ils prévoient d'utiliser pour réparer le cœur à l'aide d'images numériques.
Lavin a déclaré qu'un jour, des capteurs ou des appareils portables pourraient être ajoutés à ces technologies numériques pour créer un chemin permettant de transmettre des données au cœur virtuel des patients. Cette boucle de rétroaction créera un "jumeau numérique" du cœur humain, offrant aux médecins de nouvelles façons de s'assurer que leurs plans opératoires sont optimaux.
Le Dr David Hoganson, chirurgien cardiaque pédiatrique à l'hôpital pour enfants de Boston et directeur du projet de visualisation 3D par ordinateur, est responsable de ce projet. À ce jour, son équipe a effectué environ 2000 opérations en utilisant des modèles de cœur numériques.
Au Centre cardiaque pédiatrique de l'Hôpital Xinhua affilié à l'Université Jiaotong de Shanghai, le directeur du service de cardiologie, Chen Sun, doit quotidiennement traiter un grand nombre de jeunes patients atteints de cardiopathies congénitales complexes. Ces enfants, parfois dès la naissance, nécessitent un traitement en raison d'un sous-développement du ventricule cardiaque, entre autres raisons. Certains d'entre eux contractent la maladie de Kawasaki ou une cardiomyopathie à l'âge de 2 à 3 ans, et de nombreux mécanismes de ces maladies restent encore inconnus.
Sur la base de la fusion d’images multimodales de l’échocardiographie et de la tomodensitométrie d’amélioration macrovasculaire cardiaque, Chen Sun a déclaré au premier journaliste financier que son équipe coopère également à la recherche scientifique et au développement de la recherche et du développement scientifiques basés sur la fusion d’images multimodales de l’échocardiographie et de la tomodensitométrie d’amélioration des gros vaisseaux cardiaques, et à la construction de modèles 3D et 4D de cardiopathies congénitales chez les enfants pour mieux comprendre le développement des cardiopathies congénitales chez les enfants.
Chen Sun candidly admitted that the reason why the application of digital technology in clinical practice is leading abroad is mainly based on two advantages: first, they have a mature payment system, so products can be commercialized more quickly; second, the overseas ecosystem is relatively developed, and the cross-disciplinary research in basic medicine, engineering, and clinical fields has formed a system.
Le Dr Peng Yongxuan, médecin-chef du Centre cardiaque pédiatrique de l'hôpital de Xinhua, a déclaré au journaliste de Yicai : "Le cœur virtuel est devenu un point chaud de la recherche dans le domaine cardiovasculaire intérieur. La technologie des jumeaux numériques est une tendance inévitable pour aider au développement ultérieur du niveau médical, apportant des changements révolutionnaires au domaine médical."
Il a déclaré que dans le domaine des maladies cardiaques pédiatriques en Chine, la technologie cardiaque virtuelle est actuellement dans une phase de recherche visant à optimiser le développement de l'IA par des algorithmes, à fusionner des images multimodales, etc., pour améliorer continuellement la précision du modèle jumeau numérique. L'avenir explorera davantage son application clinique réelle.
"En tant que nouvelle technologie et outil auxiliaire, le cœur jumeau numérique nécessite une utilisation systématique de ses puissantes fonctionnalités, telles que le remplacement des paramètres bidimensionnels (diamètre, aire) par des paramètres tridimensionnels (aire, volume) utilisés depuis longtemps, la planification préopératoire, la simulation chirurgicale et la prédiction de l'évolution de la maladie, qui nécessitent tous la mise en place de méthodes correspondantes selon les différents types de maladies", a déclaré Peng Yong.
Au cours des dernières années, la "jumelle numérique" a mûri dans le domaine médical et est devenue un modèle pour les poumons, le foie, le cerveau, les articulations, les yeux, les vaisseaux sanguins et d'autres parties du corps. Il est également envisageable de créer un jumeau virtuel de tout le corps humain dans un avenir proche. Actuellement, cette nouvelle technologie est utilisée pour tester de nouveaux produits médicaux et prédire l'impact de nouvelles molécules médicamenteuses sur les organes et les cellules. À l'avenir, il est possible qu'elle réduise, voire remplace, les expériences sur les animaux.
Ces modèles établiront une base unifiée pour la médecine cardiovasculaire computationnelle, promouvront le développement de l'éducation, de la conception d'équipements médicaux, des essais cliniques et du diagnostic clinique, et offriront des voies plus efficaces pour l'innovation et la transformation des équipements médicaux de pointe. Actuellement, la FDA des États-Unis a prolongé son accord de recherche en coopération avec le système virtuel de cœur de Dassault Systemes de 10 ans pour évaluer l'implantation, la pose et les performances des équipements cardiovasculaires, y compris les stimulateurs cardiaques.
Avec le développement de l’IA générative, le projet Virtual Heart de Dassault fait appel à de grands modèles de langage. Levin a déclaré à CBN que son équipe teste actuellement une nouvelle génération de modèles cardiaques virtuels qui peuvent être configurés pour des patients individuels ou des populations de patients, et que les capacités de personnalisation et d’automatisation basées sur l’IA aideront à rationaliser et à accélérer le développement de dispositifs médicaux.
"Un avantage du modèle d'IA est que, à l'avenir, nous pourrions ne pas avoir besoin d'une grande quantité de données de patients. Il suffit d'avoir un petit nombre de données pour permettre au modèle d'apprendre en permanence et de générer une grande quantité de données. C'est un impact important du développement de l'IA sur la technologie des jumeaux numériques", a déclaré Laven.
De plus, en utilisant les capacités de l'IA, la méthode manuelle de modélisation cardiaque individualisée du passé connaîtra également des changements. "La modélisation manuelle prend souvent beaucoup de temps, mais maintenant elle peut être automatisée en un clic, réduisant un processus de plusieurs jours à quelques minutes, ce qui sera révolutionnaire pour l'ensemble du processus", a-t-il déclaré.
L’ère de la médecine basée sur l’IA arrive
En Chine, les médecins cliniciens explorent également les perspectives d'application de la technologie jumelle virtuelle. Récemment, dans la salle d'opération de l'Hôpital Renji affilié à l'École de médecine de l'Université Jiaotong de Shanghai, une 'bataille précise' homme-machine a eu lieu. L'équipe de neurochirurgie fonctionnelle de l'hôpital Renji, dirigée par Zhou Hongyu, a importé les données d'imagerie CT et IRM des patients dans un système robotique chirurgical appelé Sino. Le système d'algorithme d'IA peut reconstruire automatiquement un modèle tridimensionnel intracrânien et délimiter avec précision le contour stéréoïde de l'abcès.
Avec l'imagerie tridimensionnelle, sous une lumière sans ombre, le Dr Guo Liemei, neurochirurgien adjoint en chef de l'Hôpital Renji, manipule habilement le bras mécanique du robot chirurgical et guide lentement le tube de drainage vers le centre de l'abcès le long du chemin chirurgical planifié par le robot avec une précision de positionnement répétée de 0,1 millimètre.
Zhou Hongyu explained to the first financial reporter that in the past, this type of surgery relied on the doctor's 'feel' and experience. Now, with the development of neuroimaging technology, image data of CT and MRI can be post-processed to construct deep brain structures that could only be observed through craniotomy in the past. Based on the three-dimensional system, surgical paths can be planned to avoid blood vessels and important functional areas. Precision positioning and surgical navigation can be achieved through robots, breaking through the physiological limits of the human eye and hand.
"Le système affiche en temps réel la profondeur de la ponction, l'angle de déviation et peut éviter habilement les vaisseaux sanguins et les zones fonctionnelles, ce qui est impossible avec la chirurgie traditionnelle." a-t-il dit.
Le professeur Feng Junfeng, directeur du département de neurochirurgie de l’hôpital Renji, a déclaré au journaliste de CBN : « La neurochirurgie est entrée dans l’ère millimétrique. L’apprentissage automatique continue d’accumuler des données chirurgicales et, à l’avenir, il pourrait être en mesure d’optimiser de manière autonome la trajectoire de ponction, devenant ainsi un « conseiller en IA » pour les médecins. ”
Des scènes similaires pourraient également se dérouler à l'avenir dans la salle de cathétérisme cardiaque d'un hôpital. Le Dr Ge Junbo, directeur du service de cardiologie de l'Hôpital Zhongshan affilié à l'Université Fudan, a décrit à un journaliste de First Financial un scénario de "salle de cathétérisme de métavers" : cette salle est composée d'un système de décision assistée par intelligence artificielle, d'un système de contrôle vocal, d'un système d'assistance robotique avec retour haptique, d'un système numérique de réalité mixte holographique et d'une connexion Internet à haute vitesse.
« Dans ce laboratoire de cathétérisme, toutes les informations du patient ont été mises en miroir dans un système logiciel du médecin avant le traitement chirurgical, et le médecin peut simuler l’opération et l’anatomie après avoir porté un dispositif virtuel hybride tel que Vision Pro, et le processus chirurgical a été répété à l’avance. » Ge Junbo a déclaré au premier journaliste financier.
Il estime que les formes et les dimensions de l'univers primitif s'appliquent également au diagnostic et au traitement des maladies cardiaques. De l'univers primitif à l'univers cardiaque, la future jumeau numérique pourra, avec l'aide de l'IA, construire précisément un organe numérique (homme numérique) et esquisser des scénarios possibles dans des situations réelles (virtuelles), permettant aux médecins et aux patients de comprendre les conséquences des facteurs pathologiques.
"Cela aidera à comprendre les liens entre diverses maladies vasculaires complexes, telles que l'impact de la maladie athéroscléreuse sur tout le réseau vasculaire du corps humain", a déclaré Ge Junbo. "Cela revêt une grande importance pour le diagnostic et la gestion des maladies vasculaires générales. Les connaissances traditionnelles ne peuvent plus prédire toutes les conséquences des maladies. À l'avenir, l'intégration d'informations telles que les caractéristiques des patients, les manifestations cliniques, la génomique des biomarqueurs et l'imagerie deviendra une tendance."
Ge Junbo stated that the digital twin technology combined with large artificial intelligence models can accurately predict general vascular diseases in the future, and can also play a greater role in the field of valve replacement surgery, helping doctors to make pre-judgment and decisions on when to intervene in the disease.
La semaine dernière, le département de cardiologie de l'hôpital Zhongshan a lancé le premier grand modèle de cœur en Chine (CardioMind). Ce modèle intègre des données de diagnostic multimodales et l'expérience de médecins de premier plan pour réaliser une automatisation complète du processus, de la collecte de l'anamnèse au diagnostic assisté. Plus important encore, le système dépasse l'analyse de données textuelles uniques, en réalisant une intégration et un raisonnement multimodaux incluant des données telles que des électrocardiogrammes, des images échographiques et des examens de laboratoire.
Mais la standardisation de ces données présente encore des défis. « Les jumeaux numériques décrivent des organes à partir de diverses images médicales 3D et de signaux physiologiques. Les images 3D CT/IRM sont la base du jumeau numérique, et comme la structure des organes de chaque personne est différente, ces images en temps réel peuvent être utilisées pour ajuster le modèle d’IA pour des applications personnalisées. Un expert en imagerie médicale a déclaré au premier journaliste financier : « À l’heure actuelle, il n’existe pas de norme unifiée pour les jumeaux numériques d’organes, mais ils peuvent être simplifiés en fonction de besoins spécifiques, tels que des scénarios dédiés au guidage chirurgical. » ”
Certains médecins cliniciens ont également fait remarquer aux journalistes de la First Financial que, en raison de la grande variabilité des données physiologiques humaines, cela rendra la normalisation plus difficile. "Les données corporelles sont extrêmement complexes, avec des centaines de millions de variables interagissant les unes avec les autres, ce qui rend la modélisation précise très difficile." Le professeur Pan Wenzhi, directeur du département de cardiologie de l'hôpital Zhongshan, a déclaré aux journalistes de la First Financial : "Même pour prouver la faisabilité d'une thérapie, même une hypothèse très simple nécessite généralement l'inclusion de plusieurs milliers de patients dans des essais cliniques de plusieurs années, coûtant des centaines de millions de dollars. Parce que les patients ne peuvent pas subir des essais et des erreurs répétés."
Il a également déclaré que l'application de grands modèles d'IA présente le plus d'avantages pour les données objectives, telles que les données d'imagerie, de pathologie et sanguines, en se concentrant sur ces données locales, il peut fournir des fonctions d'assistance spécifiques aux médecins.
Lavin a confié au journaliste de la première économie qu'à l'heure actuelle, le projet de cœur virtuel est toujours en attente de l'évaluation des autorités de régulation, et il faudra encore un certain temps avant qu'il ne soit largement utilisé en clinique. En parlant des défis, il a déclaré : "Le manque de normes est le plus grand défi. Non seulement chaque entreprise développe ses propres produits sans normes unifiées, mais les normes de chaque pays sont également différentes. Par conséquent, il est nécessaire que l'industrie établisse rapidement des normes pour la technologie de jumeau numérique, afin de fournir une référence pour l'approbation réglementaire, et ainsi permettre à cette technologie d'entrer rapidement en clinique."
(Source of the article: First Financial Daily)
Source: Oriental Fortune Net
Auteur : Yicai
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Quand la consommation rencontre l'IA | De la "Metaverse" à l'"espace de l'esprit", les organes tels que le cœur et le cerveau humains sont en train d'être reconstruits
La technologie des jumeaux numériques est en train de changer le paradigme médical. Aujourd'hui, les médecins peuvent déjà reconstruire en trois dimensions les différents organes du corps, du cœur au cerveau, et espèrent bientôt créer un jumeau virtuel complet du corps humain, rendant ainsi les interventions chirurgicales et les traitements plus précis et prévisibles.
Avec le développement de la technologie des grands modèles d'intelligence artificielle, une puissance de calcul plus forte rendra la construction de modèles 3D plus rapide et plus pratique à l'avenir. Après l'intégration des informations d'imagerie par intelligence artificielle, les médecins pourront également évaluer de manière plus complète la santé des patients.
Du cœur virtuel au cerveau virtuel
Il y a 6 mois, l'ingénieur en logiciel Steven Levine a subi une opération de 12 heures pour enlever une tumeur au cerveau. Après avoir été diagnostiqué avec une tumeur bénigne de la taille d'une balle de golf dans son cerveau, les médecins ont modélisé son cerveau, localisé précisément la tumeur et effectué une intervention chirurgicale assistée par imagerie 3D. 6 semaines plus tard, Levine s'était complètement remis de l'intervention chirurgicale.
Bien que la tumeur ne mette pas immédiatement ma vie en danger, elle a déjà envahi une partie de mon crâne, de mes sinus et comprime le nerf optique, a déclaré Levine au journaliste de la First Financial Daily. La tumeur a également affecté la fonction de l'hypophyse, sécrétant un excès d'hormone de croissance, ce qui a lentement fait grossir mes pieds et mes mains.
Le neurochirurgien Thomas Beaumont de l'Université de Californie à San Diego a utilisé la technologie du jumeau numérique pour reconstruire le cerveau de Leven, y compris la tumeur. Pendant l'opération, à l'aide d'images sur un écran de salle d'opération, Beaumont a inséré une caméra dans une narine de Leven et a introduit des instruments chirurgicaux dans l'autre narine, en retirant la tumeur morceau par morceau et en réparant les tissus endommagés de manière non invasive.
Comme la structure osseuse de chaque patient est différente, la courbure des artères cervicales varie également. Toutes ces variations doivent être visualisées en 3D pour garantir le succès de l'opération. Grâce aux images en 3D, le médecin n'a pas besoin d'imaginer la structure anatomique du cerveau du patient, mais peut la voir directement, ce qui lui permet d'opérer avec plus de certitude et de précision.
L'opération de Lévin a été très réussie. Six mois plus tard, il est retourné travailler comme d'habitude. En fait, la technologie jumelle numérique utilisée par le Dr Beaumont a été développée personnellement par Lévin, qui est devenu le bénéficiaire de sa propre technologie. Son expérience l'a convaincu davantage que cette technologie pourra aider davantage de patients à l'avenir et soulager le fardeau des médecins.
Maintenant, Levene promeut la technologie jumelle numérique du laboratoire à la clinique, ces jumeaux numériques incluront le cœur, le cerveau, le foie et d'autres organes humains. À cette fin, Levene a travaillé durant plus de dix ans.
En 2014, chez son entreprise Dassault Systèmes, Lévin a lancé en premier le projet de cœur virtuel (Living Heart), le premier outil de modélisation numérique du cœur humain à être approuvé par la FDA américaine, qui aide les cardiologues interventionnels à mieux comprendre la structure du cœur des patients avant ou pendant l'opération, afin de trouver le meilleur plan opératoire.
Loren a dit aux journalistes de la première économie qu'il avait lancé le projet de cœur virtuel inspiré par sa fille Jessie. Jessie est née avec une malformation cardiaque rare et grave. Les médecins lui ont implanté un stimulateur cardiaque. Jessie a maintenant 35 ans et son cœur a déjà été remplacé par 5 stimulateurs.
Les médecins font face à une grande incertitude lorsqu'ils traitent la maladie cardiaque de Jessie. Ils s'appuient principalement sur l'expérience et les suppositions, ce qui a profondément impressionné Lévin. Depuis lors, Lévin espère développer un système numérique pour aider les médecins à mieux étudier le développement des maladies cardiaques congénitales chez des enfants comme Jessie.
« C’est comme si personne n’allait construire un vrai avion ou une vraie voiture et le conduire pour un essai routier. » Levin a déclaré à CBN : « Avant que ces produits ne soient réellement assemblés, les logiciels et les systèmes informatiques permettent aux concepteurs de fabriquer et de tester d’abord ces pièces dans un environnement virtuel, alors pourquoi les équipements de chirurgie cardiaque et d’intervention coronarienne ne peuvent-ils pas être testés à l’avance ? » ”
Ingénieur de formation, Lévin réfléchit toujours à ce problème avec une pensée physique. Il estime que puisque le cœur est une "pompe", il devrait être soumis aux lois de la physique. Cette idée a conduit à l'ébauche de son projet de cœur virtuel.
"Si le modèle construit est correct, le produit final sera également correct," a-t-il déclaré. Et ce succès provient de l'open source du système. Levine a déclaré que la collaboration open source du projet dure depuis dix ans. Des centaines de médecins, ingénieurs, normalisateurs de l'industrie et fonctionnaires gouvernementaux du monde entier participent au projet, apportant leurs compétences professionnelles respectives dans le but de construire le premier cœur tridimensionnel entièrement fonctionnel dans un environnement virtuel.
Lavin a déclaré à un journaliste de First Financial que, au début, de nombreuses personnes doutaient du projet, car chaque opération cardiaque concerne la vie, et actuellement, les opérations cardiaques dépendent toujours des compétences et de l'expérience des médecins. Cependant, progressivement, le modèle tridimensionnel est créé à partir de scanners CT et d'images par résonance magnétique (IRM) courantes, le logiciel est progressivement amélioré, le projet est également progressivement validé et se comporte bien dans les tests sur les animaux et finalement sur les humains.
Le projet Heart-in-a-Box est animé par un écosystème en constante évolution, réunissant des chercheurs de premier plan en cardiologie, des développeurs de dispositifs médicaux, des organismes de réglementation et des experts en cardiologie, dans le but de développer des modèles de cœur numériques personnalisés et des thérapies numériques innovantes, cliniquement validés, hautement précis et commercialisables.
Les enfants atteints de malformations cardiaques congénitales devraient être les premiers à en bénéficier
Après plusieurs années de travail acharné, l’équipe de Levine a réussi à construire un cœur virtuel entièrement fonctionnel et à le mettre à la disposition des chirurgiens du Boston Children’s Hospital. De l’avis de Levin, le département de cardiologie pédiatrique devrait être le premier département à commercialiser la technologie des jumeaux numériques en raison du manque de moyens prédictifs permettant aux cardiologues pédiatriques de développer des cardiopathies congénitales chez les enfants.
Aujourd'hui, deux fois par semaine, des dizaines d'experts se réunissent au service de cardiologie de l'hôpital pour enfants de Boston pour planifier les opérations cardiaques les plus complexes. Ils analysent des images numériques tridimensionnelles du cœur projetées à l'écran, chaque vaisseau sanguin endommagé ou chaque chambre cardiaque anormale pouvant menacer la vie et la santé des enfants.
Ces images numériques en 3D peuvent être tournées ou décomposées en morceaux sur l'écran de l'ordinateur, permettant aux chirurgiens de planifier précisément les opérations à venir. Avec l'aide des ingénieurs biomédicaux, les médecins peuvent observer le flux sanguin et d'oxygène, les signaux électriques du cœur, ainsi que l'impact de la pression des valves sur la fonction cardiaque. Les médecins peuvent même prédire l'effet des valves qu'ils prévoient d'utiliser pour réparer le cœur à l'aide d'images numériques.
Lavin a déclaré qu'un jour, des capteurs ou des appareils portables pourraient être ajoutés à ces technologies numériques pour créer un chemin permettant de transmettre des données au cœur virtuel des patients. Cette boucle de rétroaction créera un "jumeau numérique" du cœur humain, offrant aux médecins de nouvelles façons de s'assurer que leurs plans opératoires sont optimaux.
Le Dr David Hoganson, chirurgien cardiaque pédiatrique à l'hôpital pour enfants de Boston et directeur du projet de visualisation 3D par ordinateur, est responsable de ce projet. À ce jour, son équipe a effectué environ 2000 opérations en utilisant des modèles de cœur numériques.
Au Centre cardiaque pédiatrique de l'Hôpital Xinhua affilié à l'Université Jiaotong de Shanghai, le directeur du service de cardiologie, Chen Sun, doit quotidiennement traiter un grand nombre de jeunes patients atteints de cardiopathies congénitales complexes. Ces enfants, parfois dès la naissance, nécessitent un traitement en raison d'un sous-développement du ventricule cardiaque, entre autres raisons. Certains d'entre eux contractent la maladie de Kawasaki ou une cardiomyopathie à l'âge de 2 à 3 ans, et de nombreux mécanismes de ces maladies restent encore inconnus.
Sur la base de la fusion d’images multimodales de l’échocardiographie et de la tomodensitométrie d’amélioration macrovasculaire cardiaque, Chen Sun a déclaré au premier journaliste financier que son équipe coopère également à la recherche scientifique et au développement de la recherche et du développement scientifiques basés sur la fusion d’images multimodales de l’échocardiographie et de la tomodensitométrie d’amélioration des gros vaisseaux cardiaques, et à la construction de modèles 3D et 4D de cardiopathies congénitales chez les enfants pour mieux comprendre le développement des cardiopathies congénitales chez les enfants.
Chen Sun candidly admitted that the reason why the application of digital technology in clinical practice is leading abroad is mainly based on two advantages: first, they have a mature payment system, so products can be commercialized more quickly; second, the overseas ecosystem is relatively developed, and the cross-disciplinary research in basic medicine, engineering, and clinical fields has formed a system.
Le Dr Peng Yongxuan, médecin-chef du Centre cardiaque pédiatrique de l'hôpital de Xinhua, a déclaré au journaliste de Yicai : "Le cœur virtuel est devenu un point chaud de la recherche dans le domaine cardiovasculaire intérieur. La technologie des jumeaux numériques est une tendance inévitable pour aider au développement ultérieur du niveau médical, apportant des changements révolutionnaires au domaine médical."
Il a déclaré que dans le domaine des maladies cardiaques pédiatriques en Chine, la technologie cardiaque virtuelle est actuellement dans une phase de recherche visant à optimiser le développement de l'IA par des algorithmes, à fusionner des images multimodales, etc., pour améliorer continuellement la précision du modèle jumeau numérique. L'avenir explorera davantage son application clinique réelle.
"En tant que nouvelle technologie et outil auxiliaire, le cœur jumeau numérique nécessite une utilisation systématique de ses puissantes fonctionnalités, telles que le remplacement des paramètres bidimensionnels (diamètre, aire) par des paramètres tridimensionnels (aire, volume) utilisés depuis longtemps, la planification préopératoire, la simulation chirurgicale et la prédiction de l'évolution de la maladie, qui nécessitent tous la mise en place de méthodes correspondantes selon les différents types de maladies", a déclaré Peng Yong.
Au cours des dernières années, la "jumelle numérique" a mûri dans le domaine médical et est devenue un modèle pour les poumons, le foie, le cerveau, les articulations, les yeux, les vaisseaux sanguins et d'autres parties du corps. Il est également envisageable de créer un jumeau virtuel de tout le corps humain dans un avenir proche. Actuellement, cette nouvelle technologie est utilisée pour tester de nouveaux produits médicaux et prédire l'impact de nouvelles molécules médicamenteuses sur les organes et les cellules. À l'avenir, il est possible qu'elle réduise, voire remplace, les expériences sur les animaux.
Ces modèles établiront une base unifiée pour la médecine cardiovasculaire computationnelle, promouvront le développement de l'éducation, de la conception d'équipements médicaux, des essais cliniques et du diagnostic clinique, et offriront des voies plus efficaces pour l'innovation et la transformation des équipements médicaux de pointe. Actuellement, la FDA des États-Unis a prolongé son accord de recherche en coopération avec le système virtuel de cœur de Dassault Systemes de 10 ans pour évaluer l'implantation, la pose et les performances des équipements cardiovasculaires, y compris les stimulateurs cardiaques.
Avec le développement de l’IA générative, le projet Virtual Heart de Dassault fait appel à de grands modèles de langage. Levin a déclaré à CBN que son équipe teste actuellement une nouvelle génération de modèles cardiaques virtuels qui peuvent être configurés pour des patients individuels ou des populations de patients, et que les capacités de personnalisation et d’automatisation basées sur l’IA aideront à rationaliser et à accélérer le développement de dispositifs médicaux.
"Un avantage du modèle d'IA est que, à l'avenir, nous pourrions ne pas avoir besoin d'une grande quantité de données de patients. Il suffit d'avoir un petit nombre de données pour permettre au modèle d'apprendre en permanence et de générer une grande quantité de données. C'est un impact important du développement de l'IA sur la technologie des jumeaux numériques", a déclaré Laven.
De plus, en utilisant les capacités de l'IA, la méthode manuelle de modélisation cardiaque individualisée du passé connaîtra également des changements. "La modélisation manuelle prend souvent beaucoup de temps, mais maintenant elle peut être automatisée en un clic, réduisant un processus de plusieurs jours à quelques minutes, ce qui sera révolutionnaire pour l'ensemble du processus", a-t-il déclaré.
L’ère de la médecine basée sur l’IA arrive
En Chine, les médecins cliniciens explorent également les perspectives d'application de la technologie jumelle virtuelle. Récemment, dans la salle d'opération de l'Hôpital Renji affilié à l'École de médecine de l'Université Jiaotong de Shanghai, une 'bataille précise' homme-machine a eu lieu. L'équipe de neurochirurgie fonctionnelle de l'hôpital Renji, dirigée par Zhou Hongyu, a importé les données d'imagerie CT et IRM des patients dans un système robotique chirurgical appelé Sino. Le système d'algorithme d'IA peut reconstruire automatiquement un modèle tridimensionnel intracrânien et délimiter avec précision le contour stéréoïde de l'abcès.
Avec l'imagerie tridimensionnelle, sous une lumière sans ombre, le Dr Guo Liemei, neurochirurgien adjoint en chef de l'Hôpital Renji, manipule habilement le bras mécanique du robot chirurgical et guide lentement le tube de drainage vers le centre de l'abcès le long du chemin chirurgical planifié par le robot avec une précision de positionnement répétée de 0,1 millimètre.
Zhou Hongyu explained to the first financial reporter that in the past, this type of surgery relied on the doctor's 'feel' and experience. Now, with the development of neuroimaging technology, image data of CT and MRI can be post-processed to construct deep brain structures that could only be observed through craniotomy in the past. Based on the three-dimensional system, surgical paths can be planned to avoid blood vessels and important functional areas. Precision positioning and surgical navigation can be achieved through robots, breaking through the physiological limits of the human eye and hand.
"Le système affiche en temps réel la profondeur de la ponction, l'angle de déviation et peut éviter habilement les vaisseaux sanguins et les zones fonctionnelles, ce qui est impossible avec la chirurgie traditionnelle." a-t-il dit.
Le professeur Feng Junfeng, directeur du département de neurochirurgie de l’hôpital Renji, a déclaré au journaliste de CBN : « La neurochirurgie est entrée dans l’ère millimétrique. L’apprentissage automatique continue d’accumuler des données chirurgicales et, à l’avenir, il pourrait être en mesure d’optimiser de manière autonome la trajectoire de ponction, devenant ainsi un « conseiller en IA » pour les médecins. ”
Des scènes similaires pourraient également se dérouler à l'avenir dans la salle de cathétérisme cardiaque d'un hôpital. Le Dr Ge Junbo, directeur du service de cardiologie de l'Hôpital Zhongshan affilié à l'Université Fudan, a décrit à un journaliste de First Financial un scénario de "salle de cathétérisme de métavers" : cette salle est composée d'un système de décision assistée par intelligence artificielle, d'un système de contrôle vocal, d'un système d'assistance robotique avec retour haptique, d'un système numérique de réalité mixte holographique et d'une connexion Internet à haute vitesse.
« Dans ce laboratoire de cathétérisme, toutes les informations du patient ont été mises en miroir dans un système logiciel du médecin avant le traitement chirurgical, et le médecin peut simuler l’opération et l’anatomie après avoir porté un dispositif virtuel hybride tel que Vision Pro, et le processus chirurgical a été répété à l’avance. » Ge Junbo a déclaré au premier journaliste financier.
Il estime que les formes et les dimensions de l'univers primitif s'appliquent également au diagnostic et au traitement des maladies cardiaques. De l'univers primitif à l'univers cardiaque, la future jumeau numérique pourra, avec l'aide de l'IA, construire précisément un organe numérique (homme numérique) et esquisser des scénarios possibles dans des situations réelles (virtuelles), permettant aux médecins et aux patients de comprendre les conséquences des facteurs pathologiques.
"Cela aidera à comprendre les liens entre diverses maladies vasculaires complexes, telles que l'impact de la maladie athéroscléreuse sur tout le réseau vasculaire du corps humain", a déclaré Ge Junbo. "Cela revêt une grande importance pour le diagnostic et la gestion des maladies vasculaires générales. Les connaissances traditionnelles ne peuvent plus prédire toutes les conséquences des maladies. À l'avenir, l'intégration d'informations telles que les caractéristiques des patients, les manifestations cliniques, la génomique des biomarqueurs et l'imagerie deviendra une tendance."
Ge Junbo stated that the digital twin technology combined with large artificial intelligence models can accurately predict general vascular diseases in the future, and can also play a greater role in the field of valve replacement surgery, helping doctors to make pre-judgment and decisions on when to intervene in the disease.
La semaine dernière, le département de cardiologie de l'hôpital Zhongshan a lancé le premier grand modèle de cœur en Chine (CardioMind). Ce modèle intègre des données de diagnostic multimodales et l'expérience de médecins de premier plan pour réaliser une automatisation complète du processus, de la collecte de l'anamnèse au diagnostic assisté. Plus important encore, le système dépasse l'analyse de données textuelles uniques, en réalisant une intégration et un raisonnement multimodaux incluant des données telles que des électrocardiogrammes, des images échographiques et des examens de laboratoire.
Mais la standardisation de ces données présente encore des défis. « Les jumeaux numériques décrivent des organes à partir de diverses images médicales 3D et de signaux physiologiques. Les images 3D CT/IRM sont la base du jumeau numérique, et comme la structure des organes de chaque personne est différente, ces images en temps réel peuvent être utilisées pour ajuster le modèle d’IA pour des applications personnalisées. Un expert en imagerie médicale a déclaré au premier journaliste financier : « À l’heure actuelle, il n’existe pas de norme unifiée pour les jumeaux numériques d’organes, mais ils peuvent être simplifiés en fonction de besoins spécifiques, tels que des scénarios dédiés au guidage chirurgical. » ”
Certains médecins cliniciens ont également fait remarquer aux journalistes de la First Financial que, en raison de la grande variabilité des données physiologiques humaines, cela rendra la normalisation plus difficile. "Les données corporelles sont extrêmement complexes, avec des centaines de millions de variables interagissant les unes avec les autres, ce qui rend la modélisation précise très difficile." Le professeur Pan Wenzhi, directeur du département de cardiologie de l'hôpital Zhongshan, a déclaré aux journalistes de la First Financial : "Même pour prouver la faisabilité d'une thérapie, même une hypothèse très simple nécessite généralement l'inclusion de plusieurs milliers de patients dans des essais cliniques de plusieurs années, coûtant des centaines de millions de dollars. Parce que les patients ne peuvent pas subir des essais et des erreurs répétés."
Il a également déclaré que l'application de grands modèles d'IA présente le plus d'avantages pour les données objectives, telles que les données d'imagerie, de pathologie et sanguines, en se concentrant sur ces données locales, il peut fournir des fonctions d'assistance spécifiques aux médecins.
Lavin a confié au journaliste de la première économie qu'à l'heure actuelle, le projet de cœur virtuel est toujours en attente de l'évaluation des autorités de régulation, et il faudra encore un certain temps avant qu'il ne soit largement utilisé en clinique. En parlant des défis, il a déclaré : "Le manque de normes est le plus grand défi. Non seulement chaque entreprise développe ses propres produits sans normes unifiées, mais les normes de chaque pays sont également différentes. Par conséquent, il est nécessaire que l'industrie établisse rapidement des normes pour la technologie de jumeau numérique, afin de fournir une référence pour l'approbation réglementaire, et ainsi permettre à cette technologie d'entrer rapidement en clinique."
(Source of the article: First Financial Daily)
Source: Oriental Fortune Net
Auteur : Yicai