Prévenir « l'empoisonnement » à la source et consolider les fondations du développement de l'IA

Les journalistes du Securities Times Wu Shun

Alors que « OpenClaw » (龙虾) envahit Internet et que de nombreux acteurs s’inquiètent de sa sécurité, de nouvelles révélations montrent que le moteur génératif d’optimisation (GEO) a été utilisé pour « empoisonner » les grands modèles d’IA. Sous la poussée de la technologie IA, les risques liés à l’IA apparaissent de manière plus insidieuse et plus destructrice. Comment installer une « soupape de sécurité » et renforcer la barrière de sécurité dans cette course effrénée de l’IA devient une question cruciale à l’ère de l’IA.

Les risques liés à l’IA sont essentiellement dus à un déséquilibre entre le développement technologique, la gouvernance éthique et le cadre réglementaire. D’une part, certaines entreprises d’IA privilégient la « vitesse » au détriment de la « sécurité », laissant aux malfaiteurs des opportunités d’action dans cette course effrénée. Par exemple, la communauté open source de « OpenClaw » manque de mécanismes stricts de vérification des packages, ce qui facilite l’insertion de plugins malveillants ; la provenance et la vérification des données d’entraînement des grands modèles d’IA manquent de transparence, laissant la porte ouverte à l’empoisonnement. D’autre part, le cadre réglementaire traditionnel est en retard par rapport à l’évolution technologique, réagissant souvent de manière passive après la manifestation des risques, créant ainsi un vide entre la capacité de gestion et la réalité.

Par conséquent, il est essentiel de définir des limites de sécurité pour l’innovation technologique et de renforcer la base pour un développement durable. Par exemple, pour prévenir l’empoisonnement, les entreprises de grands modèles d’IA devront respecter des exigences de prévention des risques plus strictes et plus prospectives, en utilisant des données explicables et traçables, et en établissant des seuils de vérification plus élevés pour empêcher l’empoisonnement dès la source.

Ensuite, il faut construire un système de gouvernance « multi-parties ». Les autorités doivent accélérer l’élaboration de lois et règlements liés aux technologies numériques, clarifier les responsabilités des plateformes et des utilisateurs, et renforcer les sanctions contre l’empoisonnement et l’utilisation malveillante d’outils open source ; les associations professionnelles doivent établir des normes éthiques et de sécurité communes pour guider l’auto-discipline des entreprises ; les institutions de recherche et les experts doivent renforcer l’étude des risques technologiques pour soutenir la régulation ; le public doit améliorer sa littératie numérique et utiliser rationnellement les outils technologiques.

Enfin, le développement technologique n’a pas de fin, et la forme des risques évolue constamment. Il est nécessaire d’établir des mécanismes rapides de surveillance et d’alerte, comme la publication par les différentes autorités d’alertes de sécurité concernant « OpenClaw », pour prévenir les problèmes avant qu’ils ne surviennent.

Cependant, renforcer la barrière de sécurité face à la course effrénée de la technologie ne signifie pas freiner l’innovation. Ce n’est qu’en trouvant un équilibre entre innovation et sécurité que la course technologique pourra toujours évoluer dans une trajectoire conforme et bienveillante, devenant ainsi un moteur réel du progrès social plutôt qu’une menace pour l’intérêt public.