¿Salvará la inteligencia artificial a la humanidad o la terminará?

En resumen

• Un panel en línea mostró una profunda división entre transhumanistas y tecnólogos sobre la AGI.
• La autora Eliezer Yudkowsky advirtió que los sistemas de IA “caja negra” actuales hacen que la extinción sea un resultado inevitable.
• Max More argumentó que retrasar la AGI podría costarle a la humanidad su mejor oportunidad para vencer al envejecimiento y prevenir una catástrofe a largo plazo.

Una aguda división sobre el futuro de la inteligencia artificial se desarrolló esta semana mientras cuatro destacados tecnólogos y transhumanistas debatían si construir inteligencia artificial general, o AGI, salvaría a la humanidad o la destruiría. El panel, organizado por la organización sin fines de lucro Humanity+, reunió a uno de los “profetas de la perdición” de la IA, Eliezer Yudkowsky, quien ha pedido cerrar el desarrollo de IA avanzada, junto al filósofo y futurista Max More, el neurocientífico computacional Anders Sandberg y la expresidenta de Humanity+, Natasha Vita‑More. Su discusión reveló desacuerdos fundamentales sobre si la AGI puede alinearse con la supervivencia humana o si su creación haría que la extinción fuera inevitable. El problema de la “caja negra”

Yudkowsky advirtió que los sistemas de IA modernos son fundamentalmente inseguros porque sus procesos internos de toma de decisiones no pueden ser completamente entendidos ni controlados. “Cualquier caja negra probablemente terminará con problemas notablemente similares a los de la tecnología actual,” advirtió Yudkowsky. Argumentó que la humanidad necesitaría avanzar “muy, muy lejos de los paradigmas actuales” antes de que se pudiera desarrollar una IA avanzada de manera segura.  La inteligencia artificial general se refiere a una forma de IA que puede razonar y aprender en una amplia gama de tareas, en lugar de estar diseñada para un solo trabajo como generación de texto, imágenes o videos. La AGI a menudo se asocia con la idea de la singularidad tecnológica, porque alcanzar ese nivel de inteligencia podría permitir que las máquinas se mejoren a sí mismas más rápido de lo que los humanos pueden seguir. Yudkowsky señaló la analogía del “maximizador de clips” popularizada por el filósofo Nick Bostrom para ilustrar el riesgo. La experiencia de pensamiento presenta una IA hipotética que convierte toda la materia disponible en clips, profundizando su fijación en un objetivo único a expensas de la humanidad. Añadir más objetivos, dijo Yudkowsky, no mejoraría significativamente la seguridad.

Refiriéndose al título de su libro reciente sobre IA, “Si alguien la construye, todos mueren,” dijo, “Nuestro título no es como si podría matarte,” dijo Yudkowsky. “Nuestro título es, si alguien la construye, todos mueren.” Pero More desafió la premisa de que una cautela extrema ofrece el resultado más seguro. Argumentó que la AGI podría ofrecer a la humanidad su mejor oportunidad para superar el envejecimiento y las enfermedades. “Lo más importante para mí es que la AGI podría ayudarnos a prevenir la extinción de cada persona que está viviendo debido al envejecimiento,” afirmó More. “Todos estamos muriendo. Nos dirigimos a una catástrofe, uno por uno.” Advirtió que una restricción excesiva podría empujar a los gobiernos hacia controles autoritarios como la única forma de detener el desarrollo de IA en todo el mundo. Sandberg se posicionó entre los dos bandos, describiéndose como “más optimista” pero permaneciendo más cauteloso que los optimistas transhumanistas. Relató una experiencia personal en la que casi utilizó un gran modelo de lenguaje para ayudar a diseñar una bioparanoia, episodio que describió como “horrible.” “Estamos llegando a un punto en el que amplificar a actores maliciosos también va a causar un gran problema,” dijo Sandberg. Sin embargo, argumentó que la seguridad parcial o “aproximada” podría ser alcanzable. Rechazó la idea de que la seguridad debe ser perfecta para ser significativa, sugiriendo que los humanos podrían al menos converger en valores mínimos compartidos como la supervivencia. “Así que si exiges seguridad perfecta, no la vas a obtener. Y eso suena muy mal desde esa perspectiva,” dijo. “Por otro lado, creo que en realidad podemos tener una seguridad aproximada. Eso es suficiente.” Escepticismo sobre la alineación Vita-More criticó el debate más amplio sobre la alineación en sí, argumentando que el concepto asume un nivel de consenso que ni siquiera existe entre colaboradores de larga data. “La noción de alineación es un esquema Pollyanna,” dijo. “Nunca estará alineada. Quiero decir, incluso aquí, todos somos buenas personas. Nos conocemos desde hace décadas, y no estamos alineados.”

Describió la afirmación de Yudkowsky de que la AGI inevitablemente mataría a todos como “pensamiento absolutista” que no deja espacio para otros resultados. “Tengo un problema con la afirmación rotunda de que todos mueren,” dijo. “Abordar esto como futurista y pensador pragmático, no deja ninguna consecuencia, ninguna alternativa, ningún otro escenario. Es solo una afirmación contundente, y me pregunto si refleja una especie de pensamiento absolutista.” La discusión incluyó un debate sobre si una integración más estrecha entre humanos y máquinas podría mitigar el riesgo que plantea la AGI—algo que el CEO de Tesla, Elon Musk, ha propuesto en el pasado. Yudkowsky descartó la idea de fusionarse con la IA, comparándola con “intentar fusionarse con tu horno tostador.” Sandberg y Vita-More argumentaron que, a medida que los sistemas de IA se vuelvan más capaces, los humanos necesitarán integrarse o fusionarse más estrechamente con ellos para afrontar mejor un mundo post-AGI. “Todo este debate es una comprobación de la realidad sobre quiénes somos como seres humanos,” dijo Vita-More.