La nueva plataforma 'Vantage' de Google utiliza avatares de IA para evaluar el pensamiento crítico, la colaboración y las habilidades en el mundo real

En resumen

Google presenta el sistema de IA Vantage para desarrollar y evaluar habilidades humanas futuras, incluyendo pensamiento crítico, colaboración, creatividad, resolución de conflictos y gestión de proyectos a medida que avanza la IA.

La empresa tecnológica Google introdujo un sistema de IA diseñado para desarrollar habilidades humanas futuras. A medida que la IA continúa evolucionando, las llamadas habilidades blandas duraderas, que son difíciles de automatizar, están adquiriendo un valor cada vez mayor. Estas incluyen pensamiento crítico, colaboración, pensamiento creativo, resolución de conflictos, gestión de proyectos y otras habilidades interpersonales.

Presentado como “Vantage,” un sistema experimental impulsado por IA diseñado para apoyar el desarrollo y la evaluación de estas competencias a través de entornos de interacción simulados, la iniciativa ha sido desarrollada en colaboración con expertos en pedagogía e investigadores, incluidos contribuyentes de la Universidad de Nueva York. Se pretende que funcione como un espacio estructurado para que los estudiantes practiquen y sean evaluados en habilidades preparadas para el futuro usando metodologías similares a las aplicadas en materias académicas básicas como matemáticas o ciencias. Actualmente, el sistema está disponible en inglés a través de Google Labs.

El proceso funciona colocando a los usuarios en entornos simulados con múltiples agentes donde interactúan con avatares generados por IA en escenarios abiertos como debates, tareas de resolución colaborativa de problemas o ejercicios de planificación de proyectos. Dentro de esta configuración, un “Ejecutivo LLM” coordinador usa marcos de evaluación predefinidos para guiar la interacción y ajustar dinámicamente las condiciones conversacionales. Esto incluye introducir desacuerdos, desafiar suposiciones o dirigir el diálogo para generar evidencia conductual observable relevante para las habilidades objetivo.

Marco de IA basado en simulaciones para evaluar habilidades preparadas para el futuro

Mientras tanto, un modelo de evaluación de IA separado analiza toda la interacción una vez finalizada la tarea. Usando las mismas rúbricas estructuradas, evalúa la transcripción de la conversación y produce un perfil de rendimiento detallado que mapea los comportamientos observados a categorías específicas de habilidades. La salida incluye puntuaciones cuantitativas y retroalimentación cualitativa, traduciendo interacciones interpersonales complejas en indicadores estructurados y medibles del desempeño de habilidades.

Para garantizar la fiabilidad metodológica, el sistema ha sido probado en colaboración con la Universidad de Nueva York mediante estudios controlados con 188 participantes de entre 18 y 25 años. Estas evaluaciones se centraron en competencias relacionadas con la colaboración, como resolución de conflictos y coordinación de proyectos. Los resultados indicaron que la dirección conversacional adaptativa impulsada por IA generó una mayor densidad de evidencia evaluable de habilidades en comparación con modelos de interacción no dirigidos, manteniendo un flujo de diálogo coherente y natural en múltiples tareas.

Pruebas adicionales compararon la puntuación generada por IA con las evaluaciones de expertos humanos usando las mismas rúbricas pedagógicas. Los hallazgos mostraron que los niveles de acuerdo entre el evaluador de IA y los calificadores humanos fueron comparables a los acuerdos interhumanos. Esto sugirió que los sistemas automatizados pueden aproximarse a la consistencia a nivel de expertos en contextos de evaluación estructurada.

Validaciones adicionales con socios externos, incluyendo OpenMic, extendieron las pruebas a tareas creativas y basadas en el lenguaje que involucraban ejercicios multimedia y literarios. En estos casos, las evaluaciones generadas por IA demostraron una fuerte correlación con la puntuación de expertos humanos, reforzando el potencial del sistema para aplicarse más allá de escenarios de trabajo en equipo estructurado, en dominios creativos más abiertos.

Estos sistemas basados en simulaciones podrían integrarse en entornos educativos como una capa adicional de evaluación junto con los métodos tradicionales en un futuro cercano. Esto permitiría evaluar a los estudiantes no solo en conocimientos de la materia, sino también en habilidades interpersonales y cognitivas aplicadas en entornos controlados simulados. El objetivo más amplio de la investigación es hacer que las competencias preparadas para el futuro sean más medibles a gran escala y alinear la evaluación educativa más estrechamente con las demandas cambiantes de la fuerza laboral.