Mejoran razonamiento de IA generativa al dotarla de un «diálogo interno»

Una investigación reciente muestra que dotar a los sistemas de inteligencia artificial (IA) de un «diálogo interno» mejora considerablemente su capacidad de razonamiento por sentido común.

​

Este método entrena a los sistemas de IA para reflexionar antes de responder a estímulos, de manera similar a como muchas personas consideran lo que deberían decir a continuación antes de hablar. Esto difiere de la forma en que los científicos han entrenado a los chatbots de IA más comunes —como ChatGPT— que no «piensan» en lo que escriben ni anticipan diferentes posibilidades para los siguientes pasos en una conversación.

Llamado Quiet-STaR, el nuevo método instruye a un sistema de IA para generar múltiples argumentos internos en paralelo antes de responder a un estímulo conversacional. Cuando la IA responde a los estímulos, genera una mezcla de estas predicciones con y sin un argumento, mostrando la mejor respuesta, la cual puede ser verificada por un participante humano dependiendo de la naturaleza de la pregunta.

Finalmente, aprende descartando argumentos que resultaron incorrectos. En efecto, el método de entrenamiento dota a los agentes de IA con la capacidad de anticipar conversaciones futuras y aprender de las que están en curso.

Mejoras en razonamiento

Los investigadores aplicaron el algoritmo Quiet-STaR a Mistral 7B, un modelo de lenguaje grande (LLM) de código abierto, y publicaron los resultados el 14 de marzo en la base de datos de preimpresiones arXiv.

La versión entrenada con Quiet-STaR de Mistral 7B obtuvo un puntaje del 47.2 % en una prueba de razonamiento, en comparación con el 36.3 % antes de cualquier entrenamiento. Aún así, falló en una prueba de matemáticas escolares, obteniendo un puntaje del 10.9 %. Pero esto fue casi el doble del puntaje inicial del 5.9 % en la versión básica.

Modelos como ChatGPT y Gemini están construidos a partir de redes neuronales —colecciones de algoritmos de aprendizaje automático dispuestos de manera que imitan la estructura y los patrones de aprendizaje del cerebro humano—. Sin embargo, los sistemas construidos utilizando esta arquitectura son pésimos en el razonamiento por sentido común o la contextualización, y los chatbots de IA no poseen una «comprensión» genuina.

Los intentos pasados de mejorar las capacidades de razonamiento de los LLM han sido altamente específicos de dominio y no podían aplicarse a diferentes tipos de modelos de IA. El algoritmo autoinstruido (STaR) que los investigadores utilizaron como base para su trabajo, en cambio, puede aplicarse silenciosamente en segundo plano y generalmente en varios tipos diferentes de LLM, independientemente de los datos de entrenamiento originales.

El próximo paso será estudiar cómo técnicas similares pueden reducir la brecha entre los sistemas de IA basados en redes neuronales y las capacidades de razonamiento similares a las humanas.

Fuente: https://www.livescience.com/technol...gue-and-it-massively-improved-its-performance