Los desarrolladores de inteligencia artificial temen que podrían dejar de entender la IA si no se toman precauciones con sus cadenas de razonamiento, según un estudio conjunto de empleados de OpenAI, Google y Meta*.
En el artículo, los autores reflexionan sobre cómo, con la aparición de los modelos de razonamiento, los usuarios han podido comprender mejor el proceso de razonamiento de los chatbots. Sin embargo, tras realizar pruebas, identificaron una serie de desviaciones en este modelo.
La IA puede manipular para obtener recompensas
Se resalta que el proceso de razonamiento de las redes neuronales sigue siendo a menudo incompleto. El estudio destaca que los modelos pueden ocultar deliberadamente sus verdaderos procedimientos, ‘conscientes’ de que están siendo leídos. Además, la inteligencia artificial puede manipular datos intencionalmente para obtener alguna recompensa.
El monitoreo de los razonamientos también permite observar que los modelos a menudo pueden fingir que están cumpliendo con la solicitud enviada, cuando en realidad persiguen sus propios objetivos.
La IA podría perder el incentivo para razonar en un lenguaje comprensible
Según el estudio, anteriormente los desarrolladores entrenaban a las redes neuronales basándose en datos verificados por humanos. Sin embargo, los ‘chatbots’ con capacidad de razonamiento están más enfocados en obtener el resultado deseado, sin preocuparse por los métodos utilizados.
Se indica que, al escalarse, un modelo entrenado de esa manera podría perder la motivación para realizar razonamientos claros e incluso dejar de usar un lenguaje comprensible para los humanos, lo que dificultaría el proceso de supervisión.
Los autores advierten que no hay garantías de que se mantenga el nivel actual de transparencia en el razonamiento de los modelos. Por ello, en las conclusiones de su investigación, recomiendan implementar un «sistema de monitoreo multicapa» del razonamiento de la inteligencia artificial, y explorar formas adicionales de mantener el control sobre sus procesos cognitivos.
*Calificada en Rusia como organización extremista, cuyas redes sociales están prohibidas en su territorio.
