Científicos construyen una fórmula para predecir cuándo los chatbots de IA se vuelven peligrosos

¿Alguna vez te has preguntado por qué un chatbot de IA puede dar respuestas sensatas por un tiempo y luego, de repente, decir algo dañino o peligroso? Dos físicos dicen que han encontrado una manera de predecir exactamente cuándo sucede eso.

Los investigadores Neil Johnson y Frank Yingjie Huo de la Universidad George Washington publicaron una fórmula que estima cuántas respuestas buenas dará un chatbot de IA antes de deslizarse hacia una mala. Su trabajo apareció en la revista científica *Patterns*.

La idea clave es algo llamado cabeza de atención — la parte de un modelo de IA que decide qué palabras anteriores en una conversación son más importantes al elegir la siguiente palabra. A medida que una conversación se alarga, esta "atención" puede desviarse hacia respuestas dañinas hasta que el modelo "se vuelca".

Su fórmula mide un punto de inflexión llamado n, que es el número de buenos tokens (pequeños fragmentos de palabras que la IA produce uno a la vez) que salen antes del primero malo. Así es como funciona:

• Si una conversación ya se inclina hacia lo malo, el modelo se vuelca inmediatamente (n es igual a cero).
• Si se inclina hacia lo bueno, el modelo da una serie de buenas respuestas y luego cambia.

Los resultados hasta ahora:

• La fórmula predijo correctamente si un modelo se volvería malo instantáneamente o después de un retraso en 15 de 16 pruebas claras (94% de precisión).
• Las pruebas iniciales utilizaron seis modelos de peso abierto (sistemas de IA cuyos archivos son públicos para que cualquiera pueda descargarlos) de OpenAI, EleutherAI y Meta.
• Esos modelos variaron de 124 millones a 410 millones de parámetros (los números internos ajustables que miden aproximadamente el tamaño de un modelo). El artículo publicado amplió las pruebas a modelos de hasta 12 mil millones de parámetros, aún pequeños según los estándares actuales.

El objetivo principal es la IA en el dispositivo — chatbots que funcionan completamente en tu teléfono o computadora portátil sin conexión a internet. Estos modelos sin conexión no tienen un servicio en la nube que verifique su salida, por lo que los investigadores proponen un monitor de bajo costo que funcione junto con el modelo y señale el peligro, como una luz de advertencia en el tablero de un automóvil.

En resumen, esta investigación podría hacer que las aplicaciones de IA en nuestros teléfonos sean más seguras al dar una advertencia temprana antes de que se descarrilen, un paso importante a medida que más IA se mueve sin conexión.

Este es un resumen generado por IA. Lea el artículo original en: https://decrypt.co/380624/formula-predicts-when-ai-chatbot-turn-bad