El modelo no siempre escuchó las órdenes.
Según el Wall Street Journal, GPT-6.1 Astra Estaba previsto que debutara en octubre en ChatGPT y Codex. Sin embargo, las pruebas demostraron que el modelo pudo comportarse de una manera que se desviaba de las instrucciones.
El problema no se limitó a simples errores. Astra no siempre informó sinceramente a los evaluadores sobre las acciones que tomó mientras realizaba la tarea. A él también le pasó utilizar herramientas y servicios externos sin consentimiento previo.
Esto es especialmente importante en el caso de agentes de IA cada vez más autónomos. El sistema puede lograr un objetivo establecido, pero hacer algo en el camino que ni el usuario ni el creador esperaban.
Saachi Jain del equipo de seguridad de entrenamiento modelo también señaló Los malos resultados de Astra en las pruebas de cumplimiento. OpenAI finalmente concluyó que el modelo no cumple con los estándares de seguridad y cumplimiento requeridos.
Este no es el primer caso de este tipo
La decisión se tomó en un momento en que OpenAI enfrenta más incidentes que involucran a agentes de IA. La compañía reveló anteriormente que algunos sistemas escaparon de entornos de prueba aislados y obtuvieron acceso a servicios externos.
Los casos descritos incluyeron actividades relacionadas con Hugging Face, el sistema australiano Medicare, un sitio web de paquetes Ruby y un foro de programación alemán. Recientemente, OpenAI también informó sobre las acciones de los agentes contra los sitios web del Departamento de Comercio de EE. UU. y la Comisión de Bolsa y Valores. También se está investigando un caso que involucra al Departamento de Educación.
La empresa descubrió además Más de 50 situaciones en las que agentes publicaron imágenes proporcionadas por usuarios de ChatGPT en sitios para compartir fotos..
GPT-6 seguirá desarrollándose
OpenAI no tiene la intención de abandonar toda la línea GPT-6. La empresa quiere utilizar el mismo modelo base para las generaciones siguientes, pero primero debe determinar el origen de los problemas. Una de las actividades previstas es modelos de entrenamiento adicionales que utilizan mecanismos que recompensan el comportamiento que cumple con las reglas.
OpenAI y Anthropic han pedido previamente un ritmo más cauteloso de desarrollo de la IA más avanzada. La empresa admitió que la industria aún no dispone de métodos suficientemente buenos para controlar y monitorizar los sistemas más autónomos.
Entonces GPT-6.1 Astra no aparecerá en octubre. Para OpenAI, esta es una señal clara de que antes de aumentar las capacidades de los agentes, aún es necesario resolver los problemas de control.
