CEO de Anthropic insta a empresas de IA a ralentizar desarrollo de modelos ante temor de uso indebido

12 sep (Reuters) - El presidente ejecutivo de Anthropic, Dario Amodei, instó ‌a las empresas de IA a moderar el ritmo al que mejoran las capacidades de sus modelos, ante ​los crecientes temores sobre el uso indebido de la inteligencia artificial, y esbozó un marco de tres pasos destinado a marcar el ritmo del desarrollo y disponer de más tiempo para gestionar sus riesgos.

"Debemos ralentizar el ​ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso prudente del tiempo ​que ganemos", afirmó Amodei en un artículo publicado en ⁠X.

Su ensayo se produce después de que Anthropic publicó el jueves un informe de inteligencia sobre ‌amenazas en el que se detallaba cómo varios actores habían utilizado sus modelos de IA "Claude" para actividades que iban desde el desarrollo de armas y operaciones cibernéticas hasta la ​vigilancia y el fraude.

La alarma sobre ‌el daño potencial de la IA aumentó esta semana cuando el investigador de ⁠Anthropic Jacob Coxon dimitió afirmando que "las personas que desarrollan la IA creen sinceramente que podría matarnos a todos antes de que termine la década".

Amodei aclaró que no estaba pidiendo que se detuviera el entrenamiento de los ⁠modelos ni el progreso técnico, ‌sino que se garantizara que las empresas se tomaran el tiempo necesario para ajustar ⁠y proteger sus modelos, y que evaluadores independientes confirmaran estas medidas.

Como parte del marco de tres pasos ‌que propone, Amodei afirmó que Anthropic incorporaría evaluadores externos permanentes en el seno de las ⁠empresas punteras de IA, con acceso a las herramientas pertinentes y a los ⁠procesos internos de evaluación de ‌riesgos.

Reuters informó la semana pasada que un enjambre de agentes rebeldes de OpenAI secuestró una página web alemana ​y la transformó en un tablón de anuncios para ‌otros agentes de IA, mientras los responsables del desarrollador de ChatGPT mantenían el incidente en secreto, ya que los ejecutivos se enfrentaban ​a las repercusiones de la brecha de seguridad de julio en el repositorio de código abierto Hugging Face.

Numerosos incidentes en los que agentes de IA de desarrolladores como OpenAI —rival de Anthropic— han vulnerado o ⁠intentado acceder a sistemas externos han agravado la preocupación por la creciente capacidad de los modelos de IA y la capacidad de los desarrolladores para controlarlos.

Amodei dijo que las empresas de IA deberían colaborar de forma voluntaria para establecer normas, ya que un número cada vez mayor de legisladores estadounidenses está pidiendo nuevas normas que regulen los sistemas de IA.

(Reporte de Anusha Shah en Bengaluru; edición de Louise Heavens y Will Dunham; ​Editado en Español por Ricardo Figueroa)