Empleados de OpenAI llevan años advirtiendo de fallos en la seguridad operativa: fuentes

Por Deepa Seetharaman

SAN FRANCISCO, 3 nov (Reuters) - Cuando OpenAI reveló en octubre que había encontrado un dispositivo de grabación oculto en una sala de reuniones de la dirección, varios antiguos empleados tuvieron ‌la misma reacción: no les sorprendió.

Incluso antes de que OpenAI lanzara ChatGPT a finales de 2022, algunos miembros del personal de la empresa ya habían expresado internamente sus preocupaciones sobre sus prácticas de seguridad, según cinco personas familiarizadas con el asunto.

Los empleados compartieron sus inquietudes con los máximos responsables de OpenAI y con el directorio, según estas ​personas, quienes añadieron que algunos miembros del personal salieron de esas reuniones con la conclusión de que la dirección estaba más centrada en seguir el ritmo de competidores como Google y Anthropic que en la seguridad.

Estos trabajadores argumentaban que los controles de OpenAI eran tan laxos que personas ajenas a la empresa, incluidos gobiernos extranjeros, podían obtener información sensible sobre la tecnología del laboratorio de IA con relativa facilidad, según estas personas. Por ejemplo, cualquier persona de OpenAI con acceso al código podía ver los detalles técnicos subyacentes a muchos proyectos de la empresa.

OpenAI ha comenzado a cambiar de estrategia para abordar los problemas de seguridad, según dos personas familiarizadas con el ​asunto. Thibault Sottiaux, un alto ejecutivo encargado de supervisar el desarrollo de productos, se ha puesto recientemente al frente de una iniciativa interna para proteger los sistemas internos de OpenAI, afirmaron.

En agosto, Sottiaux, conocido como "Tibo", reasignó a una cuarta parte de los ingenieros de producción de OpenAI para mejorar su infraestructura de seguridad, según una de las personas.

Las advertencias internas, que incluyen años de quejas de los empleados a la dirección sobre vulnerabilidades internas —cuyos detalles concretos ​no se habían dado a conocer hasta ahora—, ponen de manifiesto una tensión dentro del sector de la IA.

Desde el lanzamiento de ChatGPT a finales de 2022, ⁠la tecnología de IA se ha convertido en un activo estratégico para Estados Unidos, lo que ejerce presión sobre las empresas estadounidenses para que protejan su tecnología frente a los rivales extranjeros.

Sin embargo, añadir capas de seguridad también puede retrasar el proceso de avance de la tecnología de IA y, posiblemente, ‌complicar los planes de OpenAI y Anthropic de llevar a cabo salidas a bolsa masivas que las convertirían en algunas de las empresas más valiosas del mundo.

Will DePue, un antiguo investigador de OpenAI que dimitió de la empresa en abril de este año, escribió en una publicación en X que, con una competencia tan reñida, los líderes de la IA "no pueden sacrificar la velocidad en aras de la seguridad. Para ellos es más importante avanzar rápido que estar seguros, incluso frente a nuestros mayores adversarios nacionales".

Al ser preguntada ​sobre las preocupaciones de los empleados y su opinión de que la dirección no había tomado medidas al respecto, la portavoz de ‌OpenAI, Elana Widmann, afirmó que OpenAI es una de las organizaciones más atacadas del mundo. Por ello, la empresa realiza importantes inversiones en su programa de seguridad para protegerse contra ataques de personas internas, ciberdelincuentes y ⁠Estados-nación, añadió.

"Proteger nuestra tecnología, nuestros datos y a nuestro personal es una responsabilidad que nos tomamos muy en serio y una cuestión de importancia nacional", afirmó Widmann.

"Las medidas que hemos adoptado recientemente demuestran que el programa está cumpliendo su función: identificar riesgos y responder con decisión. Seguiremos reforzando nuestras defensas a medida que la tecnología y las amenazas evolucionen".

INFORMACIÓN AMPLIAMENTE DISPONIBLE

El 13 de octubre, el Departamento de Justicia informó de que agentes federales estadounidenses detuvieron a un ciudadano saudita y lo acusaron de instalar un dispositivo oculto de grabación de audio, camuflado en papel higiénico, en una sala de reuniones ejecutiva. Abdulrahman Alfozan, de 35 años, era ingeniero de OpenAI en aquel momento.

Según ⁠un escrito judicial, Alfozan también utilizó una herramienta de IA destinada ‌a los empleados de OpenAI para encontrar documentación interna sobre los ejecutivos que visitaban Arabia Saudita y sobre qué responsables de OpenAI tenían más probabilidades de asistir a reuniones con ministros sauditas.

Alfozan mantenía contacto habitual con un miembro de la familia real saudita que ⁠intentó reclutarlo para una nueva empresa de IA que se iba a poner en marcha en Arabia Saudita. Los abogados de Alfozan no respondieron a una solicitud de comentarios.

Algunos empleados llevan tiempo preocupados por la amplia disponibilidad de información dentro de OpenAI, según afirmaron las cinco personas familiarizadas con las prácticas de la empresa.

Cualquier persona de OpenAI ‌que pudiera acceder a su código también podía ver los detalles subyacentes a muchos de los proyectos de la empresa, incluidos aquellos sensibles que no guardaban relación con el trabajo de un empleado. Esto se debe a que OpenAI almacenaba la mayor parte de su código en un único ⁠repositorio, conocido en el sector como "monorepo", según indicaron estas personas.

El monorepo era denso y complicado, lo que puede haber disuadido a algunos posibles atacantes en el pasado. Ahora, los agentes de IA pueden examinar esa cantidad ⁠de material.

En el pasado, OpenAI ha guardado gran parte de su documentación de ‌investigación en GitHub y Slack, lo que suscitó la preocupación entre algunos empleados de que personas con intenciones maliciosas pudieran seguir encontrando información crucial, según afirmaron las cinco personas. Sin embargo, una de las fuentes y OpenAI señalaron que la empresa ha restringido el acceso a los trabajos confidenciales.

OpenAI hizo hincapié en que gran parte de ​su trabajo más sensible se almacena en repositorios de código independientes con estrictos controles de acceso. Además, señaló que el monorepo no contiene todo su código ni detalles críticos de ‌los modelos de la empresa, incluidos los valores numéricos que determinan el comportamiento de un modelo, conocidos como "pesos del modelo".

Otro problema es que OpenAI no había llevado a cabo revisiones de seguridad periódicas de sus herramientas internas, como los denominados "sandboxes", en los que los investigadores someten a pruebas de estrés los nuevos modelos, según afirmaron tres personas familiarizadas con las prácticas de la ​empresa. Los empleados solían modificar esas herramientas para su trabajo, pero esos cambios no siempre se sometían a pruebas de seguridad, lo que las dejaba potencialmente vulnerables a ataques de personas ajenas a la empresa, señalaron las tres personas.

La empresa afirmó que cuenta con un enfoque riguroso en materia de seguridad bajo la dirección de su director de seguridad de la información, Dane Stuckey, que se incorporó en octubre de 2024. OpenAI señaló que ahora lleva a cabo revisiones periódicas de seguridad de sus herramientas internas.

OpenAI no es la única empresa de IA que se enfrenta a problemas de seguridad.

En enero, un jurado federal de San Francisco declaró culpable a un antiguo ⁠empleado de Google que había sido detenido en marzo de 2024 acusado de robar miles de páginas de información confidencial sobre la tecnología de IA de Google en nombre de China.

A finales de octubre, una startup de ciberseguridad llamada Cathedral Systems afirmó que había pirateado los sistemas de Anthropic y había accedido a canales de Slack en los que los empleados discutían detalles sensibles de los modelos. Un portavoz de Anthropic señaló que los datos a los que se accedió incluían cierta información de contacto comercial de clientes y socios, así como un conjunto de registros básicos de cuentas de usuario. El director ejecutivo de Cathedral no respondió a una solicitud de comentarios.

OpenAI y Anthropic han intentado mantener una cultura de investigación más abierta, tanto para atraer a empleados como para fomentar la creatividad que pueda dar lugar a avances revolucionarios. El campo de la IA tiene sus raíces en el ámbito académico, donde los científicos especializados en aprendizaje automático han debatido abiertamente sobre sus investigaciones.

Según las cinco personas consultadas, algunos empleados de OpenAI están cada vez más preocupados por este enfoque a medida que la IA se vuelve más capaz.

Después de que Reuters solicitara comentarios para este artículo, OpenAI afirmó el lunes en una entrada de blog que está planificando su "próximo sprint de seguridad interna" para reforzar sus defensas.

(Reportaje de Deepa Seetharaman en ​San Francisco; edición de Kenneth Li, Edward Tobin y Matthew Lewis, Editado en español por Juana Casas)