¿Nos acercamos a un punto en que el desarrollo de la Inteligencia Artificial puedar quedar fuera de control?

Inteligencia Artificial 

Imagen: AdobeStock

¿Está la Inteligencia Artificial a punto de cruzar la linea roja que pueda poner en riesgo extremo nuestra capacidad de controlarla? 

Por Luis Domenech

Hace dos días, Anthropic anunció que su nuevo modelo, Mythos Preview, es tan eficaz detectando vulnerabilidades en código, que  el modelo resulta ser demasiado peligroso para lanzarlo al mercado. El problema no es solo lo que encuentra, sino cómo lo hace. Mythos es capaz de identificar y explotar fallos de forma completamente autónoma: sin intervención humana más allá de una instrucción inicial. Es decir, no solo detecta la grieta, también sabe cómo abrirla.

Dice el comunicado de Anthropic lo siguiente: "Creamos el Proyecto Glasswing debido a las capacidades que hemos observado en un nuevo modelo de vanguardia entrenado por Anthropic, que creemos que podría transformar la ciberseguridad. 

Claude Mythos 2 Preview es un modelo de vanguardia de propósito general, aún no publicado, que revela un hecho innegable: los modelos de IA han alcanzado un nivel de capacidad de codificación en el que pueden superar a todos, excepto a los humanos más hábiles, a la hora de encontrar y explotar vulnerabilidades de software. 

Mythos Preview ya ha detectado miles de vulnerabilidades de alta gravedad, incluyendo algunas en todos los principales sistemas operativos y navegadores web . Dado el ritmo de avance de la IA, no pasará mucho tiempo antes de que estas capacidades se extiendan, posiblemente más allá de los actores comprometidos con su implementación segura. Las consecuencias —para la economía, la seguridad pública y la seguridad nacional— podrían ser graves. 

El Proyecto Glasswing es un intento urgente de utilizar estas capacidades con fines defensivos. Como parte del Proyecto Glasswing, los socios fundadores mencionados anteriormente utilizarán Mythos Preview en sus labores de seguridad defensiva. Anthropic compartirá sus aprendizajes para que toda la industria se beneficie. Además, hemos ampliado el acceso a más de 40 organizaciones que desarrollan o mantienen infraestructura de software crítica, permitiéndoles usar el modelo para analizar y proteger tanto sistemas propios como de código abierto. 

Anthropic destinará hasta 100 millones de dólares en créditos de uso de Mythos Preview a estas iniciativas, así como 4 millones de dólares en donaciones directas a organizaciones de seguridad de código abierto. 

El proyecto Glasswing es un punto de partida. Ninguna organización puede resolver estos problemas de ciberseguridad por sí sola: los desarrolladores de IA de vanguardia, otras empresas de software, investigadores de seguridad, responsables del mantenimiento de software de código abierto y gobiernos de todo el mundo tienen un papel fundamental que desempeñar. La labor de defender la infraestructura cibernética mundial podría llevar años; sin embargo, es probable que las capacidades de la IA de vanguardia avancen sustancialmente en los próximos meses. Para que los ciberdefensores salgan victoriosos, debemos actuar ahora.

Esta confesión ha encendido todas las alarmas y ha provocado que el secretario del Tesoro, Scott Bessent, y el presidente de la Reserva Federal, Jerome Powell, convocaran a los líderes de Wall Street a una reunión urgente ante la preocupación de que esta última herramienta dé paso a una era de mayor riesgo cibernético. La reunión convocada por Bessent y Powell tuvo lugar en la sede del Tesoro en Washington, y el encuentro buscaba que todos los bancos estuvieran al tanto de los posibles riesgos futuros que plantea el nuevo modelo de Anthropic y otros similares. Además, según varias fuentes conocedoras del asunto, su intención era conocer si ya están tomando precauciones para proteger sus sistemas.

La reunión, de la que no se había informado previamente y que se organizó con poca antelación, es otra señal de que los reguladores consideran la posibilidad de un nuevo tipo de ciberataques como uno de los mayores riesgos para el sector financiero. Todos los bancos convocados a la reunión están clasificados como sistémicamente importantes por los principales reguladores, lo que significa que su estabilidad es una prioridad para el sistema financiero global.

Anthropic ya ha advertido que su nuevo modelo de inteligencia artificial, Mythos, es un sistema más potente, capaz de identificar y explotar vulnerabilidades en todos los principales sistemas operativos y navegadores web cuando el usuario se lo indica. Anthropic ha declarado que, antes de su reciente lanzamiento, mantuvo conversaciones con funcionarios estadounidenses sobre Mythos y sus "capacidades cibernéticas ofensivas y defensivas".

Según fuentes cercanas a la reunión con la Reserva Federal y el Tesoro, entre los directores ejecutivos convocados se encuentran Jane Fraser, de Citigroup Inc.; Ted Pick, de Morgan Stanley; Brian Moynihan, de Bank of America Corp.; Charlie Scharf, de Wells Fargo & Co.; y David Solomon, de Goldman Sachs Group Inc. Jamie Dimon, de JPMorgan, no pudo asistir. Los portavoces de los bancos declinaron hacer comentarios. Un representante de Anthropic no hizo declaraciones de inmediato.

Anthropic, para quien no lo sepa, es la empresa de IA que ha estado litigando contra la administración Trump en los tribunales. El Pentágono había catalogado a la empresa como un riesgo para la cadena de suministro, una designación a la que Anthropic se ha opuesto. A principios de esta semana, un tribunal federal de apelaciones rechazó, al menos por ahora, la solicitud de Anthropic de suspender la designación del Pentágono, por lo que la batalla judicial aún permanece abierta.

Recuerdo como en Marzo de 2023 se hizo pública una carta firmada por decenas de expertos encabezada por Elon Musk en la que se hacian la sifuiente pregunta: “¿Deberíamos desarrollar mentes no humanas que con el tiempo podrían superarnos en número e inteligencia, y reemplazarnos?” se preguntaron Musk, Wozniak, Evan Sharp, fundador de Pinterest, Chris Larsen, cofundador de Ripple, Craig Peters, CEO de Getty Images, y un grupo de expertos, analistas, profesores e investigadores de diferentes empresas y universidades.

Dichos líderes tecnológicos advirtieron sobre los peligros potenciales de estos avances y afirmaron que la carrera por los desarrollos con esta tecnología estaban cerca de quedar “fuera de control”, y que los sistemas de inteligencia artificial podían plantear profundos riesgos para la sociedad y la humanidad”.

La carta, la firmaron mas de 1400 personas, y fue redactada por Future of Life Institute, una organización sin fines de lucro que, según su propia definición, busca “alejar las tecnologías transformadoras de los riesgos extremos a gran escala y dirigirlas hacia el beneficio de la vida”.

La ONG señalaba en aquel entonces el rápido desarrollo de las capacidades de la tecnología de IA y cómo esta ha superado el rendimiento humano en muchas áreas. En el documento, se ponía el ejemplo de "cómo la IA utilizada para crear nuevos tratamientos farmacológicos podría utilizarse fácilmente para crear patógenos mortales". Por otra parte, los expertos sostenían que los sistemas de IA tan potentes deben desarrollarse solamente cuando se esté seguro de que sus efectos serán positivos y sus riesgos controlables.

Tres años han pasado, y tal parece que Antrhopic ha cumplido con su obligación ética y moral de avisar del peligro, y poner el modelo a disposición de las organizaciones y empresas para que puedan defenderse de las posibles consecuencias de una mala utilización de estas tecnologías. Pero no es la única empresa que trabaja en este campo. Veremos si las demás siguen el ejemplo de Anthropic, o si avanzan en sus propios desarrollos par sacar ventaja de sus nuevas capacidades.

Fuente: Anthropic