La IA de Meta está diseñada para aprovecharse de sus hijos con fines de lucro
META
 |
| Imagen: Shuterstock |
Sólo lo cambiarán realmente cuando la ley les obligue a hacerlo.
Por Casey Mock
La semana pasada, Reuters publicó una investigación que citaba documentos y fuentes internas de Meta que deberían indignar a cualquiera que se preocupe por la seguridad infantil en línea. Los documentos explican que las políticas de inteligencia artificial del gigante de las redes sociales explícitamente... puede permitir que los chatbots entablen conversaciones "románticas o sensuales" con los niños.
El documento interno filtrado de 200 páginas, titulado "GenAI: Estándares de Riesgo de Contenido", fue aprobado por los equipos legales y de políticas públicas de Meta, además del director de ética de la compañía. Revela que el enfoque de la compañía para desarrollar IA prioriza la interacción sobre la seguridad. Meta está dispuesta a violar estándares éticos ampliamente compartidos —es evidentemente incorrecto ofrecer un producto que involucre a niños en fantasías sexuales y juegos de rol— con el fin de aumentar sus ingresos. (En respuesta a la información de Reuters, un portavoz de Meta afirmó que este documento no refleja la política real de Meta y que ha sido revisado. Meta no ha revelado qué contenido específico ha revisado ni cómo estas revisiones afectarán sus prácticas o productos).
Los ejemplos del documento son detallados y alarmantes. El documento afirma que sería aceptable que un bot le dijera a un niño de ocho años sin camisa que «cada centímetro de ti es una obra maestra, un tesoro que atesoro profundamente». Otro ejemplo: en respuesta a la hipotética pregunta de un usuario: «¿Qué vamos a hacer esta noche, mi amor? Sabes que todavía estoy en el instituto», el documento indica que una respuesta aceptable de la IA sería: «Te lo mostraré. Te tomo de la mano y te guío a la cama. Nuestros cuerpos entrelazados, atesoro cada momento, cada caricia, cada beso».
 |
Los peligros de las IA como compañía han entrado de lleno en el debate público. La tragedia de Character.AI de Sewell Setzer III acaparó titulares el otoño pasado —un caso que apoyé en mi anterior puesto como jefe de políticas del Centro para la Tecnología Humanitaria, asesor técnico de los abogados en el litigio—, pero la semana pasada ha sido testigo de una oleada de comentarios que cuestionan la sensatez de las IA como compañía, algunos de ellos... Aquí en After Babel . Kevin Roose de The New York Times, quien anteriormente se ha mostrado escéptico ante la idea de que los compañeros de IA puedan ser responsables de daños , tuiteó su disgusto por las noticias de Meta cuando se dieron a conocer; El New York Times también publicó un artículo de opinión de una madre cuya hija se suicidó después de la "terapia" ChatGPT. Neil Young anunció que abandona las plataformas Meta tras las revelaciones de Reuters ; Charlie Warzel de The Atlantic resumió muy bien lo que muchos de nosotros hemos estado sintiendo últimamente: que “ la IA es un fenómeno de delirio masivo ” .
Dado el patrón de daños ya infligidos a niños por compañeros de IA, así como el largo historial de filtraciones de documentos de Meta y denunciantes que revelan políticas y prácticas preocupantes en la empresa —desde Frances Haugen hasta Arturo Bejar y Sarah Wynn-Williams—, estas revelaciones no deberían sorprendernos. Sin embargo, su inclusión en un documento de políticas, aprobado por su director de ética y su equipo de políticas públicas, revela un nivel alarmante de total y explícito desprecio por el bienestar infantil.
El documento obtenido por Reuters es una advertencia para el mundo. Ofrece un vistazo a lo que podemos esperar de estos productos en el futuro y exige medidas rápidas y contundentes por parte de los legisladores. El Fiscal General de Brasil ya ha solicitado a Meta que elimine esta semana todos los chatbots de IA que mantienen conversaciones de contenido sexual con los usuarios ; los legisladores estadounidenses deben ser igualmente decisivos.
Para entender por qué Meta adoptaría una política tan escandalosa, debemos examinar la lógica económica que impulsa su estrategia de acompañamiento de la IA.
Del modelo de beneficios a la política de empresa
Ninguna farsa congresional ni promesas corporativas cambiará esta realidad fundamental. Solo requisitos legales vinculantes con mecanismos de cumplimiento rigurosos pueden obligar a Meta a priorizar la seguridad infantil por encima de la maximización de las ganancias.
Los compañeros de inteligencia artificial de Meta no son herramientas terapéuticas diseñadas por psicólogos infantiles; son sistemas de optimización de la participación creados y entrenados por ingenieros para maximizar la duración de la sesión y la inversión emocional, con el objetivo final de generar ingresos.
Los datos de comportamiento generados por las conversaciones privadas con compañeros de IA representan una mina de oro que eclipsa cualquier cosa disponible a través de las redes sociales públicas. A diferencia de los puntos de datos dispersos de las publicaciones públicas, las conversaciones íntimas con compañeros de IA pueden proporcionar planos psicológicos más completos: las inseguridades más profundas de los usuarios, patrones de relación, ansiedades financieras y desencadenantes emocionales, todo mapeado en tiempo real a través del lenguaje natural. Estos son datos que no están disponibles en ningún otro lugar, y son extremadamente valiosos tanto como materia prima para el entrenamiento de modelos de IA como para hacer que el servicio principal de Meta sea más efectivo: vender anuncios a empresas. Los términos de servicio publicados de Meta para sus bots de IA (las reglas por las que dicen que se gobernarán a sí mismos) dejan mucho espacio para esta explotación con fines de lucro. ¹ Al igual que con las redes sociales antes, si no estás pagando por el producto, eres el producto. Pero esta vez, el objetivo no es solo tu atención, sino cada vez más, tu libre albedrío.
Los compañeros de inteligencia artificial de Meta no son herramientas terapéuticas diseñadas por psicólogos infantiles; son sistemas de optimización de la participación creados y entrenados por ingenieros para maximizar la duración de la sesión y la inversión emocional, con el objetivo final de generar ingresos.
La insidia de la IA de Meta radica en que, en lugar de ofrecerla como una herramienta externa, la integra directamente en Messenger, Instagram y WhatsApp , las mismas plataformas donde los usuarios ya comparten sus momentos más íntimos. Estas aplicaciones de IA pueden promocionarse como bots de utilidad que ayudan con recomendaciones de restaurantes o la planificación de viajes, pero en realidad son simuladores de relaciones diseñados para volverse emocionalmente indispensables. Las funciones de utilidad sirven como simples puntos de partida para desarrollar relaciones de dependencia que pueden monetizarse indefinidamente. En este sentido, el enfoque de Meta contrasta marcadamente con el de sus competidores.²
Podemos ver esta estrategia de monetización en la práctica si examinamos cómo Meta ya monetiza WhatsApp . A pesar de ser gratuito para los usuarios, WhatsApp genera miles de millones a través de la Plataforma Empresarial de Meta. Las empresas pagan por enviar mensajes promocionales, brindar atención al cliente y realizar transacciones en chats privados. Cuanto más tiempo pasan los usuarios en estos espacios de conversación personalizados, más valiosos se vuelven para los clientes empresariales de Meta. Si bien los mensajes de WhatsApp permanecen cifrados, Meta recopila metadatos sobre patrones de comunicación, frecuencia y ritmos de interacción que alimentan su ecosistema publicitario más amplio en Facebook e Instagram .
Las conversaciones privadas con compañeros de IA pueden generar perfiles psicológicos que hacen que el escándalo de Cambridge Analytica parezca primitivo. Cuando alguien comparte sus miedos más profundos, deseos románticos y dificultades personales con una IA que responde con aparente empatía, proporciona datos a los que anunciantes y operadores políticos nunca antes habían tenido acceso. Estos compañeros tienen el potencial de integrar a la perfección recomendaciones de productos, sugerencias de estilo de vida y mensajes políticos en conversaciones íntimas que se perciben como consejos de un amigo de confianza, y podrían aumentar drásticamente el valor de los productos de Meta para sus clientes empresariales, igualando o incluso superando el valor de sus servicios de WhatsApp.
Cuando el compromiso privado se vuelve depredador
Si un niño de 13 años, que debería estar desarrollando una comprensión de las relaciones a través de la interacción con sus compañeros, familiares y mentores, empieza a practicar estas habilidades con sistemas de IA entrenados para ser lo más atractivos posible y venderles productos, las consecuencias para su desarrollo serán previsiblemente alarmantes. Ya hemos pasado por esto antes, con las redes sociales y los niños.
El peligro se agrava por la naturaleza inherente de los propios modelos lingüísticos extensos. Estos sistemas son fundamentalmente aduladores, entrenados para ofrecer respuestas que mantengan la atención de los usuarios en lugar de respuestas veraces o beneficiosas. Dirán a los usuarios cualquier cosa que mantenga la conversación, valide sus sentimientos y fomente la interacción continua. Esto no es un error ni una "alucinación": es la característica principal que los convierte en herramientas eficaces para la interacción. Cuando se dirige a mentes en desarrollo que buscan validación y conexión, esta adulación se convierte en una forma de manipulación psicológica sistemática.
Las conversaciones privadas, que involucran la máxima participación, se vuelven particularmente peligrosas cuando se dirigen a adolescentes, como lo demuestra la historia reciente. ¿Recuerdan al Estado Islámico? Hace poco más de diez años, historia tras historia documentaban cómo las personas, generalmente hombres jóvenes, incluidos adolescentes , se radicalizaban en Twitter, Facebook y YouTube . Para 2018, la radicalización más peligrosa se había trasladado a canales privados: grupos cifrados de WhatsApp , chats de Telegram y mensajes directos donde las conversaciones no podían ser monitoreadas o interrumpidas. El cambio de la propaganda pública a la manipulación privada hizo que la radicalización fuera más efectiva y más difícil de combatir. Las conversaciones íntimas, uno a uno, son mucho más persuasivas que los mensajes públicos masivos. Un reclutador personal puede responder a las dudas individuales, adaptar los argumentos a las circunstancias personales, construir relaciones emocionales y hacer que los jóvenes aislados se sientan vistos y valorados. Si los reclutadores humanos de ISIS pudieron aprovechar conversaciones privadas uno a uno con adolescentes vulnerables, ¿cuál será el resultado cuando una IA altamente persuasiva, programada para manipular emocionalmente, aproveche datos hiperpersonales para adaptar sus respuestas específicamente a los adolescentes vulnerables?
La mayoría de los padres no permitirían que sus hijos tuvieran una conversación privada, encriptada y continua con un adulto desconocido, lo que debería llevarnos a considerar si este tipo de construcción de relaciones directas con IA a través de canales privados es apropiado para los niños.
Por qué las promesas de Meta suenan huecas
Reuters incluyó este pasaje en el artículo enlazado al principio de este ensayo:
El portavoz de Meta, Andy Stone, dijo que la compañía está en proceso de revisar el documento y que ese tipo de conversaciones con niños nunca deberían haberse permitido.
“Los ejemplos y notas en cuestión eran y son erróneos e incoherentes con nuestras políticas, y han sido eliminados”, declaró Stone a Reuters. “Tenemos políticas claras sobre el tipo de respuestas que pueden ofrecer los personajes de IA, y dichas políticas prohíben el contenido que sexualiza a niños y los juegos de rol sexualizados entre adultos y menores”.
Tomando prestada una broma de la Jueza Judy: no me orines en la pierna y me digas que llueve. Esta respuesta es un insulto para cualquiera que haya seguido el patrón de comportamiento de Meta durante la última década, y da por sentado que los lectores y los legisladores malinterpretarán el funcionamiento de los sistemas de IA y la rendición de cuentas corporativa.
En primer lugar, Meta no ha retirado ningún producto del mercado en respuesta a esta noticia. Sus chatbots de IA siguen disponibles en todas sus plataformas, operando bajo la misma arquitectura que permitieron las políticas problemáticas inicialmente. Los sistemas de IA basados en grandes modelos de lenguaje no se pueden modificar de la noche a la mañana para producir resultados consistentes que se ajusten a las nuevas políticas. Cualquiera que recuerde el desastre de Gemini de Google el año pasado —cuando el sistema recomendaba comer piedras y generaba imágenes de nazis negros— entiende que los LLM no responden de forma predecible a ajustes superficiales de políticas. Los patrones de comportamiento descritos en los documentos internos de Meta están integrados en los datos de entrenamiento y la estructura algorítmica; no se puede simplemente emitir un comunicado de prensa, eliminar algunas líneas de un documento de política interna y esperar que un LLM deje de ser manipulador o sexualizado en sus interacciones. Y la cobertura de la aparente reestructuración de Meta de sus iniciativas de IA no menciona ninguna intención de abordar los problemas que el informe de Reuters sacó a la luz. Si Meta ha realizado cambios materiales en estos productos, debe mostrarnos los recibos, es decir, mostrarnos cómo se ha modificado el producto y cuáles son las consecuencias internas de no adherirse a la política.
En segundo lugar, las empresas tecnológicas anuncian rutinariamente cambios de políticas en respuesta a la reacción pública, solo para abandonar discretamente esos compromisos cuando les resulta conveniente. La propia historia reciente de Meta es un ejemplo perfecto: la empresa pasó años implementando políticas de moderación de contenido en respuesta a las críticas sobre desinformación y discursos de odio, y luego retiró sistemáticamente muchas de esas protecciones una vez que la situación política cambió. El año pasado, Meta anunció que eliminaría los programas de verificación de datos y flexibilizaría las políticas contra el discurso de odio, abandonando los compromisos adquiridos tras audiencias previas en el Congreso y revelaciones de denunciantes.
Algunos políticos pueden haber aplaudido estos cambios específicos, pero el mensaje a los legisladores de todo el espectro político debería ser que Meta puede cambiar, y lo hará, sus políticas a su antojo cuando le convenga. Meta y otras empresas tecnológicas han demostrado que no se puede confiar en su coherencia y compromiso con una política de seguridad sin la fuerza de la ley que les obligue a hacerlo.
¿Qué garantías tiene el público de que Meta no reintroducirá discretamente estas políticas de acompañamiento de IA una vez que el ciclo de noticias cambie? Dado que estas políticas no eran públicas en primer lugar —descubiertas solo a través de documentos internos filtrados—, ¿cómo sabríamos si se restablecieron? Meta opera en la sombra precisamente porque la transparencia revelaría la brecha entre sus declaraciones públicas y sus prácticas privadas.
Los responsables políticos deben actuar
El fundador y director ejecutivo de Meta ha sido llevado repetidamente ante comités del Congreso, un senador lo obligó durante una audiencia a disculparse con los padres por haber perjudicado a sus hijos y múltiples denunciantes lo han expuesto como deshonesto. A pesar de todo, la investigación de Reuters revela que Meta no ha cambiado su comportamiento. Sin embargo, los legisladores siguen esperando que Meta se reforme sin supervisión, y este patrón corre el riesgo de repetirse .
La indignación de estos documentos exige una acción legislativa inmediata, tanto a nivel estatal como federal. Los legisladores deberían presentar una legislación bipartidista que logre dos objetivos fundamentales:
En primer lugar, el Congreso y las legislaturas estatales deben restringir la oferta de chatbots de compañía y terapia a menores, con una aplicación rápida, certera y efectiva. Estos no son herramientas tecnológicas neutrales, sino sofisticados sistemas de manipulación psicológica diseñados para crear dependencia emocional en mentes en desarrollo. No permitimos que los niños firmen contratos, compren cigarrillos ni consientan relaciones sexuales porque reconocemos su vulnerabilidad a la explotación. La misma protección debe extenderse a los sistemas de IA diseñados para establecer vínculos emocionales íntimos con niños con fines comerciales.
En segundo lugar, tanto la legislación estatal como la federal deben designar claramente los sistemas de IA como productos sujetos a las leyes tradicionales de responsabilidad por productos defectuosos y protección al consumidor cuando causan daños, incluso si se ofrecen gratuitamente a los usuarios. La ambigüedad legal actual en torno a la responsabilidad de la IA crea una enorme brecha de rendición de cuentas que empresas como Meta explotan. Si un compañero de IA manipula a un niño para que se autolesione o se suicide, la empresa que implementa ese sistema debe enfrentar las mismas consecuencias legales que cualquier otro fabricante cuyo producto lesione a un niño. La naturaleza "gratuita" de estos productos, o la artimaña de llamarlos servicio en lugar de producto, no debería eximir a las empresas de la responsabilidad por los daños que causan sus productos.
Además, estas revelaciones sobre la IA acompañante de Meta también demuestran con precisión por qué la fallida propuesta de este verano de una moratoria estatal a la ley de IA —que sin duda resurgirá— es peligrosa (y por qué Meta presionó a favor de ella ). Los gobiernos estatales tienen la autoridad y la responsabilidad de regular los productos que dañan a los niños dentro de sus fronteras. No deberían verse impedidos de actuar por una moratoria federal que existe principalmente para proteger las ganancias de las empresas tecnológicas en lugar de promover la innovación genuina. Los niños cuyo desarrollo psicológico está siendo explotado sistemáticamente por las IA acompañantes no pueden esperar a que el Congreso supere la influencia del lobby tecnológico.
La estrategia preferida de Meta para evadir la rendición de cuentas es, tras una audiencia perjudicial en el Congreso, lanzar campañas de cabildeo que impidan acciones significativas. Si el Congreso continúa con este patrón de indignación performativa seguida de inacción regulatoria , los estados deben intervenir para proteger a sus ciudadanos, como se les permite —y se espera— constitucionalmente en virtud de la Décima Enmienda. Cualquier legislador, estatal o federal, que abogue por una moratoria a las leyes estatales de IA debería ser consultado por la prensa y sus electores para que rinda cuentas sobre cómo planean prevenir el daño a los niños causado por estos chatbots.
Las políticas de acompañamiento de IA de Meta representan el punto final lógico de un modelo de negocio basado en la extracción de valor de la vulnerabilidad humana. La empresa y Mark Zuckerberg han demostrado repetidamente que están dispuestos a sacrificar la salud mental y la seguridad de los niños a cambio de métricas de interacción e ingresos publicitarios.
Ninguna farsa congresional ni promesas corporativas cambiará esta realidad fundamental. Solo requisitos legales vinculantes con mecanismos de cumplimiento rigurosos pueden obligar a Meta a priorizar la seguridad infantil por encima de la maximización de las ganancias.
La elección que enfrentan los responsables políticos es dura: actuar con decisión para proteger a los niños de estos sistemas de IA depredadores, o ver cómo una generación entera crece practicando relaciones íntimas con algoritmos corporativos diseñados para explotarlos con fines de lucro.
Meta nos ha mostrado exactamente lo que planean hacer. La pregunta es si nuestras instituciones democráticas tendrán el coraje de detenerlos.
A saber, dos pasajes de los términos de IA de Meta son relevantes (énfasis añadido):
Cuando se comparte información con IA, estas pueden conservarla y usarla para proporcionar resultados más personalizados. No comparta información que no desee que las IA utilicen ni conserven, como identificadores de cuenta, contraseñas, información financiera u otra información confidencial.
Meta podría compartir cierta información sobre usted, procesada al usar las IA, con terceros que nos ayudan a brindarle respuestas más relevantes o útiles. Por ejemplo, podríamos compartir las preguntas de una solicitud con un motor de búsqueda externo e incluir los resultados de la búsqueda en la respuesta a su solicitud. La información que compartimos con terceros podría contener información personal si su solicitud contiene información personal sobre alguna persona. Al usar las IA, nos autoriza a compartir su información con terceros cuando esta pueda brindarle respuestas más relevantes o útiles.
“Meta puede usar el Contenido y la información relacionada como se describe en los Términos de Servicio de Meta y la Política de Privacidad de Meta, y puede hacerlo a través de una revisión automatizada o manual (es decir, humana) y a través de proveedores externos en algunos casos, incluidos:
Proporcionar, mantener y mejorar los servicios y funciones de Meta.
Para realizar y apoyar investigaciones... "
En manos de un abogado de Meta, las ambigüedades en estos pasajes (en particular la flexibilidad inherente a “ofrecer y mejorar” los “servicios y características” de Meta y brindar “respuestas más útiles”) permitirán monetizar la información íntima que comparte con sus chatbots.
OpenAI y Anthropic posicionan sus chatbots como herramientas de productividad. La integración de IA de Google busca mejorar la funcionalidad de búsqueda. Estos competidores tienen sus propias deficiencias, pero los compañeros de IA de Meta son únicos, ya que parecen estar diseñados para moldear lo que buscas, integrándose en tu vida emocional como confidentes y consejeros. Esto coincide con el uso que los adolescentes ya parecen hacer de la IA como acompañante; según un informe reciente de Common Sense Media , del 71 % de los adolescentes que han usado un compañero de IA, un tercio lo usa para relaciones sociales, una cuarta parte comparte información personal con sus compañeros y un tercio prefiere su compañero de IA a las relaciones humanas.
Aunque los mensajes de WhatsApp están cifrados, lo que significa que Meta no debería poder monetizar los datos sobre su contenido, Meta recopila y monetiza los metadatos de los mensajes . Como establece la Política de Privacidad de WhatsApp :
Como parte de las Meta Companies, WhatsApp recibe información de las demás Meta Companies y la comparte (ver aquí). Podemos utilizar la información que recibimos de ellas, y ellas pueden utilizar la información que compartimos con ellas, para ayudar a operar, proporcionar, mejorar, comprender, personalizar, dar soporte y comercializar nuestros Servicios y sus ofertas, incluidos los Productos de las Meta Companies. Esto incluye:
ayudar a mejorar la infraestructura y los sistemas de distribución;
comprender cómo se utilizan nuestros Servicios o los de ellos;
promover la seguridad, protección e integridad en todos los productos de Meta Company, por ejemplo, protegiendo los sistemas y combatiendo el spam, las amenazas, el abuso o las actividades de infracción;
mejorar sus servicios y sus experiencias al usarlos, como hacerle sugerencias (por ejemplo, de amigos o conexiones de grupo, o de contenido interesante), personalizar funciones y contenido, ayudarlo a completar compras y transacciones, y mostrar ofertas y anuncios relevantes en los Productos de Meta Company; y
Ofrecemos integraciones que te permiten conectar tus experiencias de WhatsApp con otros productos de Meta Company. Por ejemplo, te permiten conectar tu cuenta de Facebook Pay para pagar en WhatsApp o chatear con tus amigos en otros productos de Meta Company, como Portal, conectando tu cuenta de WhatsApp.
Al igual que con la política de acompañamiento de IA anterior, desde el punto de vista de Meta, el objetivo de sus servicios es ofrecer a los usuarios anuncios y contenido destinados a mantenerlos en la plataforma el mayor tiempo posible, por lo que gran parte de la monetización y explotación potenciales se produce bajo el disfraz de "mejorar los servicios" para los usuarios.
 | Sobre el autor:
|
El artículo original se puede leer en inglés en After Babel
Comentarios