Cómo Facebook se volvió adicto a difundir información errónea

Los algoritmos de inteligencia artificial de la empresa le dieron un hábito insaciable de mentiras y discursos de odio. Ahora el hombre que los construyó no puede solucionar el problema.

Joaquín Quiñonero Candela, director de IA en Facebook, se disculpaba con su audiencia.

Por Karen Hao / Marzo 1, 2021

Traducido por L. Domenech

Era el 23 de marzo de 2018, pocos días después de la revelación de que Cambridge Analytica, una consultora que trabajó en la campaña de las elecciones presidenciales de 2016  de Donald Trump, había desviado subrepticiamente los datos personales de decenas de millones de estadounidenses de sus cuentas de Facebook en un intento de influir en cómo ellos votaron. Fue la mayor violación de la privacidad en la historia de Facebook, y previamente se había programado que Quiñonero hablara en una conferencia sobre, entre otras cosas, "la intersección de la inteligencia artificial, la ética y la privacidad" en la empresa. Consideró cancelarla, pero después de debatirlo con su director de comunicaciones, mantuvo su tiempo asignado.

Cuando se acercó a la sala, comenzó con una admisión. “Acabo de tener los cinco días más difíciles de mi mandato en Facebook”, recuerda haber dicho. "Si hay críticas, las acepto".

El escándalo de Cambridge Analytica desencadenaría la mayor crisis publicitaria de la historia de Facebook. Aumentaba los temores de que los algoritmos que determinan lo que la gente ve en la plataforma estuvieran amplificando las noticias falsas y el discurso de odio, y que los piratas informáticos rusos los habían armado para intentar influir en las elecciones a favor de Trump. Millones comenzaron a eliminar la aplicación; los empleados se fueron en protesta; La capitalización de mercado de la compañía se desplomó en más de $ 100 mil millones después de su llamada de ganancias de julio.

En los meses siguientes, Mark Zuckerberg comenzó a disculparse por sí mismo. Se disculpó por no tener "una visión lo suficientemente amplia" de las responsabilidades de Facebook y por sus errores como director ejecutivo. Internamente, Sheryl Sandberg, directora de operaciones, inició una auditoría de derechos civiles de dos años para recomendar formas en que la empresa podría evitar el uso de su plataforma para socavar la democracia.

Finalmente, Mike Schroepfer, director de tecnología de Facebook, le pidió a Quiñonero que iniciara un equipo con una directiva un poco vaga: examinar el impacto social de los algoritmos de la empresa. El grupo se denominó a sí mismo Society and AI Lab (SAIL); el año pasado se combinó con otro equipo que trabajaba en cuestiones de privacidad de datos para formar una IA responsable.

Quiñonero fue una elección natural para el trabajo. Él, tanto como cualquiera, fue el responsable de la posición de Facebook como una potencia de inteligencia artificial. En sus seis años en Facebook, había creado algunos de los primeros algoritmos para dirigirse a los usuarios con contenido adaptado con precisión a sus intereses, y luego había difundido esos algoritmos en toda la empresa. Ahora su mandato sería hacerlos menos dañinos.

Facebook ha señalado constantemente los esfuerzos de Quiñonero y otros en su búsqueda de reparar su reputación. Regularmente saca a la luz a varios líderes para hablar con los medios de comunicación sobre las reformas en curso. En mayo de 2019, otorgó una serie de entrevistas con Schroepfer al New York Times, que premió a la compañía con un perfil humanizador de un ejecutivo sensible y bien intencionado que se esfuerza por superar los desafíos técnicos de filtrar la desinformación y el discurso de odio de un flujo de contenido que ascendía a miles de millones de piezas al día. Estos desafíos son tan difíciles que Schroepfer se emociona, escribió el Times: "A veces eso lo hace llorar".

En la primavera de 2020, aparentemente fue mi turno. Ari Entin, director de comunicaciones de IA de Facebook, me preguntó en un correo electrónico si quería profundizar en el trabajo de IA de la empresa. Después de hablar con varios de sus líderes de IA, decidí concentrarme en Quiñonero. Entin felizmente agradecido, no solo como líder del equipo de IA responsable, sino también como el hombre que había convertido a Facebook en una empresa impulsada por la inteligencia artificial, Quiñonero era una opción sólida para usar como un cartelista.

También me pareció una elección natural el tema. En los años transcurridos desde que formó su equipo tras el escándalo de Cambridge Analytica, las preocupaciones sobre la propagación de mentiras y discursos de odio en Facebook solo habían aumentado. A fines de 2018, la compañía admitió que esta actividad había ayudado a impulsar una campaña genocida antimusulmana en Myanmar durante varios años. En 2020, Facebook comenzó a tomar medidas tardías contra los negadores del Holocausto, los anti-vacunas y el movimiento de conspiración QAnon. Todas estas peligrosas falsedades estaban haciendo metástasis gracias a las capacidades de inteligencia artificial que Quiñonero había ayudado aconstruir. Los algoritmos que sustentan el negocio de Facebook no se crearon para filtrar lo que era falso o inflamatorio; Fueron diseñados para hacer que las personas compartan y se involucren con la mayor cantidad de contenido posible mostrándoles cosas que probablemente les indignan o excitan. Solucionar este problema, para mí, me parecía un territorio central de la IA responsable.

Comencé a hacer videollamadas a Quiñonero con regularidad. También hablé con ejecutivos de Facebook, empleados actuales y anteriores, pares de la industria y expertos externos. Muchos hablaron bajo condición de anonimato porque habían firmado acuerdos de no divulgación o temían represalias. Quería saber: ¿Qué estaba haciendo el equipo de Quiñonero para frenar el odio y las mentiras en su plataforma?

Pero Entin y Quiñonero tenían una agenda diferente. Cada vez que traté de mencionar estos temas, mis solicitudes para hablar sobre ellos fueron descartadas o redirigidas. Solo querían discutir el plan del equipo de IA responsable para abordar un tipo específico de problema: el sesgo de la IA, en el que los algoritmos discriminan a grupos de usuarios particulares. Un ejemplo sería un algoritmo de segmentación de anuncios que muestre determinadas oportunidades laborales o de vivienda a los blancos, pero no a las minorías.

Para cuando miles de alborotadores irrumpieron en el Capitolio de los Estados Unidos en enero, organizados en parte en Facebook y alimentados por las mentiras sobre una elección robada que se había extendido por toda la plataforma, estaba claro por mis conversaciones que el equipo de IA responsable no había logrado hacer avances contra la desinformación y la incitación al odio porque nunca había hecho de esos problemas su foco principal. Más importante, me di cuenta de que si lo intentaba, estaría preparado para el fracaso.

La razón es simple. Todo lo que la empresa hace y decide no hacer surge de una única motivación: el incansable deseo de crecimiento de Zuckerberg. La experiencia de Quiñonero en IA impulsó ese crecimiento. Su equipo se encasilló en apuntar al sesgo de la IA, como aprendí en mi informe, porque prevenir tal sesgo ayuda a la empresa a evitar la regulación propuesta que, si se aprueba, podría obstaculizar ese crecimiento. El liderazgo de Facebook también ha debilitado o detenido repetidamente muchas iniciativas destinadas a limpiar la información errónea en la plataforma porque hacerlo socavaría ese crecimiento.

En otras palabras, el trabajo del equipo de IA responsable, cualesquiera que sean sus méritos en el problema específico de abordar el sesgo de la IA, es esencialmente irrelevante para solucionar los problemas más importantes de desinformación, extremismo y polarización política. Y somos todos los que pagamos el precio.

"Cuando estás en el negocio de maximizar el compromiso, no estás interesado en la verdad. No le interesa el daño, la división, la conspiración. De hecho, esos son tus amigos ”, dice Hany Farid, profesor de la Universidad de California, Berkeley, que colabora con Facebook para comprender la información errónea basada en imágenes y videos en la plataforma.

“Siempre hacen lo justo para poder publicar el comunicado de prensa. Pero con algunas excepciones, no creo que realmente se traduzca en mejores políticas. En realidad, nunca están lidiando con los problemas fundamentales ".

En marzo de 2012, Quiñonero visitó a un amigo en el Área de la Bahía. En ese momento, era gerente de la oficina de Microsoft Research en el Reino Unido y dirigía un equipo que usaba el aprendizaje automático para lograr que más visitantes hicieran clic en los anuncios mostrados por el motor de búsqueda de la empresa, Bing. Su experiencia era escasa y el equipo tenía menos de un año. El aprendizaje automático, un subconjunto de la inteligencia artificial, aún tenía que probarse a sí mismo como una solución a los problemas de la industria a gran escala. Pocos gigantes tecnológicos habían invertido en la tecnología.

El amigo de Quiñonero quería presumir de su nuevo empleador, una de las startups más calientes de Silicon Valley: Facebook, que entonces tenía ocho años y que ya contaba con cerca de mil millones de usuarios activos mensuales (es decir, aquellos que han iniciado sesión al menos una vez en los últimos 30 dias). Mientras Quiñonero caminaba por su sede de Menlo Park, vio a un ingeniero solitario hacer una actualización importante en el sitio web, algo que habría involucrado una burocracia significativa en Microsoft. Fue una introducción memorable al espíritu de Zuckerberg "Muévete rápido y rompe cosas". Quiñonero estaba asombrado por las posibilidades. En una semana, había pasado por entrevistas y había firmado una oferta para unirse a la empresa.

Su llegada no podría haber sido mejor programada. El servicio de anuncios de Facebook se encontraba en medio de una rápida expansión mientras la empresa se preparaba para su OPI de mayo. El objetivo era aumentar los ingresos y enfrentarse a Google, que tenía la mayor parte del mercado de la publicidad online. El aprendizaje automático, que podría predecir qué anuncios resonarían mejor con qué usuarios y, por lo tanto, los haría más efectivos, podría ser la herramienta perfecta. Poco después de comenzar, Quiñonero fue ascendido a la dirección de un equipo similar al que había dirigido en Microsoft.

A diferencia de los algoritmos tradicionales, que son los algoritmos de aprendizaje automático, codificados de forma rígida por los ingenieros, se “entrenan” con los datos de entrada para aprender las correlaciones dentro de ellos. El algoritmo entrenado, conocido como modelo de aprendizaje automático, puede automatizar decisiones futuras. Un algoritmo entrenado en datos de clics en anuncios, por ejemplo, podría aprender que las mujeres hacen clic en anuncios de mallas de yoga con más frecuencia que los hombres. El modelo resultante luego servirá más de esos anuncios a las mujeres. En la actualidad, en una empresa basada en inteligencia artificial como Facebook, los ingenieros generan innumerables modelos con ligeras variaciones para ver cuál funciona mejor en un problema determinado.

La enorme cantidad de datos de usuarios de Facebook le dio a Quiñonero una gran ventaja. Su equipo pudo desarrollar modelos que aprendieran a inferir la existencia no solo de categorías amplias como "mujeres" y "hombres", sino de categorías muy detalladas como "mujeres de entre 25 y 34 años a las que les gustaban las páginas de Facebook relacionadas con el yoga" y orientadas anuncios para ellos. Cuanto más fina sea la orientación, mayores serán las posibilidades de un clic, lo que daría a los anunciantes un mayor rendimiento por su inversión.

En un año, su equipo había desarrollado estos modelos, así como las herramientas para diseñar e implementar otros nuevos más rápidamente. Antes, a los ingenieros de Quiñonero les había tomado de seis a ocho semanas construir, entrenar y probar un nuevo modelo. Ahora solo le hizo falta uno.

La noticia del éxito se difundió rápidamente. El equipo que trabajó para determinar qué publicaciones verían los usuarios individuales de Facebook en sus fuentes de noticias personales quería aplicar las mismas técnicas. Así como los algoritmos podrían entrenarse para predecir quién haría clic en qué anuncio, también podrían entrenarse para predecir a quién le gustaría o compartir qué publicación, y luego dar más prominencia a esas publicaciones. Si el modelo determinaba que a una persona realmente le gustaban los perros, por ejemplo, las publicaciones de amigos sobre perros aparecerían más arriba en las noticias de ese usuario.

El éxito de Quiñonero con las noticias, junto con una nueva e impresionante investigación de inteligencia artificial que se está llevando a cabo fuera de la empresa, llamó la atención de Zuckerberg y Schroepfer. Facebook ahora tenía poco más de mil millones de usuarios, lo que la hacía más de ocho veces más grande que cualquier otra red social, pero querían saber cómo continuar con ese crecimiento. Los ejecutivos decidieron invertir fuertemente en inteligencia artificial, conectividad a Internet y realidad virtual.

Crearon dos equipos de IA. Uno era FAIR, un laboratorio de investigación fundamental que haría avanzar las capacidades de vanguardia de la tecnología. El otro, Applied Machine Learning (AML), integraría esas capacidades en los productos y servicios de Facebook. En diciembre de 2013, después de meses de cortejo y persuasión, los ejecutivos reclutaron a Yann LeCun, uno de los nombres más importantes en el campo, para liderar FAIR. Tres meses después, Quiñonero fue ascendido nuevamente, esta vez para liderar AML. (Más tarde pasó a llamarse FAIAR, pronunciado "fuego").

"Así es como sabes lo que está en su mente. Siempre estuve, durante un par de años, a unos pasos del escritorio de Mark ". Joaquín Quiñonero Candela

En su nuevo rol, Quiñonero construyó una nueva plataforma de desarrollo de modelos para que cualquiera en Facebook pudiera acceder. Llamado FBLearner Flow, permitió a los ingenieros con poca experiencia en IA entrenar e implementar modelos de aprendizaje automático en unos días. A mediados de 2016, estaba en uso por más de una cuarta parte del equipo de ingeniería de Facebook y ya se había utilizado para capacitar a más de un millón de modelos, incluidos modelos para el reconocimiento de imágenes, la orientación de anuncios y la moderación de contenido.

La obsesión de Zuckerberg por lograr que todo el mundo usara Facebook había encontrado una nueva y poderosa arma. Los equipos habían usado anteriormente tácticas de diseño, como experimentar con el contenido y la frecuencia de las notificaciones, para tratar de enganchar a los usuarios de manera más efectiva. Su objetivo, entre otras cosas, era aumentar una métrica llamada L6 / 7, la fracción de personas que iniciaron sesión en Facebook seis de los siete días anteriores. L6 / 7 es solo una de las innumerables formas en que Facebook ha medido el "compromiso": la propensión de las personas a usar su plataforma de cualquier manera, ya sea publicando cosas, comentando sobre ellas, dándole Me gusta o compartiéndolas, o simplemente mirándolas. . Ahora, cada interacción del usuario, una vez analizada por ingenieros, estaba siendo analizada por algoritmos. Esos algoritmos estaban creando ciclos de retroalimentación mucho más rápidos y personalizados para ajustar y adaptar el servicio de noticias de cada usuario para seguir aumentando los números de participación.

Zuckerberg, quien estaba sentado en el centro del Edificio 20, la oficina principal en la sede de Menlo Park, colocó a los nuevos equipos FAIR y AML a su lado. Muchos de los empleados originales de AI estaban tan cerca que su escritorio y el de ellos prácticamente se tocaban. Era "el santuario interior", dice un exlíder de la organización de inteligencia artificial (la rama de Facebook que contiene todos sus equipos de inteligencia artificial), que recuerda al director ejecutivo arrastrando a las personas dentro y fuera de su vecindad a medida que ganaban o perdían su favor. “Así es como sabes lo que tiene en mente”, dice Quiñonero. "Siempre estuve, durante un par de años, a unos pasos del escritorio de Mark".

Con nuevos modelos de aprendizaje automático que se ponen en línea todos los días, la compañía creó un nuevo sistema para rastrear su impacto y maximizar la participación de los usuarios. El proceso sigue siendo el mismo hoy. Los equipos entrenan un nuevo modelo de aprendizaje automático en FBLearner, ya sea para cambiar el orden de clasificación de las publicaciones o para captar mejor el contenido que viola los estándares de la comunidad de Facebook (sus reglas sobre lo que está y no está permitido en la plataforma). Luego, prueban el nuevo modelo en un pequeño subconjunto de usuarios de Facebook para medir cómo cambia las métricas de participación, como la cantidad de me gusta, comentarios y acciones, dice Krishna Gade, quien se desempeñó como gerente de ingeniería para el suministro de noticias de 2016 a 2018. 

Si un modelo reduce demasiado la participación, se descarta. De lo contrario, se implementa y se monitorea continuamente. En Twitter, Gade explicó que sus ingenieros recibirían notificaciones cada pocos días cuando métricas como me gusta o comentarios estuvieran bajas. Luego descifrarían qué había causado el problema y si algún modelo necesitaba reentrenamiento.

Pero este enfoque pronto causó problemas. Los modelos que maximizan el compromiso también favorecen la controversia, la desinformación y el extremismo: en pocas palabras, a la gente le gustan las cosas escandalosas. A veces, esto enciende las tensiones políticas existentes. El ejemplo más devastador hasta la fecha es el caso de Myanmar, donde las noticias falsas virales y el discurso de odio sobre la minoría musulmana rohingya llevaron el conflicto religioso del país a un genocidio en toda regla. Facebook admitió en 2018, después de años de restar importancia a su papel, que no había hecho lo suficiente "para ayudar a evitar que nuestra plataforma se utilice para fomentar la división e incitar a la violencia fuera de línea".

Si bien Facebook pudo haber sido ajeno a estas consecuencias al principio, las estaba estudiando en 2016. En una presentación interna de ese año, revisada por el Wall Street Journal, una investigadora de la compañía, Monica Lee, descubrió que Facebook no solo albergaba un gran cantidad de grupos extremistas, sino que  también los promocionaba entre sus usuarios: "El 64% de todas las uniones a grupos extremistas se deben a nuestras herramientas de recomendación", decía la presentación, principalmente gracias a los modelos detrás de los "Grupos a los que debes unirte" y "Descubrir". características.

"La pregunta para el liderazgo era: ¿Deberíamos optimizar la participación si descubre que alguien se encuentra en un estado mental vulnerable?"

Un ex investigador de IA que se incorporó en 2018

En 2017, Chris Cox, director de productos de Facebook desde hace mucho tiempo, formó un nuevo grupo de trabajo para comprender si maximizar la participación de los usuarios en Facebook estaba contribuyendo a la polarización política. Encontró que, de hecho, había una correlación y que reducir la polarización significaría tener un impacto en el compromiso. En un documento de mediados de 2018 revisado por el Journal, el grupo de trabajo propuso varias soluciones potenciales, como ajustar los algoritmos de recomendación para sugerir una gama más diversa de grupos a los que las personas se unan. Pero reconoció que algunas de las ideas eran de "anti-crecimiento". La mayoría de las propuestas no prosperaron y el grupo de trabajo se disolvió.

Desde entonces, otros empleados han corroborado estos hallazgos. Un ex investigador de inteligencia artificial de Facebook que se unió en 2018 dice que él y su equipo realizaron "estudio tras estudio" confirmando la misma idea básica: los modelos que maximizan el compromiso aumentan la polarización. Podían rastrear fácilmente la medida en que los usuarios estaban de acuerdo o en desacuerdo en diferentes temas, con qué contenido les gustaba interactuar y cómo cambiaron sus posturas como resultado. Independientemente del tema, los modelos aprendieron a alimentar a los usuarios con puntos de vista cada vez más extremos. “Con el tiempo, se vuelven más polarizados de manera apreciable”, dice.

El equipo de investigadores también descubrió que los usuarios con tendencia a publicar contenido melancólico o interactuar con él, un posible signo de depresión, podrían fácilmente consumir material cada vez más negativo que corría el riesgo de empeorar aún más su salud mental. El equipo propuso ajustar los modelos de clasificación de contenido para que estos usuarios dejen de maximizar el compromiso solo, de modo que se les muestre menos cosas deprimentes. "La pregunta para el liderazgo era: ¿Deberíamos optimizar la participación si descubre que alguien se encuentra en un estado mental vulnerable?" recuerda. (Un portavoz de Facebook dijo que no pudo encontrar documentación para esta propuesta).

Pero cualquier cosa que redujera el compromiso, incluso por razones tales como no exacerbar la depresión de alguien, provocó muchas críticas y críticas entre los líderes. Con sus revisiones de desempeño y salarios vinculados a la finalización exitosa de proyectos, los empleados aprendieron rápidamente a eliminar aquellos que recibieron rechazo y continuar trabajando en los dictados de arriba hacia abajo.

Uno de estos proyectos impulsado fuertemente por los líderes de la empresa implicó predecir si un usuario podría estar en riesgo por algo que varias personas ya habían hecho: transmitir en vivo su propio suicidio en Facebook Live. La tarea implicó la construcción de un modelo para analizar los comentarios que otros usuarios publicaban en un video después de su publicación, y llamar la atención de los usuarios en riesgo de revisores capacitados de la comunidad de Facebook, quienes podrían llamar a los servicios de emergencia locales para que hicieran un chequeo de bienestar. No requirió ningún cambio en los modelos de clasificación de contenido, tuvo un impacto insignificante en la participación y evitó de manera efectiva la prensa negativa. También era casi imposible, dice el investigador: “Es más un truco de relaciones públicas. La eficacia de tratar de determinar si alguien se suicidará en los próximos 30 segundos, basándose en los primeros 10 segundos del análisis de video, no será muy efectivo ".

Facebook cuestiona esta caracterización, diciendo que el equipo que trabajó en este esfuerzo desde entonces predijo con éxito qué usuarios estaban en riesgo y aumentó la cantidad de controles de bienestar realizados. Pero la compañía no publica datos sobre la precisión de sus predicciones o cuántos controles de bienestar resultaron ser emergencias reales.

Mientras tanto, ese exempleado ya no deja que su hija use Facebook.

Quiñonero debería haber estado perfectamente ubicado para abordar estos problemas cuando creó el equipo SAIL (más tarde Responsible AI) en abril de 2018. Su tiempo como director de Applied Machine Learning lo había familiarizado íntimamente con los algoritmos de la empresa, especialmente los que se utilizan para recomendar publicaciones, anuncios y otro contenido para los usuarios.

También parecía que Facebook estaba dispuesto a tomarse estos problemas en serio. Mientras que los esfuerzos anteriores para trabajar en ellos se habían dispersado por toda la empresa, ahora se le estaba otorgando a Quiñonero un equipo centralizado con libertad de acción en su mandato para trabajar en lo que creara conveniente en la intersección de la inteligencia artificial y la sociedad.

En ese momento, Quiñonero estaba participando en su propia reeducación sobre cómo ser un tecnólogo responsable. El campo de la investigación de la inteligencia artificial estaba prestando cada vez más atención a los problemas de sesgo y responsabilidad de la inteligencia artificial a raíz de estudios de alto perfil que mostraban que, por ejemplo, un algoritmo calificaba a los acusados ​​negros como más propensos a ser arrestados que a los acusados ​​blancos que habían sido arrestados. por la misma infracción o por una infracción más grave. Quiñonero comenzó a estudiar la literatura científica sobre equidad algorítmica, leyendo libros sobre ingeniería ética e historia de la tecnología y hablando con expertos en derechos civiles y filósofos morales.

Durante las muchas horas que pasé con él, me di cuenta de que se lo tomó en serio. Se había unido a Facebook en medio de la Primavera Árabe, una serie de revoluciones contra los regímenes opresivos del Medio Oriente. Los expertos elogiaron las redes sociales por difundir la información que alimentó los levantamientos y brindar a las personas herramientas para organizarse. Nacido en España pero criado en Marruecos, donde había visto la supresión de la libertad de expresión de primera mano, Quiñonero sintió una intensa conexión con el potencial de Facebook como una fuerza para el bien.

Seis años después, Cambridge Analytica había amenazado con anular esta promesa. La controversia lo obligó a confrontar su fe en la empresa y examinar qué significaría quedarse para su integridad. “Creo que lo que le sucede a la mayoría de las personas que trabajan en Facebook, y definitivamente ha sido mi historia, es que no hay límite entre Facebook y yo”, dice. "Es extremadamente personal". Pero eligió quedarse y dirigirse a SAIL, porque creía que podía hacer más por el mundo ayudando a cambiar la empresa que dejándola atrás.

"Creo que si estás en una empresa como Facebook, especialmente en los últimos años, realmente te das cuenta del impacto que tienen tus productos en la vida de las personas, en lo que piensan, cómo se comunican, cómo interactúan entre sí". dice el viejo amigo de Quiñonero, Zoubin Ghahramani, quien ayuda a liderar el equipo de Google Brain. “Sé que Joaquín se preocupa profundamente por todos los aspectos de esto. Como alguien que se esfuerza por lograr mejores y mejorar las cosas, ve el papel importante que puede tener en la configuración tanto del pensamiento como de las políticas en torno a la IA responsable ".

Al principio, SAIL tenía solo cinco personas, que provenían de diferentes partes de la empresa, pero todas estaban interesadas en el impacto social de los algoritmos. Una miembro fundadora, Isabel Kloumann, una científica investigadora que provenía del equipo central de ciencia de datos de la empresa, trajo consigo una versión inicial de una herramienta para medir el sesgo en los modelos de IA.

El equipo también hizo una lluvia de ideas sobre muchas otras ideas para proyectos. El exlíder de la organización de AI, que estuvo presente en algunas de las primeras reuniones de SAIL, recuerda una propuesta para combatir la polarización. Implicó el uso del análisis de sentimientos, una forma de aprendizaje automático que interpreta la opinión en fragmentos de texto, para identificar mejor los comentarios que expresan puntos de vista extremos. Estos comentarios no se eliminarían, pero se ocultarían de forma predeterminada con una opción para revelarlos, lo que limitaría la cantidad de personas que los vieron.

Y hubo discusiones sobre qué papel podría desempeñar SAIL dentro de Facebook y cómo debería evolucionar con el tiempo. El sentimiento era que el equipo produciría primero pautas de IA responsable para decirle a los equipos de producto lo que deberían o no deberían hacer. Pero la esperanza era que, en última instancia, sirviera como el eje central de la empresa para evaluar proyectos de IA y detener aquellos que no siguieran las pautas.

Sin embargo, los fieles describieron lo difícil que podría ser conseguir la aceptación o el apoyo financiero cuando el trabajo no mejoraba directamente el crecimiento de Facebook. Por su naturaleza, el equipo no pensaba en el crecimiento y, en algunos casos, proponía ideas contrarias al crecimiento. Como resultado, recibió pocos recursos y languideció. Muchas de sus ideas se mantuvieron en gran parte académicas.

El 29 de agosto de 2018, eso cambió repentinamente. En el período previo a las elecciones de mitad de período en Estados Unidos, el presidente Donald Trump y otros líderes republicanos aumentaron las acusaciones de que Facebook, Twitter y Google tenían un sesgo anti-conservador. Afirmaron que los moderadores de Facebook en particular, al aplicar los estándares de la comunidad, estaban reprimiendo las voces conservadoras más que las liberales. Este cargo luego sería desacreditado, pero el hashtag #StopTheBias, impulsado por un tweet de Trump, se estaba extendiendo rápidamente en las redes sociales.

Para Trump, fue el último esfuerzo por sembrar desconfianza en los principales canales de distribución de información del país. Para Zuckerberg, amenazó con alienar a los usuarios conservadores de Facebook en Estados Unidos y hacer que la empresa sea más vulnerable a la regulación de un gobierno liderado por los republicanos. En otras palabras, amenazó el crecimiento de la empresa.

Facebook no me concedió una entrevista con Zuckerberg, pero informes anteriores han demostrado cómo complació cada vez más a Trump y al liderazgo republicano. Después de la elección de Trump, Joel Kaplan, vicepresidente de política pública global de Facebook y su republicano de más alto rango, aconsejó a Zuckerberg que actuara con cuidado en el nuevo entorno político.

El 20 de septiembre de 2018, tres semanas después del tuit #StopTheBias de Trump, Zuckerberg se reunió con Quiñonero por primera vez desde la creación de SAIL. Quería saber todo lo que Quiñonero había aprendido sobre el sesgo de la IA y cómo eliminarlo en los modelos de moderación de contenido de Facebook. Al final de la reunión, una cosa estaba clara: el sesgo de la IA era ahora la principal prioridad de Quiñonero. "El liderazgo ha sido muy, muy agresivo para asegurarse de que escalemos esto de manera agresiva", dice Rachad Alao, director de ingeniería de IA responsable que se unió en abril de 2019.

Fue una victoria para todos en la sala. Zuckerberg encontró una manera de evitar las acusaciones de sesgo anti-conservador. Y Quiñonero ahora tenía más dinero y un equipo más grande para mejorar la experiencia general de Facebook para los usuarios. Podrían aprovechar la herramienta existente de Kloumann para medir y corregir el supuesto sesgo anti-conservador en los modelos de moderación de contenido, así como para corregir otros tipos de sesgo en la gran mayoría de modelos de la plataforma.

Esto podría ayudar a evitar que la plataforma discrimine involuntariamente a ciertos usuarios. Para entonces, Facebook ya tenía miles de modelos ejecutándose al mismo tiempo, y casi ninguno había sido medido por sesgo. Eso lo metería en problemas legales unos meses después con el Departamento de Vivienda y Desarrollo Urbano (HUD) de EE. UU., Que alegó que los algoritmos de la compañía estaban infiriendo atributos "protegidos" como la raza a partir de los datos de los usuarios y mostrándoles anuncios de viviendas basados ​​en esos atributos: una forma ilegal de discriminación. (La demanda aún está pendiente). Schroepfer también predijo que el Congreso pronto aprobaría leyes para regular la discriminación algorítmica, por lo que Facebook necesitaba avanzar en estos esfuerzos de todos modos.

(Facebook cuestiona la idea de que prosiguió su trabajo sobre el sesgo de la IA para proteger el crecimiento o anticipándose a la regulación. "Creamos el equipo de IA responsable porque era lo correcto", dijo un portavoz).

Pero reducir el enfoque de SAIL a la equidad algorítmica dejaría de lado todos los otros problemas algorítmicos de larga data de Facebook. Sus modelos de recomendación de contenido continuarían impulsando publicaciones, noticias y grupos a los usuarios en un esfuerzo por maximizar el compromiso, recompensando el contenido extremista y contribuyendo a un discurso político cada vez más fracturado.

Zuckerberg incluso admitió esto. Dos meses después de la reunión con Quiñonero, en una nota pública que describe los planes de Facebook para la moderación de contenido, ilustró los efectos dañinos de la estrategia de participación de la empresa con un gráfico simplificado. Demostró que cuanto más probable es que una publicación viole los estándares de la comunidad de Facebook, más participación del usuario recibe, porque los algoritmos que maximizan la participación recompensan el contenido inflamatorio.

Un gráfico titulado "patrón de participación natural" que muestra el contenido permitido en el eje X, la participación en el eje Y y un aumento exponencial de la participación a medida que el contenido se acerca a la línea de la política para el contenido prohibido.

Pero luego mostró otro gráfico con la relación inversa. En lugar de recompensar el contenido que estuvo cerca de violar los estándares de la comunidad, escribió Zuckerberg, Facebook podría optar por comenzar a "penalizarlo", dándole "menos distribución y participación" en lugar de más. ¿Cómo se haría esto? Con más IA. Facebook desarrollaría mejores modelos de moderación de contenido para detectar este "contenido límite", de modo que podría ser empujado retroactivamente más abajo en las noticias para apagar su viralidad, dijo.

"ajustado para desalentar el contenido límite" que muestra el mismo gráfico pero la curva invertida para no alcanzar ningún compromiso cuando alcanza la línea de política.

El problema es que, a pesar de todas las promesas de Zuckerberg, esta estrategia es, en el mejor de los casos, frágil.

La desinformación y la incitación al odio evolucionan constantemente. Surgen nuevas falsedades; nuevas personas y grupos se convierten en objetivos. Para detectar cosas antes de que se vuelvan virales, los modelos de moderación de contenido deben poder identificar contenido nuevo no deseado con alta precisión. Pero los modelos de aprendizaje automático no funcionan de esa manera. Un algoritmo que ha aprendido a reconocer la negación del Holocausto no puede detectar de inmediato, digamos, la negación del genocidio rohingya. Debe entrenarse en miles, a menudo incluso millones, de ejemplos de un nuevo tipo de contenido antes de aprender a filtrarlo. Incluso entonces, los usuarios pueden aprender rápidamente a burlar el modelo haciendo cosas como cambiar la redacción de una publicación o reemplazar frases incendiarias con eufemismos, haciendo que su mensaje sea ilegible para la IA y, al mismo tiempo, obvio para un humano. Esta es la razón por la que las nuevas teorías de la conspiración pueden salirse rápidamente de control y, en parte, por qué, incluso después de que se prohíbe dicho contenido, sus formas pueden persistir en la plataforma.

En su perfil del New York Times, Schroepfer mencionó estas limitaciones de la estrategia de moderación de contenido de la empresa. “Cada vez que el Sr. Schroepfer y sus más de 150 especialistas en ingeniería crean A.I. soluciones que señalan y silencian material nocivo, publicaciones nuevas y dudosas que la A.I. sistemas que nunca antes habían visto aparecer y, por lo tanto, no se detectan ”, escribió el Times. "Nunca llegará a cero", dijo Schroepfer a la publicación.

Mientras tanto, los algoritmos que recomiendan este contenido aún funcionan para maximizar el compromiso. Esto significa que todas las publicaciones tóxicas que escapen de los filtros de moderación de contenido continuarán subiendo en la sección de noticias y promovidas para llegar a una audiencia más amplia. De hecho, un estudio de la Universidad de Nueva York descubrió recientemente que entre las páginas de Facebook de los editores partidistas, aquellas que publicaban información política errónea con regularidad recibieron la mayor participación en el período previo a las elecciones presidenciales estadounidenses de 2020 y los disturbios del Capitolio. "Eso simplemente me atrapó", dice un ex empleado que trabajó en problemas de integridad de 2018 a 2019. "Reconocimos plenamente [esto] y, sin embargo, seguimos aumentando el compromiso".

Pero el equipo SAIL de Quiñonero no estaba trabajando en este problema. Debido a las preocupaciones de Kaplan y Zuckerberg acerca de alienar a los conservadores, el equipo se mantuvo enfocado en el sesgo. E incluso después de que se fusionó con el equipo más grande de Responsible AI, nunca se le ordenó trabajar en sistemas de recomendación de contenido que pudieran limitar la propagación de información errónea. Tampoco lo ha hecho ningún otro equipo, como confirmé después de que Entin y otro portavoz me dieran una lista completa de todas las otras iniciativas de Facebook sobre cuestiones de integridad, el término genérico de la empresa para los problemas que incluyen información errónea, discursos de odio y polarización.

"Empecé a llorar": información sobre los últimos días de Timnit Gebru en Google y lo que sucede después.

Un portavoz de Facebook dijo: "El trabajo no lo realiza un equipo específico porque no es así como opera la empresa". En cambio, se distribuye entre los equipos que tienen la experiencia específica para abordar cómo la clasificación del contenido afecta la información errónea para su parte de la plataforma, dijo. Pero Schroepfer me dijo precisamente lo contrario en una entrevista anterior. Le pregunté por qué había creado un equipo de IA responsable centralizado en lugar de dirigir a los equipos existentes para que avanzaran en el tema. Dijo que era la "mejor práctica" en la empresa.

“[Si] es un área importante, tenemos que avanzar rápido en ella, no está bien definida, [creamos] un equipo dedicado y obtenemos el liderazgo adecuado”, dijo. "A medida que un área crece y madura, verá que los equipos de productos asumen más trabajo, pero el equipo central aún es necesario porque debe mantenerse al día con el trabajo de vanguardia".

Cuando describí el trabajo del equipo de IA Responsable a otros expertos en ética y derechos humanos de la IA, notaron la incongruencia entre los problemas que estaba abordando y aquellos, como la desinformación, por los que Facebook es más notorio. "Esto parece haber sido extraído de Facebook como un producto de manera tan extraña: las cosas que Facebook construye y las preguntas sobre el impacto en el mundo que enfrenta Facebook", dijo Rumman Chowdhury, cuya startup, Parity, asesora a las empresas sobre el uso responsable de la inteligencia artificial y fue adquirido por Twitter después de nuestra entrevista. Le había mostrado a Chowdhury la documentación del equipo de Quiñonero detallando su trabajo. "Me sorprende que vamos a hablar de inclusión, justicia, equidad y no hablar de los problemas reales que ocurren hoy", dijo.

“Parece que el encuadre de 'IA responsable' es completamente subjetivo a lo que una empresa decide que quiere preocuparse. Es como, 'inventaremos los términos y luego los seguiremos' ”, dice Ellery Roberts Biddle, directora editorial de Ranking Digital Rights, una organización sin fines de lucro que estudia el impacto de las empresas de tecnología en los derechos humanos. "Ni siquiera entiendo lo que quieren decir cuando Me gusta la justicia. ¿Creen que es justo recomendar que la gente se una a grupos extremistas, como los que irrumpieron en el Capitolio? Si todos reciben la recomendación, ¿eso significa que fue justa? "

"Estamos en un lugar donde hay un genocidio [Myanmar] que la ONU, con mucha evidencia, ha podido señalar específicamente a Facebook y la forma en que la plataforma promueve el contenido", agrega Biddle. "¿Cuánto más alto pueden llegar las apuestas?

Durante los últimos dos años, el equipo de Quiñonero ha desarrollado la herramienta original de Kloumann, llamada Fairness Flow. Permite a los ingenieros medir la precisión de los modelos de aprendizaje automático para diferentes grupos de usuarios. Pueden comparar la precisión de un modelo de detección de rostros en diferentes edades, géneros y tonos de piel, o la precisión de un algoritmo de reconocimiento de voz en diferentes idiomas, dialectos y acentos.

Fairness Flow también viene con un conjunto de pautas para ayudar a los ingenieros a comprender lo que significa entrenar un modelo "justo". Uno de los problemas más espinosos para hacer que los algoritmos sean justos es que existen diferentes definiciones de equidad, que pueden ser mutuamente incompatibles. Fairness Flow enumera cuatro definiciones que los ingenieros pueden usar según la que mejor se adapte a su propósito, como si un modelo de reconocimiento de voz reconoce todos los acentos con la misma precisión o con un umbral mínimo de precisión.

Pero probar la imparcialidad de los algoritmos sigue siendo en gran medida opcional en Facebook. Ninguno de los equipos que trabajan directamente en el servicio de noticias, el servicio de anuncios u otros productos de Facebook están obligados a hacerlo. Los incentivos salariales todavía están vinculados a las métricas de participación y crecimiento. Y aunque existen pautas sobre qué definición de equidad usar en una situación determinada, no se aplican.

Este último problema salió a la luz cuando la empresa tuvo que lidiar con acusaciones de sesgo anti-conservador.

En 2014, Kaplan fue ascendido de jefe de políticas de EE. UU. A vicepresidente global de políticas, y comenzó a desempeñar un papel más duro en la moderación del contenido y en las decisiones sobre cómo clasificar las publicaciones en los feeds de noticias de los usuarios. Después de que los republicanos comenzaron a expresar afirmaciones de sesgo anti-conservador en 2016, su equipo comenzó a revisar manualmente el impacto de los modelos de detección de información errónea en los usuarios para asegurarse, entre otras cosas, de que no penalizaban de manera desproporcionada a los conservadores.

Todos los usuarios de Facebook tienen unos 200 "rasgos" adjuntos a su perfil. Estos incluyen varias dimensiones enviadas por los usuarios o estimadas por modelos de aprendizaje automático, como raza, inclinaciones políticas y religiosas, clase socioeconómica y nivel de educación. El equipo de Kaplan comenzó a usar los rasgos para ensamblar segmentos de usuarios personalizados que reflejaban intereses mayormente conservadores: usuarios que interactuaban con contenido, grupos y páginas conservadores, por ejemplo. Luego, ejecutarían análisis especiales para ver cómo las decisiones de moderación de contenido afectarían las publicaciones de esos segmentos, según un ex investigador cuyo trabajo estaba sujeto a esas revisiones.

La documentación de Fairness Flow, que el equipo de Responsible AI escribió más tarde, incluye un estudio de caso sobre cómo usar la herramienta en tal situación. Al decidir si un modelo de desinformación es justo con respecto a la ideología política, el equipo escribió, "justicia" no significa que el modelo deba afectar por igual a los usuarios conservadores y liberales. Si los conservadores están publicando una mayor fracción de información errónea, según lo juzga el consenso público, entonces el modelo debería señalar una mayor fracción de contenido conservador. Si los liberales están publicando más información errónea, también deberían marcar su contenido con más frecuencia.

Pero los miembros del equipo de Kaplan siguieron exactamente el enfoque opuesto: tomaron "justicia" en el sentido de que estos modelos no deberían afectar más a los conservadores que a los liberales. Cuando un modelo lo hacía, detenían su implementación y exigían un cambio. Una vez, bloquearon un detector de desinformación médica que había reducido notablemente el alcance de las campañas contra las vacunas, me dijo el ex investigador. Les dijeron a los investigadores que el modelo no se podía implementar hasta que el equipo arreglara esta discrepancia. Pero eso efectivamente hizo que el modelo careciera de sentido. "No tiene sentido, entonces", dice el investigador. Un modelo modificado de esa manera "no tendría literalmente ningún impacto en el problema real" de la desinformación.

“Ni siquiera entiendo lo que quieren decir cuando hablan de justicia. ¿Creen que es justo recomendar que la gente se una a grupos extremistas, como los que irrumpieron en el Capitolio? Si todos reciben la recomendación, ¿eso significa que fue justa? "

Ellery Roberts Biddle, director editorial de Ranking Digital Rights

Esto sucedió en innumerables ocasiones, y no solo por la moderación del contenido. En 2020, el Washington Post informó que el equipo de Kaplan había socavado los esfuerzos para mitigar la interferencia electoral y la polarización dentro de Facebook, diciendo que podrían contribuir al sesgo anti-conservador. En 2018, utilizó el mismo argumento para archivar un proyecto para editar los modelos de recomendación de Facebook, aunque los investigadores creían que reduciría la división en la plataforma, según Wall Street Journal. Sus afirmaciones sobre el sesgo político también debilitaron una propuesta para editar los modelos de clasificación para las noticias que los científicos de datos de Facebook creían que fortalecerían la plataforma contra las tácticas de manipulación que Rusia había utilizado durante las elecciones estadounidenses de 2016.

Y antes de las elecciones de 2020, los ejecutivos de políticas de Facebook utilizaron esta excusa, según el New York Times, para vetar o debilitar varias propuestas que habrían reducido la difusión de contenido dañino y de odio.

Facebook cuestionó los informes del Wall Street Journal en una publicación de blog de seguimiento y desafió la caracterización del New York Times en una entrevista con la publicación. Un portavoz del equipo de Kaplan también me negó que esto fuera un patrón de comportamiento, diciendo que los casos reportados por el Post, el Journal y el Times eran "todos casos individuales que creemos que luego se caracterizan erróneamente". Se negó a comentar sobre el reentrenamiento de modelos de desinformación en el registro.

Muchos de estos incidentes ocurrieron antes de que se adoptara Fairness Flow. Pero muestran cómo la búsqueda de la justicia por parte de Facebook al servicio del crecimiento ya había tenido un costo elevado para avanzar en los otros desafíos de la plataforma. Y si los ingenieros usaran la definición de equidad que había adoptado el equipo de Kaplan, Fairness Flow podría simplemente sistematizar el comportamiento que recompensa la información errónea en lugar de ayudar a combatirla.

A menudo, “todo el asunto de la justicia” entraba en juego sólo como una forma conveniente de mantener el status quo, dice el ex investigador: “Parece contradecir las cosas que Mark decía públicamente en términos de ser justo y equitativo. "

La última vez que hablé con Quiñonero fue un mes después de los disturbios en el Capitolio de Estados Unidos. Quería saber cómo la toma del Congreso había afectado su pensamiento y la dirección de su trabajo.

En la videollamada, era como siempre: Quiñonero marcaba desde su oficina en casa en una ventana y Entin, su manejador de relaciones públicas, en otra. Le pregunté a Quiñonero qué papel creía que había jugado Facebook en los disturbios y si cambió la tarea que veía para AI Responsable. Después de una larga pausa, eludió la pregunta y se lanzó a una descripción del trabajo reciente que había realizado para promover una mayor diversidad e inclusión entre los equipos de IA.

Le volví a hacer la pregunta. Su cámara del portal de Facebook, que usa algoritmos de visión por computadora para rastrear al hablante, comenzó a acercar lentamente su rostro a medida que se quedaba quieto. "No sé si tengo una respuesta fácil a esa pregunta, Karen", dijo. "Es una pregunta extremadamente difícil de hacerme".

Entin, que había estado paseando rápidamente con una estoica cara de póquer, agarró una bola roja contra el estrés.

Le pregunté a Quiñonero por qué su equipo no había buscado previamente formas de editar los modelos de clasificación de contenido de Facebook para reducir la desinformación y el extremismo. Me dijo que era el trabajo de otros equipos (aunque ninguno, como confirmé, tenía el mandato de trabajar en esa tarea). "No es factible que el equipo de IA responsable estudie todas esas cosas nosotros mismos", dijo. Cuando le pregunté si consideraría que su equipo abordara esos problemas en el futuro, admitió vagamente: "Estoy de acuerdo con usted en que ese será el alcance de este tipo de conversaciones".

Cerca del final de nuestra entrevista de una hora, comenzó a enfatizar que la IA era a menudo descrita injustamente como "la culpable". Independientemente de si Facebook usó IA o no, dijo, la gente seguiría arrojando mentiras y discursos de odio, y ese contenido aún se difundiría por la plataforma.

Lo presioné una vez más. Ciertamente, no podía creer que los algoritmos no hubieran hecho absolutamente nada para cambiar la naturaleza de estos problemas, dije.

"No lo sé", dijo con un tartamudeo entrecortado. Luego repitió, con más convicción: “Esa es mi respuesta sincera. Honesto a Dios. No sé."

Correcciones: Modificamos una línea que sugería que Joel Kaplan, vicepresidente de política global de Facebook, había utilizado Fairness Flow. El no ha. Pero los miembros de su equipo han utilizado la noción de equidad para solicitar el reentrenamiento de los modelos de desinformación de manera que contradigan directamente las pautas de Responsible AI. También aclaramos cuándo se unió a la empresa Rachad Alao, el director de ingeniería de Responsible AI.

El artículo original se puede leer en ingles en MIT Technology Review