Comparte
Sep 17/2021

Mujeres y seguridad digital: la IA diseñada por Facebook para frenar la violencia en redes

Ilustraciones: Andrea Paredes @driu.ilustracion | Daniela Díaz @_danichi | Jesús Santamaría @RE_Ilustrador

Recién despiertas y lo primero que haces, todavía entre las cobijas, es echarle un ojo a tus redes sociales. Entras a Instagram y tienes un mensaje de alguien con quien saliste hace unos meses. El texto te revuelve el estómago: de la noche a la mañana te amenazan con publicar fotos íntimas o “vender tu pack”.

Sabes que ya existe la Ley Olimpia y hasta hay personas detenidas por eso, pero ¿por qué tendrías que vivirlo tú? ¿Por qué una persona en la que confiaste te hace eso? ¿a quién acudes? ¿cómo impedir que publiquen tus fotografías? ¿se lo dices a tu familia?

Te recomendamos: Mujeres gamers enfrentan así el machismo en línea

La violencia digital es cada vez más común y puede provocar severos daños a las víctimas.

Si bien en México ya existe una legislación al respecto, eso no es ni de cerca una garantía de que los agresores van a parar. Para disminuir los índices de violencia digital, las empresas de redes sociales también deben comprometerse a combatirla.

“Las plataformas tienen una responsabilidad tremenda que, por ser entes privados, lo han ido toreando un poco y justo las organizaciones tenemos un papel super clave para que vayan asumiendo esta responsabilidad porque somos el vínculo con las usuarias”, explica Alicia Reynoso, integrante de la colectiva feminista Luchadoras en entrevista para Animal MX.

Desde hace poco más de un año, la organización lanzó una línea de ayuda para mujeres, adolescentes o niñas que son víctimas de violencia digital.

Lee: Instagram se hartó del abuso y lanza nuevas funciones para sus usuarios

De todas las solicitudes de ayuda que llegan, 87% de los ataques suceden en Facebook, Instagram y WhatsApp, explica Alicia, “eso es un dato importante para que Facebook repiense sus políticas”.

Inteligencia artificial vs amenazas 

De unos años a la fecha, la plataforma de redes sociales más grande del mundo comenzó a acercarse a organizaciones ciudadanas para asesorarse sobre temas de violencia digital de género y cómo adecuar sus políticas y normas comunitarias para enfrentarla.

“La idea es tener una comunidad donde las reglas estén claras y se tome acción sobre esas reglas, donde busquemos colaborar con diferentes expertas, organizaciones, usuarias, víctimas, sobrevivientes que nos permitan entender cómo va evolucionando la agresión, en este caso hacia las mujeres, niñas y adolescentes y desplegar una batería de herramientas”, explica María Cristina Capelo, líder del área de Seguridad y Bienestar para usuarios de Facebook en América Latina.

En este sentido, junto con Luchadoras, la plataforma echó a andar un programa piloto que puede ayudar a prevenir la publicación sin consentimiento de fotografías íntimas.

Te interesa: Apple asegura que su sistema anti-abuso infantil protege la privacidad del usuario

Se trata de una herramienta que involucra inteligencia artificial (IA).

Funciona similar a la tecnología de la “huella digital” que se aplica en temas de abuso sexual infantil.

Para que funcione, las personas que están siendo amenazadas deben compartir sus fotografías a Facebook, el robot hará un “sello” con esas imágenes y detectará en automático cuando algún usuario intente publicar la nude o el pack en la plataforma.

La cuenta de la persona que intente compartir el contenido será desactivada en automático.

El programa funciona desde hace un año y, en México, lo atiende directamente Luchadoras.

De junio del año pasado a la fecha, la organización ha incorporado 54 casos de protección de contenido.

Checa: Clairo quiere conciertos libres de acoso: contratará equipo de seguridad especializado

En la experiencia de la organización, explica Alicia Reynoso, de todas las solicitudes de acompañamiento que llegan a Luchadoras, 40% tienen que ver con amenazas, lo que califica para poder entrar al programa piloto con Facebook.

Sin embargo, aunque el número de candidatas es alto, son pocos los casos que logran llegar a término porque, con el miedo de la publicación de su contenido, las chicas cierran sus cuentas, otras veces el contenido se difundió de un día para otro o las jóvenes dejan de responder los mensajes para dar seguimiento a sus casos.

El programa tiene sus limitaciones

Al ser un programa piloto, aun hay elementos que necesitan trabajarse.

Una de las principales críticas de Luchadoras es que Facebook no ha compartido informes detallados sobre el alcance del mismo o si las humanas involucradas han sido sensibilizadas sobre violencia machista y violencia digital.

Además, las fotografías que ya han sido difundidas no pueden ser protegidas por el sistema de IA de Facebook, dice Alicia.

Lee: Twitter prueba el ‘safety mode’, su nuevo sistema antiacoso

En ese sentido, para las víctimas sólo queda “la remoción del contenido y Facebook tiene unas políticas complicadas o procesos de análisis de la información donde no siempre se atiende prontamente a las usuarias”.

Con todo y estas críticas, para la organización es importante que Facebook se haya puesto “las pilas” no sólo para construir políticas con perspectiva de género, sino también herramientas que ayuden a cumplir con sus normativas.

El siguiente paso, explica, es poder expandir más el programa piloto y que la plataforma explique puntualmente a las usuarias cómo se usa la información, les explique más detalladamente cómo funciona su tecnología, qué es la inteligencia artificial y cómo se analizan las fotos.

Te interesa: ¡Agárrate, Twitch! Telegram ahora permite hacer streams en directo sin límite de audiencia

La pandemia disparó la violencia digital

El ciberacoso y las violencias digitales es un fenómeno que se registra desde hace años con el uso de las redes sociales.

Sin embargo, a raíz de la pandemia y el encierro obligado hubo un crecimiento en este tipo de violencias, explica Margarita Guille, directora de la Red Interamericana de Refugios y especialista en temas de derechos de las mujeres.

“Hay también todo un universo, que es el más joven, que son las usuarias de las plataformas que son presas fáciles si no tienen herramientas adecuadas”, dice Guille, quien además de dedicarse a temas de protección y seguridad ante situaciones de violencia de alto riesgo en México y Latinoamérica, también forma parte del Centro de Seguridad para Mujeres de Facebook que reúne a especialistas de todo el mundo.

Este equipo se formó para dar seguimiento a políticas de seguridad de las mujeres en la plataforma.

Esta herramienta te interesa: Instagram tiene un “bloqueo soft” para combatir el ciberbullying

Uno de los fenómenos más claros de los meses de cuarentena ha sido que las mujeres son sobrevigiladas por sus parejas, además de otras violencias como la sextorsión, el acoso y el grooming, “son peligros muy grandes y (los violentadores) es gente que conoce muy bien cómo hacerlo en un contexto de fragilidad de las relaciones interpersonales, en un contexto de aislamiento que se agudizó todavía más con la pandemia”.

Y es que, explica la experta, en casa es donde se dan los mayores índices de violencia de género y feminicidios, por lo que la pandemia fue un caldo de cultivo para entrar en una crisis de violencia.

Al iniciar la cuarentena, únicamente 25% de los servicios de atención a víctimas de la Red Interamericana de refugios tenía servicios digitales. En el año, esta brecha se acortó.

Ahora 70% de los refugios ampliaron su atención a través de WhatsApp, Facebook y terapias vía Zoom.

“Hicimos un programa de acompañamiento a los refugios de 18 países a través de una plataforma de Facebook que es una mentoría y fue fantástica porque logramos integrar coaches, tanatólogas, especialistas en temas de liderazgo, todas con perspectiva de género”.

Antes mira: ¿Por qué Instagram está escondiendo los likes de algunos usuarios?

Las alianzas para combatir la violencia contra las mujeres en redes sociales

Una empresa tiene sus puntos ciegos y Facebook no es la excepción. Por eso, las alianzas con organizaciones civiles es clave para empujar los cambios necesarios en sus herramientas y políticas contra el acoso.

“Este tipo de grupos y consejos nos permiten presentar productos que estamos pensando en sacar, nos pueden dar asesoría específica, y nos hacen observaciones sobre qué efectos pueden tener esos productos y nos preguntan cuáles van a ser las mitigaciones para la seguridad que vamos a incluir“, dice MC Capello, de Facebook.

Te súper recomendamos: El periodismo deportivo de Marion Reimers: entre contar historias y visibilizar la violencia de género

La plataforma, hasta ahora, ha trabajado principalmente con:

  • Luchadoras.
  • Artículo 19.
  • Consejo Ciudadano.
  • Red Interamericana de Refugios.

Sin embargo, los retos siguen siendo importantes.

MC Capelo explica que la plataforma tiene que entender bien los fenómenos en redes y cómo evolucionan, “eso nos sirve para diseñar este tipo de herramientas como inteligencia artificial”.

Además, también buscan que los mensajes lleguen a sus usuarias y sean más intuitivos y para eso son las alianzas con las organizaciones locales.

“Al final la idea es que te sientas suficientemente segura para compartir quien eres en nuestras plataformas”, dice.