Roblox tiene problemas para moderar la re-creación de tiroteos masivos

0
150

Durante más de un año, el investigador de la Liga Anti-Difamación, Daniel Kelley, ha estado encontrando recreaciones de un horrible tiroteo masivo en Roblox, y cada vez que mira, dice que encuentra más. Kelley le dijo a The Verge que sucedió tres veces: primero en enero de 2020, luego nuevamente en mayo de 2021. El incidente más reciente se produjo el 13 de agosto, cuando estaba preparando una presentación sobre cómo denunciar contenido ofensivo.

“Me gustaría una vez”, dijo Kelley en Twitter después del último incidente, “buscar” Christchurch “en Roblox y no encontrar una nueva recreación del tiroteo en la mezquita de Christchurch de 2019 en una plataforma de juegos dirigida a niños muy pequeños”.

El tiroteo en la mezquita, que mató a más de 50 personas, ha sido condenado como uno de los actos de odio religioso más violentos cometidos en los últimos años. Tras el tiroteo, la primera ministra Jacinda Ardern lo llamó “uno de los días más oscuros de Nueva Zelanda”.

The Verge confirmó el hallazgo de Kelley, ubicando dos experiencias de Roblox diferentes centradas en el tiroteo a través de una simple búsqueda de texto para “Christchurch”. Ambas salas habían registrado más de doscientas visitas.

Roblox monitorea proactivamente el contenido terrorista, pero los escenarios señalados por Kelley parecen haberse escapado. Al ser contactado para comentar, Roblox insistió en que la plataforma se está moderando agresivamente contra las recreaciones de tiroteos masivos.

“Eliminamos rápidamente esta experiencia de Roblox después de que se nos informó y suspendimos al usuario responsable de violar nuestras Reglas de la comunidad”, dijo un representante de la compañía en un comunicado. “No toleramos el racismo, el discurso discriminatorio o el contenido relacionado con eventos trágicos. Tenemos un estricto sistema de seguridad y monitoreo que está continuamente activo y que aplicamos de manera rigurosa y proactiva ”.

Las referencias al tiroteo en Christchurch son particularmente difíciles de bloquear a través de búsquedas automáticas de texto, dijo la compañía, ya que un filtro general también bloquearía las referencias a la ciudad. “En este caso, nuestra detección proactiva incluye revisión humana para equilibrar el permitir referencias a la ubicación geográfica (la ciudad más grande de Nueva Zelanda) pero no usos que violen nuestras políticas”, continuó el representante.

Parte del problema se debe al gran tamaño de Roblox, el resultado de un crecimiento rápido y sin precedentes. El juego cuenta actualmente con más de 40 millones de usuarios diarios, lo que resulta en una avalancha de salas generadas por usuarios demasiado masivas para escanearlas manualmente. La estructura distribuida del juego, que depende de que los usuarios generen sus propios escenarios y espacios, lo hace particularmente difícil de monitorear.

Roblox presentó una solicitud para hacerse pública en noviembre, alegando en una presentación que el juego había sido jugado por más de la mitad de los niños menores de 16 años en los EE. UU. Actualmente, la empresa está valorada en aproximadamente 45.000 millones de dólares.

La misma presentación de la OPI menciona específicamente los problemas de moderación de la comunidad como un riesgo potencial para la empresa. “El éxito de nuestro modelo de negocio depende de nuestra capacidad para proporcionar un entorno en línea seguro para que los niños lo experimenten”, se lee en el documento. “Si no podemos seguir proporcionando un entorno seguro, nuestro negocio sufrirá drásticamente”.

Como investigadora del extremismo, Kelley está menos preocupada por la salud del negocio de Roblox y más preocupada de que la plataforma se convierta en un vector de radicalización.

“Cada juego en Roblox es potencialmente una plataforma social en sí mismo, y potencialmente puede dar refugio a jugadores de todas las edades que están coqueteando o comprometidos con ideologías de odio en línea”, dice Kelley. “Todo espacio que permita la veneración de ideologías odiosas … contribuye a la normalización de estas ideologías y su difusión”.

Leave a reply