Un estudio de la ULL desarrolla un método para detectar discursos de odio en redes sociales de forma más eficiente

Un estudio de la Universidad de La Laguna propone una alternativa para detectar los discursos de odio en redes sociales de forma más eficiente que los métodos actuales, una herramienta capaz de identificar este tipo de contenidos sin depender de grandes modelos de lenguaje (LLM, por sus siglas en inglés) en tiempo real.

El trabajo propone separar el léxico más cambiante del proceso de aprendizaje, según ha trasladado la institución académica en una nota, donde detalla que el objetivo del estudio busca facilitar la detección de nuevas formas emergentes de discurso de odio combinando dos estrategias complementarias.

La primera, enmascaramiento asistido por LLM, consiste en utilizar un modelo de lenguaje para sustituir insultos y referencias a determinados colectivos por etiquetas neutras, de modo que el sistema aprenda a identificar el contexto del mensaje sin depender de palabras concretas y preserve la privacidad de las personas.

La segunda estrategia, Telephone Game Augmentation (TGA), utiliza ese mismo modelo para generar distintas versiones de un mismo mensaje con el mismo significado, aumentando así la variedad de ejemplos disponibles para entrenar el sistema y mejorar su capacidad para detectar los tipos de discurso de odio menos frecuentes.

UN ENFOQUE HÍBRIDO

Los resultados ponen de manifiesto que el enfoque híbrido propuesto es una "alternativa eficaz" para la moderación automática de contenidos, combinando la potencia de los grandes modelos de lenguaje durante la fase de preparación de los datos, con la rapidez y el bajo coste de los clasificadores ligeros durante su aplicación.

Esto supone, detalla la investigación, que el enmascaramiento asistido por LLM mejora la capacidad del sistema para adaptarse a nuevas expresiones de discurso de odio, mientras que TGA amplía la diversidad de los datos de entrenamiento y refuerza especialmente la detección de las categorías menos representadas.

Si bien el método obtiene buenos resultados, los investigadores subrayan que aún existen desafíos por resolver. La eficacia del sistema depende, en gran medida, de la capacidad del modelo de lenguaje para reconocer correctamente las expresiones ofensivas y sigue encontrando dificultades ante mensajes más complejos, como aquellos que emplean sarcasmo o referencias implícitas.

SISTEMAS MÁS ROBUSTOS

Por este motivo, los autores consideran que la tecnología debe utilizarse como apoyo a la labor de moderación, siempre bajo supervisión humana, y no como un sistema capaz de tomar decisiones de forma completamente autónoma.

En definitiva, el estudio demuestra que es posible desarrollar sistemas de moderación más robustos, rápidos y escalables, sin necesidad de recurrir continuamente a grandes modelos de lenguaje durante la fase de inferencia.

Además, la metodología puede aplicarse a diferentes conjuntos de datos y adaptarse a nuevos idiomas o formas emergentes de discurso de odio, así como servir como base para futuras investigaciones que incorporen contenidos multimodales, modelos de lenguaje más compactos y nuevas estrategias de aprendizaje automático.

El artículo publicado en Online Social Networks and Media, está liderado por Marcos Rodríguez Vega, investigador del departamento de Ingeniería Informática y de Sistemas de la Universidad de La Laguna. También participa Pino Caballero Gil, catedrática del mismo departamento, y Carlos Rosa Remedios, del área de Arquitectura y Tecnología de Computadores de la ULL.