La organización española de verificación de datos Fundación Maldita.es procesa cientos de solicitudes diarias de su sistema de chatbot impulsado por la comunidad. Desde su fundación en 2018, su crecimiento trajo consigo un aumento en la complejidad de manejar grandes volúmenes de datos: desde artículos y bases de expertos hasta materiales multimedia que requieren verificación. La financiación del programa les permitió abordar estos desafíos de escala mediante la incorporación de inteligencia artificial en puntos específicos del flujo de trabajo, con un enfoque modular destinado a apoyar a los periodistas, no a sustituirlos.

El problema: entender las necesidades del usuario

La inspiración para el asistente de IA de Maldita surgió al reconocer una brecha fundamental entre las capacidades tecnológicas de la organización y las de quienes difunden desinformación. "Nos dimos cuenta de que nuestros lenguajes y nuestros códigos estaban un poco atrasados en comparación con los de quienes difunden desinformación", explica Pablo Pérez Benavente, el ingeniero líder del proyecto.

El equipo descubrió modelos multimodales capaces de procesar texto, imágenes y mensajes de voz, exactamente el tipo de contenido que inunda las líneas de verificación de Maldita. Sin embargo, la motivación principal seguía centrada en apoyar a sus periodistas. A medida que el conocimiento se fragmentaba en toda la organización, al escribir un nuevo artículo, los verificadores de datos a menudo tenían que buscar en Google los artículos previamente publicados de Maldita, usar un motor de búsqueda interno poco eficiente o depender de colegas que escribieron los artículos, lo cual es desafiante, especialmente para los recién llegados.

Al mismo tiempo, la metodología de Maldita requiere que cada artículo esté respaldado por expertos como fuentes. Maldita tiene una base de datos que se ha mejorado a lo largo de los años, pero era difícil para los verificadores de datos buscar los expertos exactos que necesitan cuando están investigando un contenido.

El asistente de IA busca agilizar este proceso de recuperación tanto para los artículos como para los expertos, y eventualmente servir a la comunidad de verificación de datos más amplia a través del conjunto de tecnologías de Maldita.

Construcción de la solución: de la investigación de usuarios al prototipo

El desarrollo siguió un enfoque sistemático a través de múltiples paquetes de trabajo, cada uno abordando diferentes aspectos del flujo de trabajo de verificación de datos para identificar puntos específicos donde la IA podría brindar asistencia significativa.

La metodología comenzó con una investigación exhaustiva de usuarios, incluyendo entrevistas individuales y grupos focales. Luego, el equipo colaboró con el equipo de diseño de Maldita para visualizar soluciones factibles, creando tanto escenarios mínimos viables como objetivos de desarrollo ideales.

La hoja de ruta implicó pruebas iterativas con usuarios finales durante todo el proceso de desarrollo. "Normalmente haríamos algunas pruebas con los usuarios finales, y luego, una vez terminadas las pruebas, ya sea una iteración enumerando los próximos pasos o idealmente el despliegue", explica Pérez Benavente. Los aportes de coordinadores de impacto y especialistas en redes sociales, no solo verificadores de datos, subrayaron el valor de una investigación amplia.

Arquitectura técnica y herramientas

El equipo utilizó Coder para el desarrollo colaborativo, permitiendo a los ingenieros trabajar de forma independiente mientras compartían APIs. Hugging Face proporcionó acceso a modelos de código abierto, mientras que la API de OpenAI ofreció capacidades adicionales.

El primer paquete de trabajo desarrolló un sistema para comparar imágenes, videos, textos y mensajes de voz. Esta tarea "simple" resultó compleja, con módulos interconectados que afectaban el rendimiento de los demás.

El segundo paquete de trabajo construyó un motor de búsqueda impulsado por IA para la base de datos de artículos y la base de datos de expertos de Maldita, una piedra angular para otras herramientas de Maldita como chatbots fundamentados y análisis narrativo. El segundo paquete de trabajo incluyó una nueva función "Analizar con IA" que, cuando se implemente, sugerirá a los verificadores de datos tanto artículos publicados de Maldita como posibles expertos a contactar como fuentes.

Reunir la experiencia adecuada

El proyecto requirió habilidades que diferían significativamente de las implementaciones anteriores de IA de Maldita, ya que este proyecto demandaba enfoques más cuantificables e impulsados por métricas que requerían habilidades de "procesos propios de la ciencia de datos". El equipo necesitaba experiencia en planificar diferentes pruebas, definir condiciones de prueba e identificar combinaciones de variabilidad de datos para garantizar una evaluación integral.

Entre los roles clave se incluyeron:
• Un archivista con profundo conocimiento del sistema de etiquetas y registro de datos de Maldita.
• Un ingeniero de IA especializado en desarrollo e integración de modelos.
• Un ingeniero backend responsable del desarrollo de software y la implementación de APIs.

Tener una perspectiva global sobre el desarrollo técnico resultó vital para reducir malentendidos entre roles.

Desafíos de implementación

La integración de modelos de código abierto trajo obstáculos. Aunque el español está ampliamente representado, los modelos de frontera a menudo existen solo en inglés, con un rendimiento en español "claramente inferior", señala Pérez Benavente. Más allá de los problemas de idioma, los datos limpios y estructurados utilizados para el entrenamiento de modelos diferían dramáticamente de "la colección de conjuntos de datos altamente variados, desordenados y desequilibrados", como las capturas de pantalla y textos reenviados extremadamente largos que Maldita procesa diariamente. Esto forzó "un sistema modular usando diferentes modelos para diferentes tipos de datos, afectando tanto el uso como la eficiencia".

La evaluación del rendimiento fue otro obstáculo. Las pruebas completas del conjunto de datos resultaron inviables, y la documentación inconsistente de las condiciones de prueba dificultó distinguir los problemas del conjunto de datos de las deficiencias del modelo.

Oportunidades y próximos pasos

El motor de búsqueda impulsado por IA sirve como base para desarrollos futuros, incluidos chatbots fundamentados en la base de datos de artículos de Maldita y sistemas que combinan artículos con análisis narrativo para identificar información desmentida. El sistema de comparación modular también ofrece potencial de expansión, ahora que sus fortalezas y debilidades se entienden mejor.

El proyecto también reveló oportunidades de coordinación interna: múltiples equipos habían trabajado sin saberlo en mejoras relacionadas con la base de datos, mostrando el valor de la comunicación entre equipos. Las limitaciones de tiempo impuestas por el financiamiento del Innovation Challenge también resultaron beneficiosas, empujando al equipo a priorizar efectivamente.

Lecciones para las redacciones

• Comenzar con investigación sistemática de usuarios en todos los departamentos: El enfoque de Maldita de realizar entrevistas extensas y grupos focales con diversos roles de la sala de redacción resultó esencial para identificar necesidades reales en lugar de problemas asumidos.

• Planificar para la complejidad de los sistemas modulares de IA: Lo que parece simple a menudo involucra componentes intrincados e interconectados donde la falla en un módulo afecta todo el sistema. Una conceptualización cuidadosa al principio, identificando puntos débiles potenciales y comprendiendo las dependencias de los módulos puede prevenir retrasos significativos y problemas de rendimiento.

• Documentar todo, especialmente las condiciones de prueba: Sin la documentación adecuada, se vuelve imposible distinguir entre variaciones del conjunto de datos y el rendimiento real del modelo.