A finales del año pasado, Tumblr anunció cambios en su política de contenidos que implicaban la eliminación de cualquier mensaje pornográfico. “Fotografías, vídeos o GIFs que muestren genitales humanos reales o mujeres mostrando sus pezones, así como fotografías, vídeos, GIFs e ilustraciones que reflejen el acto sexual” fueron señalados como “contenidos para adultos”, quedando prohibidos en la plataforma.
Y para ello, la empresa desplegó un sistema de Inteligencia Artificial (IA) encargado de moderar y suprimir cualquier imagen que no respetase las nuevas directrices. El problema es que rápidamente quedó patente que el sistema tenía fallos, y marcaba incorrectamente posts con contenidos inocentes como inapropiados, incluyendo jarrones, dibujos infantiles, peces o fotos de gente vestida.
Lo cierto es que es muy difícil poner en práctica un método automático para cribar el contenido para adultos porque, de entrada, cuesta mucho definir lo que abarca. La frontera que separa la pornografía del resto de contenidos provoca un debate que viene ocupando tribunales de todo el mundo desde hace siglos, si no milenios. Y los algoritmos de aprendizaje automático se enfrentan con este mismo problema, entre otros. Si los humanos no consiguen ponerse de acuerdo sobre lo que es o no es pornografía, ¿puede un ordenador comprender la diferencia?
Educando al algoritmo
Para enseñar a una IA a detectar pornografía, lo primero que es exponerla a ella; tantas horas de contenido como sea posible, fundamentalmente a través de webs especializadas. El siguiente paso es marcar todos los fotogramas de estos vídeos que no sean explícitamente pornográficos, para asegurarte de que los reconozca como aceptables: en otras palabras, que no vete cualquier imagen de un repartidor de pizza o una enfermera, por ejemplo. Para esto, las plataformas suelen acudir a operarios humanos -en muchos casos en países dónde la mano de obra es más barata- que etiquetan manualmente dichos contenidos con programas similares a un reCaptcha de Google.
Este tipo de aprendizaje funciona mejor cuanto mayor sea el conjunto de datos representativos de lo que se quiere bloquear. En el caso de Tumblr no se limita a filtrar exclusivamente imágenes de desnudos sino temas relacionados: como perfiles falsos y anuncios de prostitución o cualquier otro servicio de pago ilegal. Y todos estos matices dificultan el trabajo de un algoritmo. Además un moderador automático puede marcar incorrectamente un anuncio de ropa interior como sexo explícito -porque hay más piel en la imagen normal– lo que significa que las personas que hacen el etiquetado tienen que concentrarse en esos casos para alimentar mucho al sistema, especialmente en todos aquellos aspectos fronterizos entre apropiado e inapropiado.
Sector en crecimiento
Este mismo problema afecta al software de moderación de comentarios, que en redes sociales y en las webs de grandes medios de comunicación no es posible que sea revisado individualmente por humanos. En estos casos se suele establecer una clasificación por toxicidad, un elemento definido como la probabilidad de que alguien deje una conversación basada en un comentario. Facebook utiliza el mismo tipo de filtros automatizados para identificar mensajes y contenidos de riesgo, relacionados con el terrorismo o con tendencias suicidas, y ha intentado utilizar la tecnología para detectar noticias falsas.
Esa necesidad de soluciones individuales, diseñadas específicamente para cada medio está animando a cada vez más empresas especializadas a crear a los mejores moderadores automáticos, a partir del mayor número de datos disponible. De la misma manera que las firmas de soluciones de pago han ido creciendo en la última década para empresas que quieren vender en línea pero que no quieren gestionar este servicio internamente, o de la misma forma que Amazon Web Services (AWS) se ha erigido como el gran nodo de alojamiento de sitios, aparecen startups como Clarifai, Picnix o Lemay.ai que compiten por una parte del mercado de soluciones integrales para la moderación de contenido en línea.
