Europe's AI tool for cleaning museum data reveals limits of automated bias detection
A critical analysis of the DE-BIAS project shows that while automated systems can flag harmful language in digitized cultural collections, they struggle with context and interpretation—raising questions about who decides what's biased. The finding matters as institutions worldwide rush to deploy AI for heritage preservation without fully understanding the technology's blind spots.
Originaltitel: Reconfigurando a representação digital <em>[Reconfiguring Digital Representation]</em>: viés, ética e metadados no patrimônio cultural <em>[Bias, Ethics, and Metadata in Cultural Heritage]</em>
<p>A digitalização em larga escala dos acervos culturais tem intensificado debates sobre a não neutralidade dos metadados e sobre os efeitos de regimes descritivos na produção social da memória. Este artigo analisa criticamente o projeto europeu DE-BIAS (Detecting and cur(at)ing harmful language in cultural heritage collections), vinculado à Europeana, discutindo de que modo suas estratégias contribuem para mitigar vieses históricos e socioculturais na representação do patrimônio cultural digital. O estudo parte de referenciais da Arquivologia crítica e da Ciência da Informação –que compreendem arquivos e descrições como arenas de poder –e articula tais perspectivas com noções de justiça epistêmica, curadoria crítica e debates decoloniais. Metodologicamente, trata-se de uma pesquisa qualitativa, exploratória e crítica, baseada em análise documental do corpus técnico do projeto (relatórios, guias metodológicos e materiais institucionais). A análise concentra-se em três eixos: (i) o vocabulário multilíngue de termos potencialmente danosos e sua tipologia de vieses; (ii) a ferramenta automatizada de detecção de linguagem prejudicial e seus limites interpretativos; e (iii) a metodologia de engajamento comunitário orientada à coautoria descritiva. Argumenta-se que o de-biasingdeve ser compreendido como transformação epistemológica e prática de governança ética, deslocando o foco da correção terminológica para a reflexividade institucional, a transparência e a participação social. Discute-se, ainda, a relevância dessas abordagens para o Sul Global, ressaltando a necessidade de apropriação crítica e adaptação contextual frente a legados coloniais e assimetrias infraestruturais. Conclui-se que iniciativas como o DE-BIAS ampliam as condições para uma representação mais responsável e inclusiva, desde que sustentadas por políticas institucionais duradouras, formação profissional e mecanismos de prestação de contas (accountability).</p>