Avaliação do sistema de indexação automática Annif em artigos de periódicos em Ciência da Informação

Objetivo: Avaliar o desempenho da ferramenta de indexação automática Annif na atribuição de descritores a artigos científicos na área de Ciência da Informação. Método: Adota uma abordagem empírica e de caráter exploratório. A pesquisa utilizou um corpus composto por 60 artigos escritos em português e previamente indexados manualmente com o Tesauro Brasileiro de Ciência da Informação (TBCI). O corpus foi dividido em duas subseções: 30 artigos foram destinados ao treinamento e 30 ao teste. O Annif foi configurado com o backend MLLM, e a avaliação foi realizada por comparação com os termos da indexação intelectual aplicando as métricas de Precisão, Revocação, F1 e Consistência. Também foi realizada uma análise qualitativa dos termos gerados. Resultado: O sistema demonstrou um desempenho moderado, alcançando uma Precisão de 49,52%, Revocação de 50,1%, F1 de 49,23% e Consistência de 31,63%. Conclusões: Conclui-se que o Annif é viável como ferramenta de apoio em fluxos semiautomáticos de indexação, desde que suas sugestões sejam validadas por indexadores humanos.