Identificação de cenários de teste com IA a partir das histórias de usuário

Em ambientes de desenvolvimento de software que adotam metodologias ágeis, práticas como histórias de usuário e cenários de teste são essenciais para alinhar o desenvolvimento às necessidades dos usuários e garantir a qualidade das soluções. No entanto, a dificuldade em selecionar cenários de teste relevantes de forma manual, especialmente em contextos com restrições de tempo e equipes sem domínio completo do sistema, apresenta desafios significativos. Diante disso, o objetivo deste trabalho é utilizar algoritmos de deep learning, especificamente o modelo BERT (Bidirectional Encoder Representations from Transformers), para automatizar a classificação das histórias de usuário, associando-as aos cenários de teste relevantes para a validação de melhorias. A metodologia proposta envolve o uso do dataset TrainData1, extraído do Kaggle, que contém 1.390 instâncias divididas em dois atributos principais: 'text', que corresponde às histórias de usuário, e 'labels', que representam os cenários de teste. O dataset foi dividido de forma estratificada, com 80% dos dados destinados ao treinamento e 20% para teste, assegurando uma distribuição equilibrada dos cenários de teste. Com 26 cenários distintos analisados, os dados passaram por um processo de binarização, onde cada cenário de teste foi transformado em um rótulo binário: 1 para aplicável e 0 para não aplicável à história de usuário. Cada história de usuário pode ser associada a um ou mais cenários de teste, caracterizando assim a tarefa de classificação multirrótulo. A metodologia incluiu técnicas de Mineração de Textos, começando pelo pré-processamento, envolvendo etapas de limpeza dos dados, tokenização e geração de embeddings. Esses embeddings serviram como entrada para o modelo BERT, que foi ajustado finamente para a tarefa específica de classificação multirrótulo.||A metodologia incluiu técnicas de Mineração de Textos, começando pelo pré-processamento, envolvendo etapas de limpeza dos dados, tokenização e geração de embeddings. Esses embeddings serviram como entrada para o modelo BERT, que foi ajustado finamente para a tarefa específica de classificação multirrótulo. Para a extração de padrões, foram implementados dois métodos de treinamento: o primeiro focado apenas nas classificações, e o segundo incorporando pesos aos rótulos na função de perda para balancear a importância de cada classe. Além disso, foi adicionada uma camada linear na saída do modelo para a classificação, e para calcular a perda foi utilizada a função sigmoide seguida da entropia cruzada binária. O otimizador AdamW, com uma taxa de aprendizado de 3e-5 e um escalonador de taxa de aprendizado linear com aquecimento, foi empregado para ajustar os parâmetros do modelo. A avaliação dos resultados foi realizada com base nas métricas de precisão, revocação e F1-score. Conclui-se que, apesar dos resultados satisfatórios, há um potencial significativo para refinamento, especialmente em relação à melhoria dos algoritmos e à ampliação do corpus de treinamento.