O uso de arquiteturas híbridas na tarefa text-to-SQL

A tarefa de tradução da linguagem natural para linguagem estruturada de banco de dados (SQL) continua a impor desafios significativos a pesquisadores das mais diversas áreas. Dificuldades como a adaptabilidade a novos domínios de dados e de soluções em língua portuguesa sempre estiveram presentes em discussões sobre o assunto (Androutsopoulos, Ritchie e Thanisch 1995). Isso mudou com a chegada dos grandes modelos de linguagem (LLMs), pois a facilidade de uso e sua capacidade de busca e articulação de conhecimento tornou os problemas anteriores parcialmente superados (Gao et al. 2023). Entretanto, isso trouxe novos problemas como a falta de transparência no processo de geração de informação, o alto custo para ajuste fino dos modelos e a limitação de dados sensíveis que podem ser enviados às empresas produtoras dos modelos. A técnica proposta neste trabalho concentra-se no envio limitado de informações aos LLMs e na geração de instruções (prompts) direcionadas à criação da instrução SQL. O pipeline de processamento aqui proposto é caracterizado por ser híbrido, ao combinar modelos Transformers codificadores para reconhecimento intenção e grandes modelos de linguagem (LLMs) gerativos para produção de consultas SQL. Diferentes modelos Transformers de codificação (BERTimbau, alBERTina e XLMRoBERTa) e de decodificação (Maritaca e Mixtral) foram testados e comparados na criação do pipeline de melhor desempenho. O modelo global foi ajustado e testado com dados de um dataset público desenvolvido com um banco de dados da Microsoft, AdventureWorksDW2022. Para tanto, os modelos de reconhecimento de intenções e os de geração de texto tiveram de passar por ajustes, tais como: aplicação de taxas de dropout (Srivastava et al. 2014) e reajuste de estrutura nos modelos de reconhecimento de intenções, e calibração de aleatoriedade (temperatura) e engenharia de prompt para os modelos gerativos. Com isso, atingimos resultados||de 92% de F1 na tarefa específica de reconhecimento de intenções (com alBERTina), e 52% de acurácia ao final do pipeline (usando Mixtral como modelo gerador de consultas), isto é, na seleção correta de registros buscados. Além dos resultados numéricos propriamente ditos, deve-se levar em conta que a técnica global proposta oferece transparência, adaptabilidade, portabilidade e localização linguística dos conteúdos. Os resultados indicam, ainda, possibilidades concretas para melhorias, seja por meio de estudos mais aprofundados nas estruturas dos LLMs para criação de prompts mais precisos, seja pela aplicação de outros LLMs gerativos.