Revealing the hidden language of DNA

(English) Genomics has revolutionized in recent years due to the rapid advancements in high-throughput sequencing technologies, leading to an explosion of genomic data. This has opened up new opportunities for utilizing natural language processing (NLP) techniques to analyze and extract knowledge from genomic data. However, applying NLP techniques in genomics presents unique challenges due to the differences in genetic data's underlying structure and complexity. State-of-art biological embedding algorithms, such as DNA2VEC, split biological sequences into overlapping sub-sequences of length k, called k-mers, and learn a k-mer-based embedding space. By representing k-mers as continuous vectors, a strong correlation has been observed between the cosine similarity of these embeddings and the global sequence alignment score. This correlation suggests that the k-mer embeddings effectively capture sequence similarities. In other words, if two genes or proteins are embedded closely in the embedding space, they will likely exhibit high sequence similarity. We proposed new embedding methods to go beyond the sequence similarity: untangle 1 (UNT1) and untangle 2 (UNT2). By changing the calculation of the co-occurrences of k-mers in the contextual window, we significantly reduced the correlation to sequence similarity. While capturing fewer semantically similar GO terms, we showed that the novel methods UNT1 and UNT2 provide a broader representation of functional relationships than DNA2VEC. In addition to sequence data, the availability of diverse omics data has witnessed a remarkable surge, with the recognition of its potential to provide complementary insights. In our research, we depart from the conventional use of Singular Value Decomposition (SVD) to represent sequences in a low-dimensional space. Instead, we employ Non-negative Matrix Tri-Factorization (NMTF) to build a directly interpretable biological sequence embedding method. While Singular Value Decomposition (SVD) has successfully produced high-quality embeddings, our choice of NMTF aligns with the goals of explainable AI (XAI) and the need to understand the biological implications of the generated embeddings. NMTF serves as a potent instrument for data fusion, enabling the integration of information from various sources to achieve a deeper knowledge of complex biological systems. By utilizing NMTF, we aim to provide a more comprehensive understanding of the relationships between biological entities, such as k-mer, coding or non-coding regions, and their functional characteristics. We developed a versatile approach for annotating k-mers with genes, which allowed us to investigate the inheritance of annotations across different k-mer lengths. Specifically, we mapped k-mers to genes and vice-versa based on their over-representation in the sequences of the genes. Our study showed that the k-mer clusters are significantly enriched in GO annotations, indicating that the embeddings of k-mers capture functional genome organization. We showed that the same embedding models based on k-mers of DNA not only capture a functional structure of genes, but also effectively distinguish non-coding regions of DNA. We analyzed the non-coding regions of the yeast genome and compared the performance of the models DNA2VEC, UNT1, and UNT2. Our findings suggest that the optimal length of k-mers to classify ncRNAs is shorter than 7. This observation is fundamental since the feasibility of mostly all k-mer-based methods is highly dependent on the volume of the vocabulary increasing exponentially with the k-mer's length. Furthermore, our findings indicate that models utilizing k-mers of length 6 and larger outperform models based on shorter subsequences when predicting chromatin interactions. By emphasizing the importance of longer k-mers, our study provides valuable insights into the potential of utilizing extended sequence motifs to advance our understanding of the structural organization of the genome. (Català) La genomica ha revolucionat en els darrers anys a causa deis rapids aven9os en les tecnologies de seqüenciació d'alt rendiment, fet que ha portat a una explosió de dades genómics. Aixo ha obert noves oportunitats per utilitzar técniques de processament del llenguatge natural (PNL) per analitzar i extreure coneixement de dades genómics. No obstant aixó, l'aplicació de tecniques de PNL en genómica presenta desafiaments únics a causa de les diferencies en !'estructura i la complexitat subjacents de les dades genetiques. Els algorismes d'incrustació biológica d'última generació, com DNA2VEC, divideixen seqüencies biologiques en subseqüencies superposades de longitud k, anomenades k-mers, i aprenen un espai d'incrustació basat en k-mer. En representar k-mers com a vectors continus, s'ha observat una correlació torta entre la similitud del cosinus d'aquestes incrustacions i la puntuació d'alineació de seqüencia global. Aquesta correlació suggereix que les incorporacions de k-mer capturen efectivament similituds de seqüencia. En altres paraules, si dos gens o proternes estan estretament incrustats a l'espai d'incrustació, probablement exhibiran una alta similitud de seqüencia. Amb l'augment de dades ómiques variades, ens apartem de l'ús de la descomposició de valors singulars (SVD) per representar seqüencies, optant per la trifactorització de matriu no negativa (NMTF). Aquesta técnica, alineada amb els objectius de la IA explicable (XAI), permet la integració dinformació de diverses fonts, proporcionant una comprensió més completa de les relacions entre entitats biológiques. Vam desenvolupar un enfocament versa.ti! per anotar k-mers amb gens, cosa que ens va permetre investigar !'herencia d'anotacions en diferents longituds de k-mer. Específicament, assignem k-mers a gens i viceversa en funció de la seva sobrerepresentació a les seqüéncies deis gens. El nostre estudi va demostrar que els grups de k-mer estan significativament enriquits en anotacions GO, cosa que indica que les incrustacions de k-mers capturen l'organització funcional del genoma. Demostrem que els mateixos models d'incrustació basats en k-mers d'ADN no només capturen una estructura funcional de gens, sinó que també distingeixen efectivament regions d'ADN no codificants. Analitzem les regions no codificants del genoma del llevat i comparem el rendiment deis models DNA2VEC, UNT1 i UNT2. Les nostres troballes suggereixen que la longitud óptima deis k­ mers per classificar els ncRNA és inferior a 7. Aquesta observació és fonamental ja que la viabilitat de la majoria deis metodes basats en k-meros depén en gran mesura del volum del vocabulari que augmenta exponencialment amb el k-mero. longitud del mar. A més, les nostres troballes indiquen que els models que utilitzen k-mers de longitud 6 i més grans superen els models basats en subseqüencies més curtes en predir les interaccions de la cromatina. En emfatitzar la importancia deis k-mers més llargs, el nostre estudi proporciona informació valuosa sobre el potencial d'utilitzar motius de seqüencia estesa per avan9ar en la nostra comprensió de l'organització estructural del genoma. (Español) La genómica ha revolucionado en los últimos años debido a los rápidos avances en las tecnologías de secuenciación de alto rendimiento, lo que ha llevado a una explosión de datos genómicos. Esto ha abierto nuevas oportunidades para utilizar técnicas de procesamiento del lenguaje natural (PNL) para analizar y extraer conocimiento de datos genómicos. Sin embargo, la aplicación de técnicas de PNL en genómica presenta desafíos únicos debido a las diferencias en la estructura y complejidad subyacentes de los datos genéticos. Los algoritmos de incrustación biológica de última generación, como DNA2VEC, dividen secuencias biológicas en subsecuencias superpuestas de longitud k, llamadas k-mers, y aprenden un espacio de incrustación basado en k-mer. Al representar k-mers como vectores continuos, se ha observado una fuerte correlación entre la similitud del coseno de estas incrustaciones y la puntuación de alineación de secuencia global. Esta correlación sugiere que las incorporaciones de k-mer capturan efectivamente similitudes de secuencia. En otras palabras, si dos genes o proteínas están incrustados estrechamente en el espacio de incrustación, probablemente exhibirán una alta similitud de secuencia. Con el aumento de datos ómicos variados, nos apartamos del uso de la descomposición de valores singulares (SVD) para representar secuencias, optando por la trifactorización de matriz no negativa (NMTF). Esta técnica, alineada con los objetivos de la IA explicable (XAI), permite la integración de información de diversas fuentes, proporcionando una comprensión más completa de las relaciones entre entidades biológicas. Desarrollamos un enfoque versátil para anotar k-mers con genes, lo que nos permitió investigar la herencia de anotaciones en diferentes longitudes de k-mer. Específicamente, asignamos k-mers a genes y viceversa en función de su sobrerrepresentación en las secuencias de los genes. Nuestro estudio demostró que los grupos de k-mer están significativamente enriquecidos en anotaciones GO, lo que indica que las incrustaciones de k-mers capturan la organización funcional del genoma. Demostramos que los mismos modelos de incrustación basados en k-meros de ADN no solo capturan una estructura funcional de genes, sino que también distinguen efectivamente regiones de ADN no codificantes. Analizamos las regiones no codificantes del genoma de la levadura y comparamos el rendimiento de los modelos DNA2VEC, UNT1 y UNT2. Nuestros hallazgos sugieren que la longitud óptima de los k-meros para clasificar los ncRNA es inferior a 7. Esta observación es fundamental ya que la viabilidad de la mayoría de los métodos basados en k-meros depende en gran medida del volumen del vocabulario que aumenta exponencialmente con el k-mero. longitud del mar. Además, nuestros hallazgos indican que los modelos que utilizan k-mers de longitud 6 y mayores superan a los modelos basados en subsecuencias más cortas al predecir las interacciones de la cromatina. Al enfatizar la importancia de los k-mers más largos, nuestro estudio proporciona información valiosa sobre el potencial de utilizar motivos de secuencia extendida para avanzar en nuestra comprensión de la organización estructural del genoma.