Enhancing data quality in IoT monitoring sensor networks

(English) In recent years, technological development and an increased number of cars among other factors, have influenced air pollution levels. This increase in levels has also increased the need to monitor them, as they are directly related to human health and the economy. To monitor air pollution, the government has deployed precise monitoring stations, which are expensive to deploy and maintain. Due to their cost, they are not widely distributed. However, since air pollution can change over short distances, the distribution of these stations can be insufficient. Recently, a solution has emerged: the use of low-cost sensors (LCSs), which provide broader coverage at a much lower cost. However, these LCSs have one drawback: the quality of the data they provide is poor. Current research in this field has employed machine learning (ML) models to calibrate these LCSs, thereby enhancing the quality of the data they provide. In an Internet of Things (IoT) monitoring network, the quality of data is closely associated with decision-making processes. This thesis focuses on enhancing the data quality provided by the LCSs from two perspectives: improving calibration performance and detecting anomalies and outliers. The objective of both of these perspectives is to ensure data accuracy and reliability. The first part of the thesis focuses on the improvement of the calibrated data provided by the LCSs and the detection of the concept drift and the update of the parameters of the current calibration model such that it adapts to the new conditions. We are enhancing the quality of the calibrated data by implementing a model pattern-based approach. Our proposed methods, Temporal Pattern Based Denoising (TPB-D) and Temporal Pattern Based Calibration (TPB-C), improve the quality of the calibrated data. Given that environmental conditions are subject to change over time, it is essential to update the parameters of the calibration model. We proposed Window-based Uncertainty Drift Detection and Recalibration (W-UDDR), a system capable of detecting the presence of concept drift (i.e., environmental changes). The second part of the thesis focuses on the reliability of the data. Sensors, regardless of their cost, are often prone to irregularities such as outliers, anomalies, or drift, which can be caused by various factors. It is critical to identify these irregularities, as the data will be incorporated into the training of the model related to other tasks. In this thesis, three distinct scenarios were examined. The first one is related to the detection of outliers in the edge. In this case, we proposed the Edge Streaming Outlier Detection (ESOD) framework. ESOD is a simple and lightweight framework that can identify outliers in the edge with a limited amount of memory. The system offers two approaches: real-time and near real-time. The near real-time approach involves minor delays in decision-making. The second approach is related to the detection of more complex irregularities, such as anomalies in a given sensor. This scenario is distinct from the first one in that it offers offline anomaly detection capabilities. We proposed spatiotemporal correlation recurrent autoencoder anomaly detection (STC-RAAD), which demonstrated satisfactory performance in detecting anomalies in a given sensor. It is worth noting that the third scenario pertains to the detection and localization of anomalies in a network of sensors. This is of particular relevance in scenarios where the identification and precise location of the source of an anomaly are crucial. We hereby propose a pattern-based attention recurrent autoencoder anomaly detection (PARAAD) method. This method is designed to detect and localize anomalies in sensors. (Català) En els darrers anys, el desenvolupament tecnològic i l'augment del nombre de cotxes, entre altres factors, han influït en els nivells de contaminació atmosfèrica. Aquest augment dels nivells també ha augmentat la necessitat de monitoritzar-los, ja que estan directament relacionats amb la salut humana i l'economia. Per controlar la contaminació atmosfèrica, el govern ha desplegat estacions de monitorització precises, que són cares de desplegar i mantenir. A causa del seu cost, no estan àmpliament distribuïdes. Tanmateix, com que la contaminació atmosfèrica pot canviar en distàncies curtes, la distribució d'aquestes estacions pot ser insuficient. Recentment, ha sorgit una solució: l'ús de sensors de baix cost (LCS), que proporcionen una cobertura més àmplia a un cost molt menor. Tanmateix, aquests LCS tenen un inconvenient: la qualitat de les dades que proporcionen és deficient. La recerca actual en aquest camp ha utilitzat models d'aprenentatge automàtic (ML) per calibrar aquests LCS, millorant així la qualitat de les dades que proporcionen. En una xarxa de monitorització de l'Internet de les Coses (IoT), la qualitat de les dades està estretament associada amb els processos de presa de decisions. Aquesta tesi se centra en millorar la qualitat de les dades proporcionades pels LCS des de dues perspectives: millorar el rendiment de calibratge i detectar anomalies i valors atípics. L'objectiu d'ambdues perspectives és garantir la precisió i la fiabilitat de les dades. La primera part de la tesi se centra en la millora de les dades calibrades proporcionades pels LCS i la detecció de la deriva conceptual i l'actualització dels paràmetres del model de calibratge actual de manera que s'adapti a les noves condicions. Estem millorant la qualitat de les dades calibrades implementant un enfocament basat en patrons de model. Els nostres mètodes proposats, Temporal Pattern Based Denoising (TPB-D) i Temporal Pattern Based Calibration (TPB-C), milloren la qualitat de les dades calibrades. Atès que les condicions ambientals estan subjectes a canvis amb el temps, és essencial actualitzar els paràmetres del model de calibratge. Vam proposar Window-based Uncertainty Detection and Recalibration (W-UDDR), un sistema capaç de detectar la presència de deriva conceptual (és a dir, canvis ambientals). La segona part de la tesi se centra en la fiabilitat de les dades. Els sensors, independentment del seu cost, sovint són propensos a irregularitats com ara valors atípics, anomalies o deriva, que poden ser causades per diversos factors. És crític identificar aquestes irregularitats, ja que les dades s'incorporaran a l'entrenament del model relacionat amb altres tasques. En aquesta tesi, s'han examinat tres escenaris diferents. El primer està relacionat amb la detecció de valors atípics a la vora. En aquest cas, hem proposat el marc de treball Edge Streaming Outlier Detection (ESOD). ESOD és un marc de treball senzill i lleuger que pot identificar valors atípics a la vora amb una quantitat limitada de memòria. El sistema ofereix dos enfocaments: en temps real i gairebé en temps real. L'enfocament gairebé en temps real implica retards menors en la presa de decisions. El segon enfocament està relacionat amb la detecció d'irregularitats més complexes, com ara anomalies en un sensor determinat. Aquest escenari es diferencia del primer en què ofereix capacitats de detecció d'anomalies fora de línia. Hem proposat la detecció d'anomalies de l'autocodificador recurrent de correlació espaciotemporal (STC-RAAD), que ha demostrat un rendiment satisfactori. Cal destacar que el tercer escenari es refereix a la detecció i localització d'anomalies en una xarxa de sensors. Això és de particular rellevància en escenaris on la identificació i la ubicació precisa de la font d'una anomalia són crucials. Proposem un mètode de detecció d'anomalies d'autocodificadors recurrents d'atenció basat en patrons (PARAAD) dissenyat per detectar i localitzar anomalies en sensors. (Español) El desarrollo tecnológico y el aumento del parque móvil han influido en los niveles de contaminación atmosférica, lo que ha incrementado la necesidad de controlarlos, ya que están relacionados con la salud humana y la economía. El Gobierno ha instalado estaciones de control precisas, cuya instalación y mantenimiento son costosos. Debido a su coste, no están muy extendidas y la distribución de estas estaciones puede ser insuficiente. Recientemente, ha surgido una solución: el uso de sensores de bajo coste (LCS), que proporcionan una cobertura más amplia a un coste mucho menor. Sin embargo, estos LCS tienen un inconveniente: la calidad de los datos que proporcionan es deficiente. Las investigaciones actuales en este campo han empleado modelos de aprendizaje automático (ML) para calibrar los LCS, mejorando la calidad de los datos. En una red de monitorización del IoT, la calidad de los datos está relacionada con los procesos de toma de decisiones. Esta tesis se centra en mejorar la calidad de los datos proporcionados por los LCS desde dos perspectivas: mejorar el rendimiento de la calibración y detectar anomalías y valores atípicos. El objetivo es garantizar la precisión y la fiabilidad de los datos. La primera parte de la tesis se centra en la mejora de los datos calibrados proporcionados por los LCS y en la detección de la deriva conceptual y la actualización de los parámetros del modelo de calibración actual para que se adapte a las nuevas condiciones. Hemos propuesto la mejora de la calidad de los datos calibrados mediante la implementación de un enfoque basado en patrones de modelos. Nuestros métodos propuestos, usan la eliminación de ruido basado en patrones temporales (TPB-D) y la calibración basada en patrones temporales (TPB-C), y mejoran la calidad de los datos calibrados. Dado que las condiciones ambientales están sujetas a cambios a lo largo del tiempo, es esencial actualizar los parámetros del modelo de calibración. Hemos propuesto la detección de deriva de incertidumbre basada en ventanas y recalibración (W-UDDR), un sistema capaz de detectar la presencia de deriva conceptual (cambios ambientales). La segunda parte de la tesis se centra en la fiabilidad de los datos. Los sensores, independientemente de su coste, suelen ser propensos a irregularidades como valores atípicos, anomalías o desviaciones, que pueden estar causadas por diversos factores. Es fundamental identificar estas irregularidades, ya que los datos se incorporarán al entrenamiento del modelo relacionado con otras tareas. En esta tesis se examinaron tres escenarios distintos. El primero está relacionado con la detección de valores atípicos en el borde. En este caso, hemos propuesto un marco de referencia que hemos llamado Edge Streaming Outlier Detection (ESOD). ESOD es un marco sencillo y ligero que puede identificar valores atípicos en el borde con una cantidad limitada de memoria. El sistema ofrece dos enfoques: en tiempo real y casi en tiempo real. El enfoque casi en tiempo real implica pequeños retrasos en la toma de decisiones. El segundo enfoque está relacionado con la detección de irregularidades más complejas, como anomalías en un sensor determinado. Este escenario se diferencia del primero en que ofrece capacidades de detección de anomalías fuera de línea. Propusimos la detección de anomalías mediante autoencoder recurrente de correlación espacio-temporal (STC-RAAD), que demostró un rendimiento satisfactorio en la detección de anomalías en un sensor determinado. Cabe señalar que el tercer escenario se refiere a la detección y localización de anomalías en una red de sensores. Esto es especialmente relevante en escenarios en los que la identificación y la localización precisa del origen de una anomalía son cruciales. Por ello, hemos propuesto un método de detección de anomalías mediante autoencoder recurrente de atención basado en patrones (PARAAD). Este método está diseñado para detectar y localizar anomalías en sensores.