Enhancing semantic segmentation models for high-resolution satellite imagery

El objetivo principal de esta memoria es estudiar, desarrollar y evaluar de manera justa modelos de segmentación semántica que utilicen datos con una resolución espacial limitada para abordar tareas que demandan un alto nivel de detalle, como la segmentación semántica de edificios y carreteras, aprovechando la disponibilidad de datos públicos y de libre acceso. De esta forma se busca reducir la brecha con productos de muy alta resolución, que actualmente son inaccesibles para la gran mayoría de usuarios. La memoria está organizada en torno a cuatro grandes objetivos, cada uno correspondiente a un problema abierto expuesto en la sección anterior, y que en conjunto abordan el objetivo principal mencionado: Estudiar y desarrollar modelos de segmentación semántica para abordar problemas que requieren de un alto nivel de detalle, como la segmentación de edificios y carreteras, utilizando imágenes satelitales de baja resolución espacial. Dados los numerosos métodos existentes en la literatura para segmentar edificios y carreteras [ZLW18, BHF+19,W+20, SZH+21], nos planteamos realizar un estudio de estas técnicas con el objetivo de identificar sus limitaciones y los problemas que puedan surgir al aplicarlas a imágenes satelitales de baja resolución, como las ofrecidas por los satélites Sentinel. Basándonos en esta información, planeamos diseñar un nuevo modelo de aprendizaje profundo capaz de extraer edificios y carreteras a partir de imágenes de baja resolución, con una calidad cercana a la obtenida a partir de imágenes de muy alta resolución. Investigar cuál es la mejor estrategia para abordar problemas de segmentación semántica con múltiples clases. Habitualmente, los problemas de segmentación semántica multi-clase se afrontan de manera directa [YRH18]. Sin embargo, en un contexto donde la resolución espacial influye significativamente en la separación de las clases, parece lógico recurrir a estrategias de descomposición binaria [LdCG09] o esquemas de entrenamiento multi-tarea [Gir15]. Estos enfoques podrían simplificar el problema multi-clase y, por tanto, mejorar la clasificación. No obstante, en el ámbito de la observación de la Tierra, estas estrategias no han sido ampliamente utilizadas en problemas de segmentación semántica. Por ello, nos proponemos llevar a cabo un estudio comparativo de las diferentes estrategias para abordar problemas de segmentación semántica con varias clases en el ámbito de la teledetección, con el objetivo de establecer pautas claras al respecto. Diseñar nuevas técnicas de aumento de datos que exploten la alta periodicidad que ofrecen los satélites de baja resolución. Las técnicas de aumento de datos basadas en fotometría aplicadas al ámbito de la observación de la Tierra presentan limitaciones importantes, como la generación de artefactos sintéticos y la incapacidad de modelar eventos como la siembra, cosecha o la posición del sol [GSD+20]. Además, estas técnicas se encuentran estrechamente ligadas a sensores ópticos, por lo que no son extrapolables a otros tipos de sensores como térmicos o radar. Por ello, nos plantemos proponer formas de explotar la alta periodicidad provista por los satélites de baja resolución como técnica de aumento de datos, sin necesidad de etiquetar estos datos previamente. Establecer pautas para comparar mapas de segmentación semántica a múltiples resoluciones. Dado que en literatura no existe un consenso sobre cómo se deben comparar métricas obtenidas a partir de modelos de segmentación semántica con resoluciones espaciales diferentes, nos planteamos estudiar las limitaciones y ventajas de cada una de las aproximaciones existentes para poder plantear pautas claras que indiquen cuál es la forma correcta de llevar a cabo dicha comparación.