Development and application of new strategies for data fusion of hyperspectral images

Abstract

[eng] Hyperspectral images (HSIs) are unique analytical measurements that provide spatial and chemical information about samples. Each pixel of a HSI contains a spectroscopic measurement, representing the chemical information of the material present at that specific area. Nowadays, there are extremely diverse hyperspectral imaging platforms. For example, offering HSIs with different spatial resolutions, such as the spatial resolution of fluorescence and infrared images, where the spatial resolution can vary from few nanometres to tens of microns, respectively or, on the other hand, providing different spectroscopic modalities, such as the excitation-emission HSIs, where each pixel is associated with a 2D excitation-emission landscape. While the analysis of individual HSIs by chemometric methods provides comprehensive and rich chemical information about the nature of samples, often the connection and complementary information among the individual images remains unused and hidden. The integration and the simultaneous analysis of multiple HSIs in a single data structure or multiset, commonly referred as image fusion, offers a unique multiscale perspective of the sample constituents. However, there are scenarios where the data fusion of hyperspectral images presents significant challenges, particularly when dealing with differences in scanned areas, spatial resolution, or spectral dimensionality. Moreover, there is a special interest in enhancing the analysis of fluorescence images due to their unique properties, especially when incorporating them into multiset structures. This integration offers distinct advantages in the field of image fusion. This thesis proposes, on one hand, novel algorithms to enhance the analysis of excitation-emission fluorescence images and Time-resolved Fluorescence Spectroscopic data. These algorithms improve unmixing processes and facilitate the extraction of crucial information from fluorescence signals. On the other hand, the thesis provides an open-access protocol for multiplatform image fusion, addressing differences in spectral dimensionality and coping with missing blocks of information. This involves developing flexible algorithms to handle varying spatial resolutions, scanned sample areas, and spectroscopic natures across different hyperspectral images. The proposed algorithms and methodologies offer a significant advancement in the field of hyperspectral imaging analysis, enabling more comprehensive and insightful understanding of samples across various scales.

[spa] Las imágenes hiperespectrales (HSI) son medidas analíticas que proporcionan información espacial y química de las muestras. Cada píxel de una HSI contiene una medida espectroscópica, que representa la información química del material presente en esa área específica. Hoy en día, existen plataformas de imágenes hiperespectrales extremadamente diversas. Por ejemplo, con diferente resolución espacial, como la resolución espacial de imágenes de fluorescencia e infrarrojo, donde la resolución espacial puede variar desde unos pocos nanómetros hasta decenas de micrómetros, respectivamente, o con diferentes modalidades espectroscópicas, como las HSI de excitación-emisión, donde cada píxel está asociado a un paisaje de excitación-emisión 2D. Aunque el análisis de HSIs individuales mediante métodos quimiométricos proporciona información química sobre la naturaleza de las muestras, la conexión y la información complementaria entre las imágenes individuales es omitida. La integración y el análisis simultáneo de múltiples HSIs en una única estructura de datos o multiset, conocido como fusión de imágenes, ofrece una perspectiva multiescala única de los constituyentes de la muestra. Sin embargo, hay escenarios donde la fusión de datos de HSIs presenta desafíos significativos, especialmente en el tratamiento de diferencias en áreas escaneadas, resolución espacial o dimensionalidad espectral. Además, hay un interés especial en mejorar el análisis de imágenes de fluorescencia por sus propiedades únicas, especialmente cuando se incorporan a estructuras multiset. Esta integración ofrece ventajas distintivas en el campo de la fusión de imágenes. Esta tesis propone, por un lado, algoritmos innovadores para mejorar el análisis de imágenes de fluorescencia. Estos algoritmos mejoran los procesos de desmezcla y facilitan la extracción de información crucial de las señales de fluorescencia. Por otro lado, la tesis proporciona un protocolo open acces para la fusión de imágenes de más de una plataforma, abordando diferencias en la dimensionalidad espectral y enfrentando la problemática de los missing data. Esto implica desarrollar algoritmos flexibles para manejar resoluciones espaciales variables, áreas de escaneo de muestras y naturalezas espectroscópicas a través de diferentes imágenes hiperespectrales. Los algoritmos y metodologías propuestos ofrecen un avance significativo en el campo del análisis de imágenes hiperespectrales, permitiendo una comprensión más completa de las muestras a través de múltiples escalas.