Carregant...
Tipus de document
Treball de fi de grauData de publicació
Llicència de publicació
Si us plau utilitzeu sempre aquest identificador per citar o enllaçar aquest document: https://hdl.handle.net/2445/228572
Enhancing Computer Vision Models Using Persistent Homology-Based Descriptors
Títol de la revista
Director/Tutor
ISSN de la revista
Títol del volum
Recurs relacionat
Resum
[en] Deep Neural Networks (DNNs) often fail to capture the underlying hierarchical topological structures present in images, a limitation particularly critical in domains such as medical imaging, where fine anatomical details are essential. Topological Data Analysis (TDA), and specifically its prominent technique, persistent homology, serves as a robust tool to detect and represent these structures by summarizing them into Persistence Diagrams. This final degree project explores the theoretical framework and foundations required to understand persistent homology and its applications to image analysis. It also explores the applications of persistent homology in machine learning, specifically applied to multiclass image classification tasks using Deep Neural Networks (DNNs). An effective way to integrate topological information into DNNs is to encapsulate it into a feature vector. While many existing methods enhance architectures like Transformers or CNNs by generating topological descriptors based on static information, this work focuses on learnable strategies. Leveraging the recent architecture, PHG-Net (Peng et al. [46]) as a foundation, we employ a framework where homological descriptors are not fixed manually but are adaptively selected and optimized by the network during training. In this way, we achieve greater generalization and flexibility by enabling the model to autonomously learn the optimal persistent features, rather than relying on fixed, manually selected descriptors. Consequently, this work aims to validate and extend this methodology by establishing a comprehensive experimental benchmark on ISIC 2018, a complex medical imaging dataset and CIFAR-100, which includes more general objects. Furthermore, we conduct a qualitative analysis to evaluate the robustness and decision-making confidence of topologically enhanced models. This includes examining the specific regions where the model focuses on using Grad-CAMs, and analyzing the geometric organization of learned features through dimensionality reduction techniques such as PCA, t-SNE, and UMAP.
[ca] Les Xarxes Neuronals Profundes (DNNs) sovint no aconsegueixen capturar les estructures topològiques jeràrquiques subjacents presents a les imatges, una limitació especialment crítica en imatges mèdiques, on els detalls anatòmics fins són essencials. L’Anàlisi Topològica de Dades (TDA), i específicament la seva tècnica més destacada, l’homologia persistent, serveix com una eina robusta per detectar i representar aquestes estructures resumint-les en Diagrames de Persistència. Aquest Treball de Final de Grau explora el marc teòric i els fonaments necessaris per entendre l’homologia persistent i les seves aplicacions a l’anàlisi d’imatges. També s’exploren les aplicacions de l’homologia persistent en l’aprenentatge automàtic, aplicat específicament a tasques de classificació d’imatges utilitzant Xarxes Neuronals Profundes. Una forma efectiva per integrar la informació topologica a les DNNs és encapsular-la en vectors de característiques. Mentre que molts mètodes existents milloren arquitectures com els Transformadors o les CNN, generant descriptors topològics basats en regles estàtiques, aquest treball es centra en estratègies aprenibles. Utilitzant l’arquitectura PHG-Net (Peng et al. [46]) com a base, emprem un marc on els descriptors homològics no es fixen manualment, sinó que se seleccionen de manera adaptativa i són optimitzats per la xarxa durant l’entrenament.
D’aquesta manera, aconseguim una major generalització i flexibilitat permetent que el model aprengui de manera autònoma les característiques persistents òptimes, en lloc de dependre de descriptors fixos seleccionats manualment.
Consegüentment, aquest treball té com a objectiu validar i estendre aquesta metodologia establint un punt de referència experimental exhaustiu amb l’ISIC 2018, un conjunt de dades complex d’imatges mèdiques, i el CIFAR-100, que inclou objectes més generals. A més, realitzem una anàlisi qualitativa per avaluar la robustesa i la confiança en la presa de decisions dels models millorats topològicament. Això inclou examinar les regions específiques on el model focalitza la seva atenció utilitzant Grad-CAMs, i analitzar l’organització geomètrica de les característiques apreses mitjançant tècniques de reducció de dimensionalitat com PCA, t-SNE i UMAP.
Descripció
Treballs Finals de Grau d'Enginyeria Informàtica, Facultat de Matemàtiques, Universitat de Barcelona, Any: 2026, Director: Petia Radeva, Bhalaji Nagarajan i Carles Casacuberta
Matèries (anglès)
Citació
Citació
LYAZIDI AHRILLOU ABRARAY, Soufiane. Enhancing Computer Vision Models Using Persistent Homology-Based Descriptors. [consulta: 7 de abril de 2026]. [Disponible a: https://hdl.handle.net/2445/228572]