Document type
Doctoral thesisVersion
Published versionPublication date
Publication license
Please use this identifier to cite or link to this item: https://hdl.handle.net/2445/228985
Topology-Enhanced Deep Learning
Journal Title
Authors
Journal ISSN
Volume Title
Related resource
Abstract
[eng] This thesis presents a comprehensive examination of topological deep learning through two complementary approaches: utilizing topological tools to analyze and improve traditional neural networks, and testing and developing novel architectures for learning on high-order topological domains such as simplicial or cellular complexes.
The thesis is organized into three thematic blocks. First, we establish the theoretical foundations of TDA and TDL, providing a comprehensive literature review of existing methodologies. Second, we exploit persistent homology —a fundamental TDA tool that quantifies multi-scale topological features— to analyze neural network activations and their relationship to neural network performance and generalization. We use the differentiability theory of persistent homology to develop topological regularization methods that demonstrably improve neural network performance on selected problems.
In the third block, we address the challenges of learning on high-order domains such as simplicial and cellular complexes. We introduce MANTRA, a novel topological dataset specifically designed to evaluate the capacity of TDL methods to leverage high-order structural information. Furthermore, we develop the Cellular Transformer, an adaptation of the transformer architecture to cellular complexes that addresses some of the limitations of message passing neural networks, such as their general inability to capture long-range interactions.
This thesis advances both the theoretical understanding of neural networks through a topological lens and the practical capabilities of learning algorithms on topological structures. The empirical results obtained in this thesis demonstrate that topology provides valuable insights into the geometric processes underlying deep learning while enabling more effective feature extraction from complex data representations. Thus, the research presented here expands the state-of-the-art in topological deep learning, establishing a foundation for more interpretable, topologically-aware neural architectures while opening promising avenues for future research at the intersection of algebraic topology and deep learning.
[eng] Aquesta tesi presenta un estudi exhaustiu de l’aprenentatge profund topològic mitjançant dos enfocaments complementaris: l’ús d’eines topològiques per analitzar i millorar les xarxes neuronals tradicionals, i el desenvolupament i l’anàlisi de noves arquitectures per a l’aprenentatge automàtic en dominis topològics d’ordre superior, com ara els complexos simplicials o els complexos cel·lulars. La tesi s’estructura en tres blocs. En el primer bloc, establim els fonaments teòrics de l’anàlisi de dades topològica (ADT) i l’aprenentatge profund topològic (APT) i realitzem una revisió bibliogràfica exhaustiva de les metodologies existents. En el segon bloc, utilitzem l’homologia persistent, una eina fonamental de l’ADT, per analitzar les activacions de les xarxes neuronals i la seva relació amb el rendiment i la generalització de la xarxa i per desenvolupar mètodes de regularització topològica que milloren de manera demostrable el rendiment de les xarxes neuronals en problemes seleccionats. En el tercer bloc, tractem l’ús de l’aprenentatge automàtic en dominis d’ordre superior, com ara els complexos simplicials o els cel·lulars. En primer lloc, desenvolupem MANTRA, un nou conjunt de dades topològic dissenyat específicament per avaluar la capacitat dels mètodes d’APT per aprofitar la informació estructural d’ordre superior contingut en els diferents complexos d’ordre superior. En segon lloc, desenvolupem el Transformer Cel·lular, una adaptació de l’arquitectura Transformer als complexos cel·lulars que resol algunes de les limitacions fonamentals de les xarxes neuronals de pas de missatges en complexos cel·lulars, com ara la seva incapacitat general per capturar interaccions de llarg abast entre cel·les del mateix complex. En resum, aquesta tesi avança tant en la comprensió teòrica de les xarxes neuronals, estàndard i d’ordre superior, a través d’una òptica topològica com en el desenvolupament d’aquestes xarxes. Els resultats obtinguts demostren que la topologia proporciona informació valuosa sobre els processos geomètrics subjacents a l’aprenentatge profund i que les xarxes d’ordre superior obtenen un rendiment superior a les xarxes estàndard quan l’estructura topològica de les dades és utilitzada correctament durant el procés d’inferència neuronal. Així doncs, la recerca presentada en aquesta tesi amplia l’estat de l’art en l’aprenentatge profund topològic, establint una base per a arquitectures neuronals més interpretables i conscients de la topologia, alhora que obre vies prometedores per a la investigació futura en la intersecció de la topologia algebraica i l’aprenentatge profund.
[eng] Aquesta tesi presenta un estudi exhaustiu de l’aprenentatge profund topològic mitjançant dos enfocaments complementaris: l’ús d’eines topològiques per analitzar i millorar les xarxes neuronals tradicionals, i el desenvolupament i l’anàlisi de noves arquitectures per a l’aprenentatge automàtic en dominis topològics d’ordre superior, com ara els complexos simplicials o els complexos cel·lulars. La tesi s’estructura en tres blocs. En el primer bloc, establim els fonaments teòrics de l’anàlisi de dades topològica (ADT) i l’aprenentatge profund topològic (APT) i realitzem una revisió bibliogràfica exhaustiva de les metodologies existents. En el segon bloc, utilitzem l’homologia persistent, una eina fonamental de l’ADT, per analitzar les activacions de les xarxes neuronals i la seva relació amb el rendiment i la generalització de la xarxa i per desenvolupar mètodes de regularització topològica que milloren de manera demostrable el rendiment de les xarxes neuronals en problemes seleccionats. En el tercer bloc, tractem l’ús de l’aprenentatge automàtic en dominis d’ordre superior, com ara els complexos simplicials o els cel·lulars. En primer lloc, desenvolupem MANTRA, un nou conjunt de dades topològic dissenyat específicament per avaluar la capacitat dels mètodes d’APT per aprofitar la informació estructural d’ordre superior contingut en els diferents complexos d’ordre superior. En segon lloc, desenvolupem el Transformer Cel·lular, una adaptació de l’arquitectura Transformer als complexos cel·lulars que resol algunes de les limitacions fonamentals de les xarxes neuronals de pas de missatges en complexos cel·lulars, com ara la seva incapacitat general per capturar interaccions de llarg abast entre cel·les del mateix complex. En resum, aquesta tesi avança tant en la comprensió teòrica de les xarxes neuronals, estàndard i d’ordre superior, a través d’una òptica topològica com en el desenvolupament d’aquestes xarxes. Els resultats obtinguts demostren que la topologia proporciona informació valuosa sobre els processos geomètrics subjacents a l’aprenentatge profund i que les xarxes d’ordre superior obtenen un rendiment superior a les xarxes estàndard quan l’estructura topològica de les dades és utilitzada correctament durant el procés d’inferència neuronal. Així doncs, la recerca presentada en aquesta tesi amplia l’estat de l’art en l’aprenentatge profund topològic, establint una base per a arquitectures neuronals més interpretables i conscients de la topologia, alhora que obre vies prometedores per a la investigació futura en la intersecció de la topologia algebraica i l’aprenentatge profund.
Subject
Subject (English)
Citation
Citation
BALLESTER BAUTISTA, Rubén. Topology-Enhanced Deep Learning. [consulted: 14 of June of 2026]. Available at: https://hdl.handle.net/2445/228985