Optimització Geomètrica de Xarxes Neuronals en Espais Hiperbòlics a través de Sharpness-Aware Minimization

Abstract

[en] This Final Degree Project for the Double Degree in Mathematics and Computer Engineering addresses the geometric optimization of Deep Learning by adapting neural network architectures to hyperbolic space. More specifically, it utilizes the mathematical hyperboloid model Hn; also known in this field as the Lorentz model. Motivated by the limitations of Euclidean geometry in representing hierarchical data structures with minimal distortion, the work first establishes a rigorous mathematical foundation of the space, deriving essential operational tools such as parallel transport, exponential maps, and the analytical characterization of hyperbolic hyperplanes required for the automated image classification task. From an engineering perspective, a fully hyperbolic neural network architecture is adopted as a baseline, incorporating the Riemannian Sharpness-Aware Minimization (RSAM) algorithm to improve convergence and generalization on the manifold. Experimental validation on the CIFAR-100 and Caltech-256 datasets reveals that, while data augmentation allows Euclidean models to mitigate dimensional collapse, hyperbolic architectures optimized with RSAM demonstrate superior intrinsic stability. Specifically, stress tests confirm that these models learn representations that are significantly more resilient to perturbations and invariant to rotations compared to their flat counterparts.

[ca] Aquest Treball Final del Doble Grau en Matemàtiques i Enginyeria Informàtica aborda l’optimització geomètrica de l’aprenentatge profund adaptant les arquitectures de les xarxes neuronals a l’espai hiperbòlic. Més concretament, s’utilitza el model matemàtic de l’hiperboloide Hn; també conegut en aquest àmbit com a model de Lorentz. Motivat per les limitacions de la geometria Euclidiana per representar dades jeràrquiques amb la mínima distorsió, el treball estableix primerament una fonamentació matemàtica rigorosa de l’espai, deduint eines operatives essencials com el transport paral·lel, els mapes exponencials i la caracterització analítica dels hiperplans hiperbòlics necessaris per a la tasca de classificació automàtica d’imatges. Des d’una perspectiva d’enginyeria, s’adopta una arquitectura de xarxa neuronal completament hiperbòlica com a base i s’hi incorpora l’algorisme Riemannian Sharpness-Aware Minimization (RSAM) per millorar la convergència i la generalització sobre la varietat. La validació experimental sobre els conjunts de dades CIFAR-100 i Caltech-256 revela que, tot i que l’augment de dades permet als models euclidians mitigar el col·lapse dimensional, les arquitectures hiperbòliques optimitzades amb RSAM demostren una estabilitat intrínseca superior. Concretament, els tests d’estrès confirmen que aquests models aprenen representacions significativament més resilients a pertorbacions i invariants a rotacions en comparació amb els seus homòlegs plans.

[es] Este Trabajo Final del Doble Grado en Matemáticas e Ingeniería Informática aborda la optimización geométrica del aprendizaje profundo adaptando las arquitecturas de las redes neuronales al espacio hiperbólico. Más concretamente, se utiliza el modelo matemático del hiperboloide Hn; también conocido en este ámbito como modelo de Lorentz. Motivado por las limitaciones de la geometría Euclidiana para representar datos jerárquicos con la mínima distorsión, el trabajo establece primeramente una fundamentación matemática rigurosa del espacio, deduciendo herramientas operativas esenciales como el transporte paralelo, los mapas exponenciales y la caracterización analítica de los hiperplanos hiperbólicos necesarios para la tarea de clasificación automática de imágenes. Desde una perspectiva de ingeniería, se adopta una arquitectura de red neuronal completamente hiperbólica como base y se incorpora el algoritmo Riemannian Sharpness-Aware Minimization (RSAM) para mejorar la convergencia y la generalización sobre la variedad. La validación experimental sobre los conjuntos de datos CIFAR-100 y Caltech-256 revela que, aunque el aumento de datos permite a los modelos euclidianos mitigar el colapso dimensional, las arquitecturas hiperbólicas optimizadas con RSAM demuestran una estabilidad intrínseca superior. Concretamente, los tests de estrés confirman que estos modelos aprenden representaciones significativamente más resilientes a perturbaciones e invariantes a rotaciones en comparación con sus homólogos planos.