Tipus de document
Treball de fi de grauData de publicació
Llicència de publicació
Si us plau utilitzeu sempre aquest identificador per citar o enllaçar aquest document: https://hdl.handle.net/2445/231784
Dinàmica de l’arquitectura Transformer: Del pas discret a la modelització contínua
Títol de la revista
Autors
Director/Tutor
Contribució addicional
ISSN de la revista
Títol del volum
Resum
[eng] In this document we study the Transformer architecture from a mathematical viewpoint, interpreting it as a particle system, to model the trajectory of the tokens we derive a first order differential equation, and we construct an energy function to obtain a second order dynamics as the continuous limit of a method called Hamiltonian (Symplectic Euler). We relate this dynamics to Polyak’s heavy-ball method and analyze its behavior. Finally, we validate the results with numerical simulations and explore the clustering.
[cat] En aquest treball estudiem matemàticament l’arquitectura Transformer que interpretem com un sistema de partícules, per modelar la trajectòria dels tokens derivem una equació diferencial de primer ordre i construïm una funció d’energia per obtenir una dinàmica de segon ordre a partir d’un esquema anomenat Hamiltonian (Euler simplèctic) i fer el seu límit continu. Relacionem aquesta dinàmica amb el mètode heavy-ball de Polyak i analitzem el comportament. Finalment, validem els resultats obtinguts amb simulacions numèriques i explorem el clustering.
Descripció
Treballs Finals de Grau de Matemàtiques, Facultat de Matemàtiques, Universitat de Barcelona, Any: 2026, Director: Domènec Ruiz-Balet
Recurs relacionat
Matèries
Matèries (anglès)
Citació
Col·leccions
Citació
SINGH KAUR, Arshdeep. Dinàmica de l’arquitectura Transformer: Del pas discret a la modelització contínua. [consulted: 30 of September of 2026]. Available at: https://hdl.handle.net/2445/231784