Dinàmica de l’arquitectura Transformer: Del pas discret a la modelització contínua

Abstract

[eng] In this document we study the Transformer architecture from a mathematical viewpoint, interpreting it as a particle system, to model the trajectory of the tokens we derive a first order differential equation, and we construct an energy function to obtain a second order dynamics as the continuous limit of a method called Hamiltonian (Symplectic Euler). We relate this dynamics to Polyak’s heavy-ball method and analyze its behavior. Finally, we validate the results with numerical simulations and explore the clustering.

[cat] En aquest treball estudiem matemàticament l’arquitectura Transformer que interpretem com un sistema de partícules, per modelar la trajectòria dels tokens derivem una equació diferencial de primer ordre i construïm una funció d’energia per obtenir una dinàmica de segon ordre a partir d’un esquema anomenat Hamiltonian (Euler simplèctic) i fer el seu límit continu. Relacionem aquesta dinàmica amb el mètode heavy-ball de Polyak i analitzem el comportament. Finalment, validem els resultats obtinguts amb simulacions numèriques i explorem el clustering.