Kolmogorov-Arnold representation theorem and its applications to neural networks

Abstract

[ca] Profundament arrelat en la humanitat trobem el desig d’entendre i dominar el nostre entorn, així impulsant el desenvolupament tant d’eines intel·lectuals com d’enginyeria per facilitar-nos aquesta missió. Fins ara, aquesta necessitat s’ha abordat mitjançant el desenvolupament de nous resultats matemàtics i les seves aplicacions a la modelització del món. Un dels nostres reptes més grans ha estat la creació de màquines que puguin pensar. Teoritzades molt abans de tenir la tecnologia per desenvolupar-les, finalment hem arribat als primers “cervells artificials” que poden veure més enllà del que mai nosaltres hauríem pogut. En aquest projecte volem centrar-nos en una arquitectura particular que hi ha darrere d’un d’aquests “cervells”. Basant-se en gran mesura en el teorema de representació de Kolmogorov-Arnold, les KANs semblen poder millorar algunes peces fonamentals de la IA. A més, son capaces de capturar explícitament relacions matemàtiques en les dades observades, la qual cosa les fa més interpretables. A causa de la seva estreta relació amb les matemàtiques i la bellesa que hi ha al darrere, les hem triat com a objecte d’estudi en aquest treball.

[en] Deeply rooted in humankind is the desire to understand and rule our surroundings, driving the development of both intellectual and engineering tools to ease us this mission. So far, this urge has been tackled through the development of new mathematical results, and its applications to the modelling of the world. One of our biggest challenges has been the creation of machines that can think. Theorized long before we had the technology to develop them, we’ve finally got to the first “artificial brains” that can see further than we ever could. In this project we want to focus on one particular architecture behind one of those “brains”. Relying heavily on the Kolmogorov-Arnold representation theorem, KANs seem capable of improving some building blocks of AI. Also they appear to explicitly capture mathematical relations on the observed data, thus making them more interpretable. Due to their close relation to mathematics and the beauty behind those, we have taken them to be the object of study in this work.