Models generatius d’aprenentatge profund: Estudi del Autoencoder Variacional

Abstract

[cat] L’autoencoder variacional es tracta d’un model d’aprenentatge profund que parteix de la clàssica estructura dels autoencoders per tal de generar noves dades. Aquest procés és possible gràcies a emular el comportament del cervell humà, projectant les dades en un espai latent on es recullen les característiques principals de les dades introduïdes de forma similar com ho fem nosaltres al utilitzar la nostra imaginació. S’introdueixen en primer lloc tots aquells conceptes necessaris per entendre el fun- cionament d’aquests models. Es parla sobre xarxes neuronals i com podem pensar en aquestes com models probabilístics, es detallen les mesures més importants emprades en el treball des de l’òptica de la teoria de la informació per tal de quantificar i comparar distribucions de probabilitat i per últim es presenta una taxonomia general dels models generatius. A continuació s’explica amb tot detall com funcionen els autoencoders variacionals. S’explica en què consisteixen exactament, quin paper té la funció objectiu alhora d’entrenar aquests models i quina és la seva interpretació. Durant el projecte, s’implementen dos autoencoders variacionals amb dos estructures de capes diferents. Aquets models s’implementen utilitzant els softwares de programació Python i R on es fa l’ús de les llibreries Tensorflow i Keras. Seguidament, a través de la hiperparametrització, es troba el conjunt de paràmetres que permeten generar imatges amb la millor qualitat possible per aquests models i es generen algunes a mode d’exemple. Desprès de reflexionar sobre el comportament d’aquets models tan singulars, es modifica la funció objectiu per tal de dur a terme la transició cap al MMD-VAE. Un enfoc alternatiu que també permet la generació de noves imatges. El treball culmina amb un apartat de conclusions on es recullen les idees més importants del treball i s’exposen els resultats obtinguts durant la recerca.

[eng] The variational autoencoder is a deep learning model that starts from the classic structure of autoencoders in order to generate new data. This process is possible by emulating the behavior of the human brain, projecting the data into a latent space where the main characteristics of the input data are collected in a similar way as we do when using our imagination. During the project two variational autoencoders are implemented by changing the internal layer structure. These autoencoders are implemented in Python and R using together Tensorflow and Keras libraries. In this project, besides this, a new approach of this model is introduced: the MMD- VAE. Modifying the loss function, we can obtain a model that is able to achieve good results that are worth to look at. To conclude the thesis, we summarize all the results and insights obtained from the research.