Tipus de document
Treball de fi de grauData de publicació
Llicència de publicació
Si us plau utilitzeu sempre aquest identificador per citar o enllaçar aquest document: https://hdl.handle.net/2445/228105
Evaluating and comparing open-source LLMs for summarisation of scientific papers
Títol de la revista
Autors
Director/Tutor
ISSN de la revista
Títol del volum
Recurs relacionat
Resum
[ca] El creixement exponencial de la literatura científica representa un repte considerable per als investigadors que volen extreure les idees més importants dels articles d’investigació. Aquesta tesi explora les habilitats dels Large Language Models (LLMs), sota llicència codi obert, per generar resums de tipus abstractiu d’articles científics. S’han avaluat diversos LLMs, amb diferents característiques (arquitectura, mida, estratègies d’entrenament previ i mecanismes de resumir), durant un procés d’ajust (fine-tuning). El projecte implementa una pipeline d’entrenament i avaluació la qual inclou els processos de descàrrega del dataset, preprocessament del dataset, ajust, producció de resum i avaluació dels resultats a partir d’una funció pròpia basada en mètriques com BLEU i ROUGE. Els experiments s’han realitzat en cinc models diferents, mostrant les diferències entre el rendiment i l’eficiència computacional. Els resultats finals mostren els punts forts i les limitacions de cada model, tant abans, com després de l’ajustament, en el context de resumir un text llarg, estructurat de caràcter científic.
[es] El aumento exponencial de la literatura científica presenta un reto considerable para investigadores que requieren extraer el contenido más relevante de artículos de investigación científica. Esta tesis explora las habilidades de los Large Language Models (LLMs) de licencia de código abierto, para generar resúmenes de tipo abstractivo sobre artículos científicos. Se han evaluado diferentes LLMs con distintas características (arquitectura, tamaño, estrategia de entrenamiento y mecanismos de resumen), durante un proceso de ajuste (fine-tuning). El proyecto implementa un pipeline de entrenamiento y avaluación, la cual incluye procesos de descarga del dataset, preprocesamiento del dataset, ajuste, producción de resúmenes y avaluación de los resultados utilizando una función propia basada en métricas cómo BLEU y ROUGE. Los experimentos se han realizado en cinco modelos distintos, mostrando la diferencias entre el rendimiento y la eficiencia computacional. Los resultados finales muestran los puntos fuertes y las limitaciones de cada modelo, antes y después del ajustamiento, en el contexto de resumir un texto largo, estructurado y de carácter científico.
[en] The rapid growth of scientific literature has made it increasingly challenging for researchers to efficiently extract key insights from dense papers. This thesis explores the abilities of open-source Large Language Models (LLMs) to generate abstractive summarisations of scientific articles. Several LLMs, with different characteristics (architecture, size, pre-training strategies and summarisation mechanisms), have been evaluated throughout fine-tuning. The project implemented a complete training and evaluation pipeline, including dataset downloading, dataset preprocessing, fine-tuning, summary generation and performance benchmarking using a custom score from metrics such as BLEU and ROUGE. Experiments were conducted across five different models, revealing trade-offs between performance and computational efficiency. Final results highlight the strengths and limitations of each model before and after fine-tuning in the context of long structured scientific text summarisation.
Descripció
Treballs Finals de Grau d'Enginyeria Informàtica, Facultat de Matemàtiques, Universitat de Barcelona, Any: 2025, Director: Daniel Ortiz Martínez
Citació
Citació
SUBIRANA I ADELL, Joan. Evaluating and comparing open-source LLMs for summarisation of scientific papers. [consulted: 5 of June of 2026]. Available at: https://hdl.handle.net/2445/228105