Bridging Natural Language and Hierarchical Multivariate Data Visualisation to Support Data Analysis

Abstract

[eng] Tracking and analysing the vast amounts of data generated from social networks and digital platforms presents important challenges, not only due to the overwhelming volume but also the complex relationships embedded within the data. This thesis addresses these challenges through data visualisation techniques, focusing on hierarchical and multivariate data, where visual clutter and effective use of space are key concerns. Furthermore, the rise of Visual Natural Language Interfaces (V-NLIs), also referred to in this thesis as VisChatbots, offers new opportunities to facilitate the interaction with data visualisations via natural language. This thesis contributes to the fields of Hierarchical Multivariate Data Visualisation and Visualisation-oriented Natural Language Interfaces. Specifically, we introduce a novel categorization algorithm to classify hierarchical data, from which we propose the most suitable visual designs for their visualisation. Additionally, we propose a new incremental design methodology for Vis-Chatbots, called VisChat. This structured approach guides the development of chatbots integrated into visualisation platforms, establishing smooth communication among stakeholders—end users, designers, and developers—and introducing new design artefacts, such as the VisAgent persona, visualisation conversation patterns, and conversational transcripts that help guide and validate the design of the VisChatbot. Following the VisChat methodology, we have integrated a VisChatbot into a platform for visualising hierarchical and multivariate data. To validate our proposal, we present a case study on the analysis of hate speech in online news articles, where the suitability of the proposed visualisations was evaluated, as well as the capability of the visualisation chatbot to enable users to easily explore and understand, through Natural Language interactions, both the structural relationships and the feature-based relationships within the data. In conclusion, this thesis not only advances data visualisation techniques for multivariate hierarchical data but also establishes a framework for integrating natural language interfaces intov isual analysis platforms, thereby promoting a more efficient and effective analysis of data.

[cat] Actualment, les xarxes socials i plataformes digitals presenten reptes no només pel volum de dades que generen, sinó també per la complexitat d’aquestes dades. Aquesta tesi aborda aquests reptes usant tècniques de visualització de dades, centrant-se en dades jeràrquiques i multivariades, on ´es especialment important transmetre la informació de manera comprensible i completa alhora. A més, el creixement de les interfícies visuals de llenguatge natural (V-NLIs), també denominades en aquesta tesi com a VisChatbots, ofereix noves oportunitats per facilitar la interacció amb visualitzacions de dades. Aquesta tesi contribueix als camps de la visualització de dades jeràrquiques multivariades i de les interfícies de llenguatge natural orientades a la visualització. Concretament, introduïm un nou algoritme de categorització per classificar dades jeràrquiques, a partir del qual es proposen els dissenys visuals més adients per a la seva visualització. Addicionalment, proposem una nova metodologia de disseny incremental per a VisChatbots, denominada VisChat. Aquest plantejament estructurat guia el desenvolupament de xat bots integrats en plataformes de visualització, establint una comunicació fluida entre els diferents actors (usuaris finals, dissenyadors i desenvolupadors) i proposant nous artefactes de disseny, com ara el VisAgent persona, patrons de converses de visualització i transcripcions conversacionals que permeten guiar i validar el disseny del VisChatbot. Seguint la metodologia VisChat, hem integrat un VisChatbot en una plataforma per visualitzar dades jeràrquiques i multivariades. Per validar la nostra proposta, presentem un estudi de cas sobre l’anàlisi del discurs d’odi en notícies en línia, on s’han avaluat la idoneïtat de les visualitzacions proposades, així com la capacitat del xat bot de visualització per permetre als usuaris explorar i comprendre fàcilment, amb interaccions en llenguatge natural, tant les relacions estructurals com les basades en característiques dins de les dades. En conclusió, aquesta tesi no nomes fa avançar les tècniques de visualització de dades per a dades jeràrquiques multivariades, sinó que també estableix un marc per integrar interfícies de llenguatge natural en plataformes d’anàlisi visual, fomentant així una anàlisi més eficient i efectiva de les dades.

[spa] Actualmente, las redes sociales y plataformas digitales presentan desafíos no solo por el volumen de datos que generan, sino también por la complejidad de los datos. Esta tesis aborda estos desafíos mediante técnicas de visualización de datos, centrándose en datos jerárquicos y multivariados, donde es especialmente importante transmitir la información de forma comprensible y completa a la vez. Además, el auge de las interfaces visuales de lenguaje natural (V-NLIs), también denominadas en esta tesis como VisChatbots, ofrece nuevas oportunidades para facilitar la interacción con visualizaciones de datos. Esta tesis contribuye a los campos de la visualización de datos jerárquicos multivariados y de las interfaces de lenguaje natural orientadas a la visualización. Concretamente, introducimos un nuevo algoritmo de categorización para clasificar datos jerárquicos, a partir de los cuales se proponen los diseños visuales más apropiados para su visualización. Adicionalmente, proponemos una nueva metodología de diseño incremental para VisChatbots, denominada VisChat. Este enfoque estructurado guía el desarrollo de chatbots integrados en plataformas de visualización, estableciendo una comunicación fluida entre los distintos actores (usuarios finales, diseñadores y desarrolladores) y proponiendo nuevos artefactos de diseño tales como el VisAgent persona, patrones de conversaciones de visualización y transcripciones conversacionales que permiten guiar y validar el diseño del VisChatbot. Siguiendo la metodología VisChat, hemos integrado un VisChatbot en una plataforma para visualizar datos jerárquicos y multivariados. Para validar nuestra propuesta, presentamos un estudio de caso sobre el análisis del discurso de odio en noticias online, donde se han avaluado la idoneidad de las visualizaciones propuestas, así como la capacidad del chatbot de visualización para permitir a los usuarios explorar y comprender fácilmente, con interacciones en lenguaje natural, tanto las relaciones estructurales como las basadas en características dentro de los datos. En conclusión, esta tesis no solo avanza las técnicas de visualización de datos para datos jerárquicos multivariantes, sino que también establece un marco para integrar interfaces de lenguaje natural en plataformas de análisis visual, fomentando así un análisis más eficiente y efectivo de los datos.