Deep Learning Solutions for Semantic Segmentation of Topographic Airborne LiDAR Point Clouds

Abstract

[eng] Airbome LiDAR has become a key technology for large-scale mapping, providing dense three-dimensional point clouds that capture both natural landscapes and human-made infrastructure. Transforming these raw data into semantic information, however, remains a challenge due to irregular sampling patterns, strong class imbalance, and distribution shifts across regions and acquisition conditions. This thesis addresses these challenges by developing deep learning solutions tailored to the semantic segmentation of topographic airborne LiDAR point clouds, with an emphasis on operational applicability in national mapping workflows. We first introduce object-centric methods for detecting and segmenting vertical objects in cluttered scenes, proposing a constrained sampling that enhances the characterization of vertical structures embedded in vegetation. We then investigate training and inference procedures to handle variability in density and scale, demonstrating how inductive biases and uncertainty-based inference substantially improve robustness without requiring architectural modifications. To reduce reliance on costly manual annotation, we adapt self-supervised learning to airborne LiDAR data, showing that Barlow Twins pre-training improves downstream segmentation, particularly for underrepresented classes. Finally, we explore domain adaptation and incremental learning, integrating LoRA into PointNet++ to achieve parameter-efficient fine-tuning. We show how LoRA facilitates the addition of new semantic categories with minimal overhead. Beyond methodological advances, this research contributes new resources to the community, including the release of the TerLiDAR dataset. In addition, several of the proposed methods have also been transferred to productive workflows at the Institut Cartografíe i Geologic de Catalunya, where they support tasks such as refining digital surface models, detecting missing transmission towers, recovering filtered power lines, and classifying wind turbines. Together, these contributions demonstrate how deep learning can be scaled and adapted for reliable, real-world airborne LiDAR semantic segmentation, bridging the gap between research innovation and productive workflows.

[cat] El LiDAR aerotransportat s'ha consolidat com una tecnología clau per a la cartografía topogràfica a gran escala, proporcionant núvols de punts tridimensionals que capturen tant paisatges naturals com infraestructures fetes per humans. La transformació d'aquestes dades en informació semàntica, però, continua sent un repte a causa dels patrons de mostreig irregulars, el fort desequilibri entre categories, les diverses condicions d'adquisició i, en el nostre cas, la gran heterogeneïtat dels paisatges de Catalunya. Aquesta tesi afronta aquests reptes mitjançant el desenvolupament de solucions d'intel·ligència artificial pera la classificació dels núvols de punts LiDAR, amb èmfasi en l'aplicabilitat operativa en els fluxos de treball de mapatge regional i nacional. En primer lloc, presentem mètodes centrats en la detecció i segmentació d'objectes en escenes amb alta densitat de punts, i proposem un mostreig restringit que afavoreix la caracterització d' estructures verticals sovint amagades dins la vegetació. Tot seguit, explorem els procediments d'entrenament i d'inferència per afrontar la variabilitat tant en l'escala comen la densitat dels núvols de punts, i mostrem com els biaixos inductius i la inferència tenint en compte la incertesa milloren notablement la robustesa del model sense necessitat de modificar l'arquitectura de la xarxa neuronal. Per reduir la dependència de l'anotació manual, apliquem tècniques d'aprenentatge autosupervisat a les dades LiDAR, i demostrem que el preentrenament amb Bar-low Twins incrementa el rendiment de la classificació, sobretot en les classes menys representades. Finalment, aspirem a un model flexible, capaç d'incorporar nous paisatges i categories sense requerir un gran volum d'anotacions. La integració de LoRA a PointNet++ fa possible adaptar xarxes preentrenades a nous dominis amb una quantitat mínima de dades.

Més enllà dels avenços metodològics, aquesta recerca aporta nous recursos a la comunitat, entre ells la publicació de TerLiDAR. Per altra banda, els mètodes proposats també s'han traslladat als fluxos de treball de producció de l'Institut Cartogràfíc i Geològic de Catalunya, on donen suporta tasques com refinar models de superfície digital, detectar torres de transmissió, recuperar línies elèctriques emmascarades pel soroll del sensor i classificar turbines eòliques. Juntes, aquestes contribucions demostren com l'aprenentatge profundes pot escalar i adaptar pera una classificació de dades LiDAR fiable, reduint la bretxa entre la recerca, la innovació i els processos productius.