AMY – Autonomes mobiles robotergestütztes Monitoringsystem für Großstrukturen (intern)
Das Ziel von Amy ist die Schaffung eines autonomen mobile Mapping Systems, welches speziell für die Inspektion und das Monitoring von Infrastrukturbauwerken eingesetzt werden soll. Amy besteht aus einer mobilen Plattform (Roboterfahrzeug), diversen Sensoren (u. a. Kameras, Laserscanner) und einer Datenanalysesoftware. Das System kann dabei als Baukasten betrachtet werden – frei adaptierbar und mit freien Schrittstellen ausgestattet. Mittelfristig soll Amy in Richtung vernetzter Sensor entwickelt werden und mit anderen Robotern (u. a. Drohnen) kooperativ agieren.
Projektleitung: Prof. Dr. Alexander Reiterer
Projektlaufzeit: seit 2019
Gefördert durch: intern
ECOSENSE – Skalenübergreifende Quantifizierung von Ökosystemprozessen in ihrer räumlich-zeitlichen Dynamik mittels smarter autonomer Sensornetzwerke (DFG SFB 1537)
Projekt B2: Fernerkundung von laserinduziertem ChlF als Indikator für die Vitalität von Baumkronen unter Verwendung von UAVs mit robuster, leichter Instrumentierung
Dürren, Überschwemmungen und Hitzewellen gefährden Waldökosysteme weltweit. Doch die Auswirkungen dieser Gefahren auf Wälder mit ihren komplexen Prozessen und Boden-Pflanzen-Atmosphäre-Interaktionen weitgehend unerforscht. Im Rahmen von ECOSENSE wird ein autonomes, intelligentes Sensornetzwerk entwickelt mit dessen Hilfe die Prozesse und Interaktionen in Waldökosystemen analysiert und modelliert werden können.
Durch Chlorophyllfluoreszenzmessungen kann die Photosyntheseaktivität der Pflanzen, ein Hauptindikator der Vitalität des Waldökosystems, gemessen werden. Im Rahmen des Teilprojektes B2 wird ein kompakter, UAV-getragener Sensor zur laserinduzierten Chlorophyllfluoreszenzmessung entwickelt. Die mit diesem Sensor gewonnenen Daten werden künftig zur Erstellung von 4D-Vitalitätskarten dienen.
FOURIER – Innovative Artificial Intelligence methodologies for monitoring and maintaining large scale complex infrastructures and obtaining greener, more resilient and smart societies (MSCA)
DC 5 – Super-resolution techniques to enhance low-resolution metering and Inspection data
Die Qualität der Überwachungsdaten wirkt sich erheblich auf die Genauigkeit von KI-basierten Algorithmen zur Fehlererkennung aus. Bei visuellen Inspektionen mit Drohnen und Open-Source-Geodaten (z. B. OpenStreetMap, Satellitendaten) ist die Bild- und Videoqualität oft begrenzt. Im Rahmen dieser Forschungsarbeit werden KI-basierte Multi-Zeitreihen-Daten und Video-Superresolution-Techniken eingesetzt, um hochauflösende Bilder und Videos aus niedrig aufgelösten Eingaben zu rekonstruieren und so den Informationsgewinn zu maximieren und die Unsicherheit zu minimieren. Dieser Ansatz reduziert den Bedarf an hochauflösenden Kameras und Sensoren. Ziel ist die Entwicklung KI-gestützter Klassifizierungs- und Informationsextraktionsverfahren zur Bewertung des mechanischen Zustands, zur Erkennung von Degradation, Ausfällen und Schäden durch böswillige Ereignisse (z. B. Stöße, Schäden durch Drohnen). Die Techniken werden für Gebäude und grüne Infrastruktur-Subsysteme entwickelt und anhand von Daten von Partnern und Kommunen in Fallstudien validiert.
KaSyTwin – Generierung und Nutzung von digitalen Zwillingen bestehender Kanalinfrastruktur zur Steigerung der Verfügbarkeit und Resilienz im Betrieb (BMDV mfund)
Die Kanalinfrastruktur hat eine enorme Relevanz für die Daseinsvorsorge weltweit. Allerdings ist die bestehende Kanalinfrastruktur in der Regel sehr alt und hat einen hohen Erhaltungsbedarf. Aktuell werden die Systeme bei Bedarf gewartet und in Stand gesetzt. Im Rahmen von KaSyTwin entwickeln wir gemeinsam mit unseren Projektpartnern eine Prozesskette zur Erstellung von Digitalen Zwillingen bestehender Kanalinfrastruktur zur prädiktiven Instandhaltung durch intelligente Resilienzvorhersagen. Hierfür entwickeln wir an der Universität Freiburg robuste Sensorplattformen, ausgestattet mit Kameras und Laserscanningsystemen, zur Kartierung der Kanalinfrastruktur. Ziel ist der Aufbau zweier miteinander kommunizierender Plattformen, deren Daten die Basis für die Erstellung des Digitalen Zwillings darstellen. Zusätzlich sollen Schäden in Echtzeit durch die Sensorplattformen detektiert und lokalisiert werden.
LeafH2O – Ein Drohnen-basiertes 2-Wellenlängen LiDAR zur Bestimmung des Blattwassergehalts (DFG SPP 2433)
Durch den globalen Klimawandel werden kommt es in vielen Regionen häufiger zu intensiven Dürreperioden, die fatale Folgen für Pflanzen haben. So reduziert sich die Produktivität und die Anfälligkeit für Schädlinge und Krankheiterreger steigt. Dadurch steigen die Herausforderungen für Ökologie und Ökonomie. Ein zentraler Indikator zur Verfolgung der Auswirkungen ist der Blattwassergehalt von Pflanzen. Bisher lässt sicher dieser nur sehr aufwendig und wenig effizient bestimmt. Fernerkundungsmethoden versprechen hier großes Potenzial, jedoch sind bestehende Verfahren eher Schätzmethoden, die lediglich das Kronendach betrachten. In LeafH2O werden wir deshalb mit unserem Partner einen 2-Wellenlängen-Laserscanner zur Bestimmung des Blattwassergehalts entwickeln.
MoCES – Modellierung von Ingenieurbauwerken unter besonderer Berücksichtigung von unvollständigen und unsicheren Messdaten durch erklärbares maschinelles Lernen (DFG SPP 2388)
Der Zustand eines Bauwerks ist dadurch gekennzeichnet, dass er sich mit zu-nehmendem Alter immer schneller verschlechtert. Eine vorbeugende Maßnahme gegen die Alterung ist umso erfolgreicher, je früher sie ergriffen wird. Um die Nutzbarkeit komplexer Bauwerke zu verlängern, sind viel mehr Informationen zu einem viel früheren Zeitpunkt erforderlich, als dies heute üblich ist. Auf dem Weg zu einer vorausschauenden Instandhaltung ist Grundlagenforschung zu den Methoden der Erfassung, Zusammenführung und Auswertung aller Geometrie-, Werkstoff-, Beanspruchungs- und Alterungsdaten erforderlich. Die Digitalisierung im Sinne der Erzeugung eines digitalen Zwillings bekommt in diesem Zusammenhang eine völlig neue Bedeutung. Sie ermöglicht die Zusammenführung und Echtzeitauswertung aller für Betrieb und Instandhaltung erforderlichen Daten.
Das Hauptziel unseres Vorhabens ist die Erforschung und Entwicklung neuer Methoden und Verfahren zur automatisierten Modellierung komplexer Gebäudestrukturen. Dabei geht es darum, verschiedenste Datenströme zu fusionieren und deren Unsicherheit und Unvollständigkeit zu berücksichtigen. Die Modellierung, die auf der Basis von Methoden des maschinellen Lernens realisiert wird, soll um eine erklärende Komponente erweitert werden, so dass Schlussfolgerungen im Sinne einer Objektmodellierung und Rekonstruktion reproduzierbar sind.
RoboTUNN – Robotergestützte Bestandsaufnahme von U-Bahn-Tunneln zur Generierung digitaler Zwillinge und prädiktiver Instandhaltung (BMDV mfund)
U-Bahnen in Deutschland werden seit langer Zeit betrieben. Um die Nutzbarkeit und Sicherheit der Tunnel auch weiterhin zu gewährleisten, müssen Sie regelmäßig in Stand gesetzt werden. Zur Planung der Instandsetzung sind regelmäßige Inspektionen der Anlagen und deren Interior notwendig. Derzeit werden diese Inspektionen händisch durchgeführt. Ebenso ist die Datengrundlage sehr inkonsistent. Daher entwickeln wir in RoboTUNN gemeinsam mit unseren Partnern ein System zur automatisierten Tunnelinspektion und Digitale Zwillinge als Grundlage für ein prädiktive Instandhaltungsmanagement.
Unser Ziel im Projekt ist die Entwicklung einer von einem Quadruped Roboter getragene Messbox zur Erfassung der Tunnelgeometrie und der Schäden. Zur Beschleunigung der Prozesse soll die Auswertung der Daten zur Schadensdetektion mittels Echtzeit-KI umgesetzt werden. Die Modellierung des Tunnels wird durch eine semantische Anreicherung und eine automatisierte Generierung der Geometrie umgesetzt.
Wälder verändern sich kontinuierlich. Diese Veränderungen zu erkennen ist Aufgabe der Waldzustandserfassung. Hierfür werden sogenannte Level I und Level II-Flächen durch visuelle Bonitur stichprobenartig untersucht. Im Rahmen von WaldVital sollen sowohl Multispektralkameras und Zweiwellenlänger-Laserscanner als auch handgehaltene Laserscanner zu genutzt werden, um die Waldzustandserfassung zu unterstützen. Die aus diesen Sensoren gewonnenen Daten und Bestandsdaten dienen als Grundlage für ein automatisierte Analyse für die Zustands- und Vitalitätserfassung. Diese Daten sollen wiederum dazu dienen, Wiederbewaldungsflächen nachhaltiger zu gestalten und diese auch zu überwachen. In Kooperation mit unseren Projektpartnern werden sowohl Aufnahme- und Auswertemethoden entwickelt und ein Konzept für ein Waldinformationssystem entwickelt werden.
Projektleitung: Prof. Dr. Alexander Reiterer
Projektlaufzeit: 2024 – 2027
Gefördert durch:
Abgeschlossene Projekte
ErfASst – Erhöhung des Automatisierungsgrades für die Bewertung der Standsicherheit von Brücken (Leistungszentrum Nachhaltigkeit)
Brücken sind neben Tunneln die neuralgischen Elemente in der Verkehrsinfrastruktur. Ausfälle dieser Elemente können weitreichende Folgen für Leib und Leben, aber auch für die Versorgungssicherheit haben. Durch den stetigen Anstieg vor allem des Güterverkehrs sowohl auf der Schiene als auch auf der Straße, steigt die Belastung von Brückenbauwerken an. Derzeit werden Brücken alle drei Jahre in aufwendigen, manuellen Verfahren auf Standfestigkeit und Gebrauchstauglichkeit geprüft.
Mit ErfASst soll die Prüfung von Brücken teil-automatisiert und kostengünstiger werden. Der Einsatz neuster Sensorik und Algorithmen soll die Detektion von Rissen und die Bewertung deren Auswirkung beschleunigen. Umgesetzt werden die entwickelten Methoden in einem Demonstrator.
FiVe3D – Fernerkundung für innovative Verfahren des Waldstrukturmonitoring (Bundesstiftung Umwelt)
Um Wälder erhalten, schützen und nachhaltig bewirtschaften zu können, ist ein kontinuierliches Waldmonitoring notwendig. Aktuell werden Waldinventuren für Wald-strukturmonitoring in Form von kosten- und zeitintensiven terrestrischen Stichproben auf sehr kleinen Flächen durchgeführt. Im Projekt FiVe3D werden UAV-getragene Multispektralkameras und Laserscanner eingesetzt, um Wälder flächenhalt zu erfassen. Aus den Kamera- und Scannerdaten werden dann mit Hilfe von KI-Methoden Waldstrukturparameter, wie z.B. Baumpositionen, Baumhöhen, Kronenbasishöhen, Baumartenverteilung und Verteilung von stehendem Totholz sowie das Kronenform und -volumen, abgeleitet.
Projektleitung: Prof. Dr. Alexander Reiterer
Projektlaufzeit: 2022 – 2024
mdfBIM+ – Teilautomatisierte Erstellung von objektbasierten Bestandsmodellen mittels Multi-Daten-Fusion multimodaler Datenströme und vorhandener Bestandsdaten (BMDV mfund)
Um die Verkehrsinfrastruktur in Deutschland sicher und effektiv zu gestalten, müssen die über 65.000 Brücken regelmäßig inspiziert, bei Bedarf saniert oder sogar neu gebaut werden. Sowohl für den Neubau als auch die Sanierung werden genaue und aussagekräftige Bestandsdaten benötigt. Vorhandene Pläne sind häufig unvollständig oder veraltet. In den seltensten Fällen stehen 3D-Modelle des Bestandes zur Verfügung. Genau hier setzt mdfBIM+ an. Ziel des Projektes ist die Entwicklung eines teilautomatisierten Prozesses und digitaler Werkzeuge zur Dateninteraktion und -modifikation für die Erstellung von georeferenzierten, objektbasierten Bestandsmodellen. Mit multimodaler Datenerfassung des Ist-Zustandes durch statisches und mobiles Laserscanning (LiDAR), drohnen-basierte sowie mobile terrestrische Photogrammetrie soll in Kombination mit vorhandenen Bestandsdaten, z. B. analoge Grundrisse, CAD-Pläne, Bauwerksbücher, Gutachten, SAP, ein veredeltes Bestandsmodell erstellt werden. Durch eine weitgehende Automatisierung kann dies effizient für die Bestandsinfrastruktur und insbesondere die große Anzahl an Brückenbauwerken eingesetzt werden.
Wir fokussieren uns im Rahmen des Projektes auf die Analyse der multimodal erfassten Daten. 3D-Punktwolken aus den unterschiedlichen Quellen werden fusioniert und semantisch segmentiert, bevor sie mit den Bestandsplänen zusammengeführt werden.
RaVeNNA 4pi – Digitale Plattform mit 4PI real-time Endoimaging zur endoskopischen 3D-Rekonstruktion, Visualisierung und Nachsorgeunterstützung von Patienten mit Harnblasenkarzinom (BMBF)
Die Endoskopie gewinnt immer mehr an Bedeutung in der Chirurgie, da sie minimal-invasive und dadurch schonender Eingriffe ermöglicht. 3D-Modelle aus den Bildern der Endoskopie ermöglichen u. a. eine präzisere und somit effiziente OP-Vor- und Nachbereitung. Die Rekonstruktion der Harnblase aus endoskopisch erfassten Bildern gestaltet sich aus den unterschiedlichsten Gründen als schwierig.
Mit RaVeNNA sollen die Schwierigkeiten bei der 3D-Rekonstruktion der Harnblase aus Endoskopiebildern mittels Structure-from-Motion ausgeräumt werden. Zusätzlich sollen Harnblasenkarzinome mittels Klassifizierung des 3D-Modells detektiert und überwacht werden. Zur Klassifizierung der Harnblasenstrukturen werden Deep Learning-Ansätze verwendet, wobei ein besonderes Augenmerk auf dem Einsatz von Convultional Neural Networks (ConvNets) liegen wird.
Projektleitung: Prof. Dr. Alexander Reiterer
Projektlaufzeit: 2018 – 2021
SPENSER – Verständnis und Vorhersage der räumlichen und zeitlichen Variabilität von Schneeprozessen unter verschiedenen Vegetationsbedeckungen durch Kombination von Laserbeobachtungen und Punktmessungen (DFG Sachbeihilfe)
Ein umfassendes Wissen darüber, wie verschiedene Vegetations- und Waldstrukturen die Prozesse der Schneeakkumulation und -abtragung verändern, ist besonders wichtig, da die Waldbedeckung einer der sich am schnellsten verändernden Landbedeckungstypen ist. Vor allem menschliche Aktivitäten wie die Holzernte, egal ob als Kahlschlag oder selektiver Einschlag, und die anschließende Wiederaufforstung verändern die Waldstruktur schlagartig und erheblich. Darüber hinaus führen veränderte klimatische Bedingungen auch zu einer Ausdehnung der Wald- und Strauchflächen oberhalb der Waldgrenze und damit zu einer Veränderung der Eigenschaften der Waldkronen. Verbesserte Simulationsmodelle, die zeigen, wie sich diese Veränderungen auf den Schnee und alle damit verbundenen, oben erwähnten Prozesse auswirken, werden ein wertvolles Instrument sein, um die Auswirkungen dieser Wald- und Klimaveränderungen auf die Schneeprozesse abzuschätzen.
Zunächst wird ein innovatives, UAV-basiertes LiDAR-System umgesetzt und evaluiert, das speziell darauf ausgerichtet ist, räumlich Informationen für Schneedeckenbeobachtungen zu liefern. Zweitens werden mehrere verschiedene Wald- und Vegetationsflächen ausgewählt und mit vorhandenen Boden-Sensoren instrumentiert. Diese Plots werden dann bei häufigen Flügen mit dem neu entworfenen Laserscanning-System beobachtet. Die Datenanalyse und die Ableitung verbesserter Forschungsmodelle sind weitere unverzichtbare Schritte, um das Projekt zu einem erfolgreichen Abschluss zu bringen.
Projektleitung: Prof. Dr. Alexander Reiterer
Projektlaufzeit: 2020 – 2025
STREEM – Vollmaßstäbliche Erfassung der windinduzierten Stromlinienförmigkeit von Bäumen (DFG Sachbeihilfe)
Durch die zunehmende weltweite Urbanisierung werden Bäume insbesondere für die Stadtplanung immer wichtiger. Allerdings stellen Bäume neben all ihren positiven Eigenschaften bei Stürmen ein Risiko dar. Um dieses Risiko zu minimieren, muss das Verhalten von Bäumen bei Baum-Wind-Interaktionen bekannt sein. Dieses wird aktuell mit Baumziehversuchen oder im Windkanal untersucht.
In Rahmen von STREEM wird ein Multisensorsystem, bestehend aus vier Kameras und einem Tree-Motion-System (MPU), zur Bestimmung der Verformung von Bäumen im Wind entwickelt. Das Kamerasystem muss zum einen 3D-Informationen über ausgewählte Bereiche des Baumes und deren Bewegung liefern. Zum anderen muss es mit schwierigen Verhältnissen wie zum Beispiel Sonneneinstrahlung umgehen können. Die zentrale Herausforderung bei der Entwicklung wird die Identifikation und Verknüpfung von korrespondierenden Punkten in den Bildzeitreihen und die Fusion der Kameradaten mit den Luftströmungs- und MPU-Daten sein. Eine weitere Herausforderung stellt neben der Synchronisierung der Sensoren und Speicherung der Daten, die lokale Referenzierung der Kameras dar.
