Automatisierung der Zustandserfassung
Die Inspektion der Zukunft muss die Aussagekraft der Inspektion erhöhen bei reduziertem Aufwand für die Bauwerksprüfer, sowohl bei der Aufnahme der Daten als auch bei der anschliessdenden Datenauswertung der Daten. Die Zusammenarbeit zwischen Forschenden aus dem Bereich der Robotik ergab die Möglichkeit beide Bereiche gemeinsam zu verbessern.
Eine visuelle Inspektion allein reicht nicht aus, um frühzeitig chlorid-induzierte Schäden auf Stahlbetontragwerken zweifelsfrei zu detektieren. Daher muss auf die aufwändige Potentialfeldmessung zurückgegriffen werden. Die Vorteile des Einsatzes von fliegenden Robotern sind, die vereinfachte Anfliegen von für Menschen schwer zugänglichen Stellen an Bauwerken, die Automatisierung der Flugroute mit der Möglichkeit der relativen und absoluten Verortung der Messung am Bauwerk. Dies stellt nicht unerheblichen Vorteil gegenüber der gegenwärtigen Inspektion dar, da häufig vorausgehend ein Raster oder ähnliches Vorgehen zur Verortung mit Kreide oder einer Wasserspur auf die Betonoberfläche aufgetragen werden muss. Die Route des Flugroboters kann vorab definiert werden und der Flugroboter fliegt autonom diese Punkte auf der Betonoberfläche ab. Für Routineinspektion ergibt sich somit den Vorteil, dass die Route nicht jedes Mal neu definiert werden muss, sondern auf die bereits bestehende Planung des Rasters zurückgegriffen werden kann. Mit der kontinuierlichen und teil-automatisierten Auswertung der Daten während des Fluges besteht die Option das Messraster lokal zu verfeinern oder zu vergrössern um möglichst effizient, hinsichtlich der Anzahl der aufgenommenen Messpunkte, den Korrosionszustand des Tragwerks zu erfassen.
Die Kombination der Potentialfeldmessung mit einem fliegenden Roboter bedingt eine notwendige kontinuierliche Verbindung zur Bewehrung und ist die weitreichendste Auswirkung. Dieses Kabel muss vom Flugroboter gehoben werden und vor den Rotorgruppen geschützt werden.
Automatisierte visuelle Erkennung von Betonschäden
Die Entwicklung im Bereich der künstlichen Intelligenz (KI) schreitet mit beeindruckender Geschwindigkeit voran. Mit Hilfe von KI lassen sich Schäden auf der Betonoberfläche mit hoher Genauigkeit erkennen, sofern ein entsprechend trainiertes Netzwerk vorhanden ist. Für ein erfolgreiches Training ist ein Datensatz von hoher Qualität und adäquatem Umfang entscheidend. Im Datensatz sollte eine hohe Variation von möglichen Schadensbildern in unterschiedlicher Grösse, von verschiedenen Bauwerken mit leicht unterschiedlichen Betonfarbe bei unterschiedlichen Lichtbedingungen (z.B. sonnig, schattig, etc.) verfügbar sein.
Risse lassen sich i.d.R. bei Stahlbetontragwerken nicht vermeiden und deshalb wurde dieser Problemstellung zuerst die Aufmerksamkeit geschenkt. Dorfshan et al. stellen im Internet einen Datensatz zu Rissen auf Betonoberflächen zur Verfügung. Der Datensatz besteht aus über 40’000 Bildern, zugeschnitten aus ursprünglich 230 Rohbildern von unterschiedlichen Tragwerken, je hälftig aufgeteilt in Bilder mit und ohne Riss. Die Bilder wurden anschliessend zugeschnitten auf eine Grösse von 256 auf 256 Pixel, einer üblichen Eingangsgrösse für neuronale Netzwerke, sowie händisch gelabelt unabhängig von der Rissbreite oder der Risslänge. Dies bedeutet, dass ein Mensch jedes Bild angeschaut hat und entschieden hat, ob sich darauf ein Riss befindet oder nicht und bildet somit die Lösung zum Datensatz. In der zugehörigen Publikation wurde ein Benchmarkergebnis auf Basis der bekannten Architektur AlexNet mit einer Genauigkeit von rund 90% ausgewiesen.
Der Flugroboter erfasst bei jedem Kontaktpunkt eine Foto der Betonoberfläche, welches mit der KI nach Rissen untersucht werden kann. Diese Information ist für die Beurteilung des Bauwerks nicht unerheblich, da beispielsweise Modelle für das Eindringen von Chloriden zwischen ungerissenem und gerissenem Zustand unterscheiden.
Für eine weitergehnede Beurteilung von Stahlbetontragwerken reicht die Unterscheidung, ob ein Riss auf der korrespondieren Fläche vorhanden ist oder nicht, nicht mehr aus. Eine Masterprojektarbeit von R. Schöni am Institut für Baustoffe hat die bestehende Bilddatenbank erweitert. Die Datenbank wurde mit Bildern mit folgenden Schäden erweitert: Effloreszenzen, freiliegende Bewehrung ud Kiesnester. Die letze Klasse besteht aus Bildern ohne visuellen Defekt. Ein Auszug aus dem Datensatz befindet sich in der Abbildung unten. Für jede Schadensklasse liegen 1’200 Bilder für das Training der KI vor. Schlussendlich wurde eine Voraussagegenauigkeit von über 95% erreicht.
Die Erkennung von Schadensbildern liesse sich direkt in die Software (ROS) des Flugroboters integrieren. Die Rechenkapazität des Computers auf dem Flugroboter ist nicht ausreichend um diese Berechnungen in Echtzeit durchzuführen. Daher wird zum jetzigen auf diese Funktion verzichtet und die Bilder der Betonoberfläche werden für das Post-proecssing aufgenommen und gespeichert.
Analyse der Vorhersagen
Das CNN wurde ursprünglich trainiert um auf einem Bild zu entscheiden, welcher Schadensechanismus vorliegt. Eine Idee um die Vorhersagen der CNN-Modelle nachvollziehbarer zu gestalten, ist das sogenannte Gradient-weighted Class Activation Mapping (Grad-CAM). Hierbei wird eine Rückrechnung in den letzten convolutional layer gemacht. Diese Rückrechnung erlaubt die grobe Lokalisierung von wichtigen Regionen der Abbildung zu erstellen, welche zur Klassifizierung geführt hat. Ein weiterer Vorteil gegenüber ähnlichen Verfahren der Visualisierung der Bildbereiche, welche zur Vorhersage geführt haben, ist, dass das CNN nicht nochmals trainiert werden muss. Somit konnten innert kurzer Zeit verschiedene Architekturen von Modellen manuell verglichen werden.
Die Abbildung zeigt die Vorhersage von zufällig ausgewählten Bildern pro Label aus dem Datensatz mit dem besten Modell. Beim ersten Bild mit dem Riss zeigt sich, dass Modell entlang des Risses eine höhere Aktivierung gezeigt hat. Der obere Bereich des Risses hat jedoch weniger Aufmerksamkeit durch den Algorithmus erhalten. Die Effloreszenz wurde ziemlich exakt markiert und grosse Bildbereiche haben das CNN weniger aktiviert. Bei der freiliegenden Bewehrung sind Bereiche des Stahles mit etwas hellerem orange Tönen besser markiert als die beiden Bereiche links und rechts davon. Die ungefähre Position des freiliegenden Stahles wurde korrekt erkannt und durch das Grad-CAM-Verfahren markiert. Ebenfalls wurde das Kiesnest nahe der wirklichen Position auf der Abbildung markiert, die Ausläufer des Kiesnest in beide Richtungen wurden aber mit reduzierter Genauigkeit markiert. Das letzte Bild zeigt keinen visuellen Schaden und es wurde einige Bereiche im Bild markiert. Diese Bildbereiche sind über das ganze Bild verstreut und verdeutlicht, dass kein eindeutiger visueller Betonschaden auf dieser Abbildung gefunden wurde. Weitere Analysen mit Modellen mit leicht schlechterer Aussagegenauigkeit zeigten deutliche Unterschiede bei dieser Auswertung. Generell lässt sich sagen, dass diese Modelle die Lage des Schadens auf der Abbildung nicht präzise Vorhersagen konnten.
Verwendung von zerstörungsfreien Messdaten für die Vorhersage von Schäden
Das folgende Beispiel zeigt kurz das Potential der Risserkennung für die Zustandserfassung für Stahlbetontragwerke auf. Das Konzept lässt sich der unteren Abbildung entnehmen. Es wird eine Matrix erstellt in welcher sich örtlich aufgelöst die Resultate der Inspektion befinden. Dies sind in diesem Fall Potentialfeldmessdaten, Messungen des elektrischen Betonwiderstandes, Messungen der Beton-überdeckung, sowie Rissvorhersagen eines CNN. Diese Daten bilden eine Matrix und werden an Cluster-Algorithmus übergeben, welcher die Daten in drei Gruppen unterteilt. Die Matrix muss vor der Übergabe an den Algorithmus noch vorbereitet werden, da der verwendete Clusteralgorithmus (K-Means clustering) ähnliche Messwertbereiche der einzelnen Daten benötigt. Daher werden alle Daten entsprechend skaliert.
Das beschriebene CNN zur Detektion von Rissen sorgt für einen Eintrag in der Matrix. Dabei wird einem ersten Schritt eine Abbildung der Betonoberfläche erstellt und soweit wie möglich entzerrt. Bei der Entzerrung sollen die rechten Winkel erhalten bleiben. Danach wird die Abbildung in ca. 10 x 10 cm2 grosse Einzelbilder zerschnitten. Diese Einzelbilder werden dem CNN übergeben und eine Voraussage wird erstellt und danach werden die Einzelbilder mit der Vorhersage wieder zur ursprünglichen Abbildung zusammengesetzt.
Entzerrte, zusammengesetztes Bild der Untersuchsfläche.
Der Algorithmus gibt schlussendlich die drei Gruppen zurück. Die Aufgabe des Ingenieurs ist es nun die Label (Hohes Risiko für Korrosion, Mittleres Risiko für Korrosion Niedriges Risiko für Korrosion) den entsprechen Clustern zu zuordnen. Bis zu diesem Schritt konnte die ganze Analyse durch den Algorithmus durchgeführt werden und einzig in diesem letzten Schritt muss der Ingenieur eingreifen. Die Interpretation des Ingenieurs wird unterstützt durch zusätzliche grafische Auswertungen und einer Tabelle, welche die Rücktransformierten Werte der Cluster-Mittelpunkte zeigt.
Die etablierte Potenzialfeldmessung wurde mit einer visuellen Überprüfung kombiniert um den Korrosionszustand der Bewehrung zu ermitteln. Grosse Teile der Analyse konnten an Algorithmen übergeben werden. Dabei konnte einige bestehende Nachteile der Inspektion von Stahlbetontragstrukturen wie beispielsweise kann eine erste Analyse bereits vor Ort durchgeführt werden und nicht wie üblich erst zeitlich versetzt im Büro. Des Weiteren hängt die Qualität der Inspektion bis zu einem bestimmten Grad von der Erfahrung des Ingenieurs durch den Einsatz von künstlicher Intelligenz oder Algorithmen kann diese Abhängigkeit reduziert werden. Die Aussagen über den Zustand des Bauwerks werden reproduzierbar. Die freiwerdenden zeitlichen Ressourcen kann vom Ingenieur genützt werden um direkt vor Ort, am Bauwerk, möglicherweise kritische Stellen genauer zu untersuchen. Weitere Details zum vorgestellten Verfahren können der zugehörigen Publikation entnommen werden.
- P. Pfändler and U. Angst, “Machine learning based NDT Data Fusion to detect Corrosion in Reinforced Concrete Structures with Inspection Data,” in CORROSION 2021 Virtual Conference Digital Proceedings, Apr. 2021, p. 16392.