Visual Computing
Visual Computing bündelt das Expertenwissen an der Technischen Universität München in der Entwicklung von effizienten Algorithmen für sensor-basierte Objekt-Rekonstruktion, Augmented- und Virtual-Reality Anwendungen und visuelle Datenanalyse und -exploration. Die zentralen Herausforderungen liegen in der stetig steigenden Menge der zu verarbeitenden Daten, der Integration neuer Interaktionsschnittstellen, Sensoren und Darstellungssysteme, und der stetig steigenden Nachfrage nach schritthaltenden oder gar echtzeitfähigen Ansätzen. Visual Computing sieht sich als Schnittstelle zu nationalen und internationalen Forschungsinstitutionen und Firmen, mit dem Ziel der kollaborativen Forschung zur Entwicklung von praxisreifen Technologien.
Mitglieder
Aktuelle Aktivitäten
Learning and Simulation in Visual Computing (FOR 2987/1)
In den letzten Jahren gab es enorme Fortschritte in der Entwicklung maschineller Lernalgorithmen zur Verarbeitung visueller Daten, einschließlich Bildern, Videos, geometrischen Modellen und volumetrischen Feldern. Insbesondere die Entwicklungen im Bereich Deep Learning wurden in vielen Forschungsgemeinschaften mit enormer Aufmerksamkeit verfolgt. In der Computer Vision führte die neuen Entwicklungen zu erheblichen Verbesserungen bei Aufgaben wie der Bildklassifizierung oder der semantischen Segmentierung.
Trotz des jüngsten Erfolgs von Deep-Learning-Methoden stehen Forscher und Praktiker, die diese Methoden zur Lösung realer Probleme anwenden wollen, noch immer vor grundlegenden Herausforderungen:
- Automatisierte Generierung von Trainingsdaten und Selbstüberwachung
- Wissenstransfer zwischen Domänen
- Analyse und Verständnis von Lernprozessen
Die Nutzung simulierter Daten bietet eine einzigartige Gelegenheit in diesem Bereich, da sie die Generierung perfekter Ground-Truth-Daten als Trainingsdaten ermöglicht. Anstatt beispielsweise Millionen von Bildern zu kommentieren, kann man möglicherweise synthetische Bilder mit Ground-Truth-Labels aus einer bestehenden virtuellen Umgebung rendern. Dies ist besonders wichtig für höherdimensionale Daten wie zeitlich konsistente Anmerkungen in Videos (z. B. Bewegung, optischer Fluss usw.) oder volumetrische Beschriftungen in 3D-Szenen oder Physiksimulationen (z. B. Rauch, Flüssigkeiten, Kleidung usw.). Gleichzeitig bieten die simulierten Daten die volle Kontrolle über den Prozess der Trainingsdatengenerierung: Datenungleichgewichte können erzeugt oder vermieden werden, Daten können erweitert werden, um bestimmte Invarianzen zu lernen, oder es können beliebige physikalische Effekte, wie z. B. Beleuchtung, während der Überwachung des Trainingsprozesses geändert werden. Diese Steuerungsebene eröffnet auch neue Möglichkeiten beispielsweise für die Analyse von Trainingsabläufen auf der Grundlage bestimmter Datensatzstatistiken; dies ermöglicht den Einsatz von Analysetechniken, um die Lernprozesse, ihre Sensibilität für die Trainingsdaten sowie ihre Fähigkeiten zur Codierung spezifischer Datenmerkmale besser zu verstehen. Die große Herausforderung wird im Domänentransfer zwischen simulierten und realen Daten bestehen, um die gelernten Ergebnisse und Erkenntnisse aus dem synthetischen Umfeld auf die reale Welt anzuwenden. Die Realisierung und Nutzung dieses Domaintransfers ist das Hauptziel dieses Vorschlags.
Gottfried Wilhelm Leibniz-Preis (Prof. Daniel Cremers)
Prof. Dr. Daniel Cremers, einer der weltweit führenden Forscher in der Bildverarbeitung und Mustererkennung, wurde 2016 mit dem wichtigsten deutschen Wissenschaftschaftspreis ausgezeichnet, dem Leibniz-Preis der Deutschen Forschungsgemeinschaft (DFG). Ziel seiner Forschung ist es, Maschinen die Analyse und Interpretation von Bilddaten beizubringen.
ERC Proof of Concept Grant "Vis4Weather" (Prof. Rüdiger Westermann)
Im Jahr 2016 erhielt Prof. Rüdiger Westermann einen Proof of Concept (PoC) Grant des European Research Council (ERC). Der 2007 von der Europäischen Union gegründete ERC ist die führende europäische Förderorganisation für exzellente Pionierforschung. PoC ist ein ergänzender Förderpreis zu den Forschungsgrants des ERC. Ausgezeichnet wurde das Projekt "Vis4Weather". Er richtet sich ausschließlich an Wissenschaftler/innen, die bereits einen ERC Grant innehaben und ein Forschungsergebnis aus ihrem laufenden oder bereits abgeschlossenen Projekt vorkommerziell verwerten möchten. Westermanns PoC basiert auf den Ergebnissen seines ERC Advanced Grants "SaferVis - Uncertainty Visualization for Reliable Data Discovery".
ERC Advanced Grant "SaferVis" (Prof. Rüdiger Westermann)
Die von der Europäischen Union ins Leben gerufenenen ERC Advanced Grants ermöglichen es kontinuierlich hochqualitativ Forschenden bahnbrechende Projekte in Europa zu verfolgen.
Prof. Rüdiger Westermann wurde für seine Forschung auf dem Gebiet der Visualisierung der Unsicherheit mit einem ERC Advanced Grant ausgezeichnet. Visualisierung der Unsicherheit hat die Art und Weise, wie Menschen mehrdimensionale Daten analysieren, maßgeblich verändert. Das Forschungsprojekt "SaferVis: Uncertainty Visualization for Reliable Data Discovery" hinterfragt den Status Quo in der visuellen Datenanalyse und bringt innovative Ideen für eine Technologie der nächsten Generation hervor, die durch Visualisierung der Unsicherheit als Kernmethodik gekennzeichnet ist. Dafür soll eine visuelle Sprache entwickelt werden, die mittels bildlicher und textueller Elemente eine quantitative Analyse von Unsicherheiten ermöglicht.
ERC Consolitator Grant "3D-Reloaded" (Prof. Daniel Cremers)
Die Consolidator Grants vergibt der European Research Council (ERC) an herausragende Wissenschaftler, die sich sieben bis zwölf Jahre nach ihrer Promotion mit zukunftsweisenden Erfolgen einen Namen gemacht haben.
Prof. Daniel Cremers erhielt einen solchen Grant für sein Projekt „3D-Reloaded“. Das Ziel des Projektes ist es, die reale Welt anhand zweidimensionaler Videos, die mit Kameras - zum Beispiel vom Handy - aufgenommen werden, dreidimensional nachzubilden. Mithilfe der Modelle kann dann nachvollzogen werden, wie viel Braunkohle in einem Tagebau während eines bestimmten Zeitraums abgebaut wurde. Um räumlich ferne Regionen zu erkunden, reicht es, sich an den PC zu setzen. Bein Betrachten eines Films können Zuschauer die Perspektive, aus der sie eine Handlung sehen, selbst wählen. Die Analyse der dreidimensionalen Modelle ist ein weiterer Forschungsschwerpunkt. In der Medizin könnten Organe rekonstruiert und diese Modelle auf Anomalien untersucht werden. Auch die Entwicklung der Bewegungsabläufe von Tänzern oder Turnern lassen sich mithilfe der Modelle gut dokumentieren und analysieren.
ERC Consolitator Grant “SpaTe" (Prof. Nils Thuerey)
Prof. Nils Thuerey wurde mit einem Consolidator Grant des European Research Counsil ERC für sein Projekt "SpaTe" ausgezeichnet. Ziel des geförderten Forschungsprojekts ist es, Computer Physik zu lehren – im Gegensatz zu klassischen Lehrmethoden nicht mit Gleichungen, sondern mit Daten und Beispielen. Programme, die vorhersagen, wie sich Gase, Flüssigkeiten und Festkörper unter bestimmten Voraussetzungen und in einem bestimmten Zeitraum verformen, finden in extrem vielen Industrien und Forschungsprojekten Anwendung. Die dafür erforderlichen Berechnungen erfordern bislang aber sehr viel Rechenleistung. Machine Learning hat das Potenzial, komplexe zeitliche Vorgänge flexibel und realistisch abzubilden. Bislang ist dieser Ansatz aber noch kaum erforscht. In seinem Projekt will Prof. Nils Thuerey neue Algorithmen entwickeln, um Machine Learning in physikalischen Simulationen nutzbar machen. In Zukunft könnte es damit zum Beispiel möglich sein, aus Videos automatisch abzuleiten, welche physikalischen Materialien sichtbar sind, und wie sie sich verhalten.
Förderzeitraum: 01.09.2020 bis 31.08.2025
Exemplarische Projekte
Scale-aware Navigation of a Low-cost Quadrocopter with a Monocular Camera
Streamline Variability Plots for Characterizing the Uncertainty in Vector Field Ensembles
Informationen zum Forschungsprojekt auf der Webseite des Lehrstuhls für Grafik und Visualisierung
From Capture to Simulation - Connecting Forward and Inverse Problems in Fluids
Link zur Veröffentlichung