Введение в фотограмметрию (Кирилл Стахнисс, 2021)

Курс фотограмметрии в Боннском университете, который преподает профессор Серж Стагнас, рассчитан на два семестра. Он охватывает фундаментальные концепции 3D-реконструкции и семантической интерпретации с использованием изображений. Студенты изучат основные методы и алгоритмы, используемые в настоящее время при обработке изображений.

Фотограмметрия предполагает измерение с помощью света или фотографий, что происходит от греческих слов, означающих "рисовать" и "измерять". Она использует изображения, полученные камерами, для оценки геометрических свойств объектов в окружающей среде, таких как их расположение и форма. Кроме того, он включает в себя семантические свойства, которые интерпретируют увиденное — например, идентифицируют здание или человека на изображениях. В этом курсе основное внимание уделяется методам, основанным на использовании камер, таким как монокуляр и стереоизображение, но фотограмметрия также может включать в себя различные датчики, включая гидролокаторы и лазерные дальномеры для задач 3D-реконструкции.

Перед фотограмметрией стоят две основные задачи: оценка геометрических свойств и интерпретация семантической информации из данных изображений. Для геометрии 3D-точки создаются на основе снимков зданий, сделанных с помощью беспилотника, для оценки точности реконструкции. С точки зрения семантики, изображения можно анализировать для классификации объектов; например, различать растения сахарной свеклы и пшеницы в поле на основе цветового кодирования пикселей. Этот двойной подход позволяет использовать различные приложения - от пассивного сбора данных с помощью дронов или смартфонов до активных роботизированных систем, которые воспринимают окружающую среду с помощью камер.

Основные измерения в фотограмметрии Фотограмметрия включает в себя измерение местоположения камеры и объекта на основе изображений. Анализируя несколько изображений, можно получить 3D-реконструкцию, несмотря на такие потенциальные проблемы, как определение масштаба. Сопоставление данных имеет решающее значение для интерпретации сходства между изображениями; неправильные сопоставления могут существенно повлиять на системы оценки состояния. Такие задачи, как обнаружение объектов и семантическая сегментация, являются неотъемлемой частью фотограмметрических измерений.

Междисциплинарные связи фотограмметрии Фотограмметрия пересекается с различными дисциплинами, включая компьютерное зрение, машинное обучение и робототехнику. Традиционно основанная на геодезии, она развивалась вместе с технологическими достижениями, охватывая приложения дистанционного зондирования, которые часто пересекаются с задачами обработки изображений с помощью компьютерного зрения. Машинное обучение играет жизненно важную роль в этих областях, повышая точность измерений и обеспечивая сложные интерпретации, необходимые для автономных навигационных систем, таких как беспилотные летательные аппараты или самоуправляемые автомобили.

Преимущества бесконтактного зондирования с помощью камер Бесконтактное зондирование с помощью камер дает значительные преимущества, особенно во взрывоопасных или чувствительных средах, где физическое взаимодействие невозможно. Этот метод позволяет выполнять обширные измерения с помощью изображений, обеспечивая реконструкцию с высоким разрешением и гибкость при съемке данных с различных расстояний. Камеры также могут записывать динамические сцены, облегчая отслеживание движения и прогнозирование, предоставляя легко интерпретируемую визуальную информацию, которая поддерживает приложения машинного обучения.

Ограничения, налагаемые требованиями к освещению Несмотря на свои преимущества, камеры обладают заметными недостатками; в первую очередь для эффективной работы им требуется освещение. В условиях низкой освещенности или в темноте результаты измерений камеры становятся ограниченными, если не предусмотрено дополнительное освещение. В отличие от лазерных сканеров, которые хорошо работают независимо от уровня освещенности, такая зависимость от освещенности ограничивает удобство использования камер в определенное время или в определенных ситуациях.

Камеры в основном измеряют интенсивность света с определенных направлений, но им не хватает информации о глубине и расстояниях до объектов. Это ограничение приводит к проблемам с видимостью и закрытиям, когда объекты загораживают обзор другим, затрудняя съемку целостных сцен. В то время как камеры обеспечивают гибкость в плане приближения и обзора, другие технологии, такие как радар, могут обеспечить более точные измерения для определенных приложений. Переход от 3D-среды к 2D-изображениям приводит к значительной потере данных, что усложняет вычисления в фотограмметрии.

Камеры преобразуют 3D-точки в 2D-изображение, что приводит к потере информации о глубине. При определении пиков на изображениях известно только направление без измерения расстояния из-за сокращения с трех измерений до двух. Чтобы преодолеть это ограничение в фотограмметрии, можно использовать несколько изображений с указанием их пространственных соотношений. Устанавливая соответствия между точками на разных изображениях и зная их местоположение, триангуляция позволяет точно реконструировать 3D-окружение на основе этих 2D-представлений.

Процесс создания изображения из 3D-объекта включает в себя понимание свойств объекта, таких как геометрия и местоположение, а также внутренних параметров камеры (intrinsics) и его положения в пространстве (extrinsics). Когда делается фотография, физика способствует преобразованию ее в изображение. Однако в фотограмметрии проблема заключается в том, чтобы обратить вспять этот процесс, чтобы извлечь информацию либо об объектах, либо о настройках камеры, не полагаясь при этом на физические законы.

Инвертированное картографирование преобразует традиционную физику, используя изображения, полученные с камер, и передовые алгоритмы для получения информации об объектах и свойствах камеры. Объединяя знания о физических правилах, информацию о конкретной сцене и разработку алгоритмов, мы можем определять типы объектов, геометрию, внутренние или внешние параметры. Основная задача заключается в создании инновационных алгоритмов, которые эффективно используют эти измерения для интерпретации исходных данных в виде значимых геометрических представлений или семантических классификаций. Этот процесс является центральным для решения ключевых проблем фотограмметрии.

Человеческое восприятие включает в себя интерпретацию света от объектов, когда глаз улавливает визуальную информацию и отправляет ее в мозг для интерпретации. Возникает ключевой вопрос: кто выполняет больше работы в этом процессе - глаз или мозг? Эксперимент со слепым человеком продемонстрировал, что, транслируя изображения с камеры на кожу, он может распознавать объекты, что позволяет предположить, что большая часть перцептивной нагрузки приходится на мозг, а не только на органы чувств. Это показывает, что даже такие базовые чувства, как осязание, могут способствовать интерпретации сцены посредством когнитивных процессов. Следовательно, алгоритмы играют решающую роль в понимании этих механизмов и занимают центральное место в текущих исследовательских усилиях.

Алгоритмы необходимы для упрощения сложных процессов, особенно при оценке геометрии сцены и интерпретации семантики изображения. Эффективность этих интерпретаций часто зависит от качества используемых датчиков; однако алгоритмы играют решающую роль в моделировании интеллектуального поведения. Как обучаемые алгоритмы, так и хорошо разработанные необучаемые алгоритмы способствуют оптимальному решению задач. Программирование служит важным инструментом для реализации этих алгоритмов, позволяя применять их на практике в таких задачах, как манипулирование данными изображений или реконструкция.

Промышленные камеры широко используются в промышленных системах для получения изображений с высоким разрешением, часто подключаемых к компьютерам с помощью карт захвата кадров. Цифровые камеры и смартфоны потребительского класса также значительно продвинулись вперед, позволяя выполнять эффективную 3D-реконструкцию за счет интеграции данных с различных датчиков, таких как IMU и GPS. Аэрофотокамеры, такие как Microsoft UltraCam, используемые в Bing Maps, позволяют получать изображения с высоким разрешением для целей дистанционного зондирования, в то время как спутники обеспечивают более широкий охват при меньшем разрешении. Лазерные дальномеры служат активными датчиками, которые измеряют расстояния по принципу времени пролета; они превосходно справляются с измерениями глубины в сочетании с данными камеры для повышения точности.

Карты создаются с использованием аэрофотоснимков, которые являются богатым источником данных для создания карт. Накладывая эти изображения на существующие карты, мы можем повысить точность и детализацию наших картографических работ. В ходе курса также будут рассмотрены автоматические фотосъемки, которые корректируют аэрофотоснимки для проведения точных измерений непосредственно с них. Этот процесс необходим для согласования аэрофотоснимков с текущей картографической информацией и 3D-данными, что является важной частью сбора экологической информации, необходимой для эффективного составления карт.

На основе спутниковых данных могут быть созданы полные модели местности, позволяющие получить детальное представление об окружающей среде. Этот процесс включает анализ и интерпретацию различных типов спутниковых изображений для создания точных топографических карт. Полученные в результате модели дают ценную информацию о географических особенностях и землепользовании, улучшая планирование и принятие решений в таких областях, как городское развитие, сельское хозяйство и рациональное природопользование.

Мониторинг окружающей среды может быть эффективно проведен с помощью небольших беспилотных летательных аппаратов, оснащенных камерами. Например, в Клендорфе, недалеко от Бонна, эти беспилотники собирают данные о сельскохозяйственных полях для поддержки точного земледелия и селекции. Анализируя видеозапись с камеры с помощью алгоритмов семантической интерпретации и геометрической реконструкции, фермеры могут выявлять зоны повышенного давления на пшеницу среди таких культур, как сахарная свекла и пшеничные посевы. Эта информация позволяет проводить целенаправленные мероприятия, такие как борьба с сорняками.

В селекции растений беспилотные летательные аппараты используются для мониторинга опытных участков с различными сортами растений. Анализируя аэрофотоснимки, селекционеры могут подсчитывать отдельные растения и оценивать их размер и характеристики. Эти данные позволяют получить фенотипические параметры непосредственно на основе снимков с камеры. Использование фотограмметрических методов повышает доступность информации по различным дисциплинам сельского хозяйства.

Проект Боннского университета направлен на разработку беспилотных летательных аппаратов для задач навигации и мониторинга с использованием данных GPS и камер. Эти беспилотные летательные аппараты используют визуальную одометрию со стереокамерами для точного отслеживания своего движения даже при отключении GPS. Благодаря объединению информации IMU, GPS и камеры достигается согласованная система отслеживания изображений с географической привязкой без существенных несоответствий при переключении между системами. Кроме того, изображения с высоким разрешением используются для 3D-реконструкции с помощью таких методов, как bundle adjustment, которые сравнивают сгенерированные облака точек с данными лазерных сканеров, демонстрируя сопоставимую точность и при этом являясь более эффективными, чем традиционные наземные методы.

С помощью аэрофотоснимков можно получить ортофотоснимки с точностью от одного до двух сантиметров. Основное внимание уделяется коррекции этих изображений для точного измерения расстояния. Для достижения этой цели необходимы 3D-информация и цифровые модели поверхности, позволяющие проводить точные расчеты и анализ.

При составлении карт города используются мобильные транспортные средства, оснащенные несколькими камерами, для получения изображений и выделения характерных точек. Эти системы позволяют создавать 3D-реконструкции, сопоставляя данные, полученные с различных ракурсов съемки, что позволяет осуществлять детальную навигацию по городской среде. Технология позволяет создавать обширные карты в масштабе города или даже страны, используя существующие источники данных, такие как Google Street View, для повышения точности. Такой подход позволяет не только создавать традиционные карты, но и позволяет осуществлять виртуальный просмотр отображаемых областей.

На основе облаков точек можно создавать 3D-модели городов, демонстрируя повышение точности с течением времени. Исторические исследования в районе залива проложили путь для современных технологий, которые используют данные изображений и различные датчики для создания детализированных виртуальных сред. Например, 3D-модели города Берлина демонстрируют, как фотограмметрия в сочетании с сенсорной интерпретацией расширяет возможности городского моделирования.

Цифровое сохранение культурного наследия включает в себя такие инновационные проекты, как исследование подземных катакомб Рима. Эти обширные и опасные районы представляют значительную историческую ценность, что обусловливает необходимость в безопасных методах исследования. Для навигации по этим пространствам была разработана роботизированная платформа, оснащенная несколькими камерами, которая позволяла проводить детальное картографирование и 3D-реконструкцию с 2013 по 2017 год.

Катакомбы Присциллы в Риме были реконструированы в цифровом формате с использованием передовых технологий 3D-моделирования. Мобильные роботы составили карту подземной среды, в результате чего были получены точные реконструкции на основе изображений с камер с помощью процесса, называемого "Структура из движения" и "настройка связки". Этот метод позволяет создавать крупномасштабные карты, на которые можно наложить подробные изображения планировки катакомб, демонстрирующие их сложную архитектуру.

Роботы используют методы фотограмметрии и компьютерного зрения для выполнения различных задач, начиная от простой навигации, такой как уборка пылесосом или стрижка газона, и заканчивая сложными операциями, такими как автономное вождение. Эти системы должны наблюдать за окружающей средой, интерпретировать собранные данные и принимать обоснованные решения на основе этой информации. Понимание того, что их окружает, имеет решающее значение для эффективной навигации и выполнения задач.

Семантическое понимание имеет решающее значение в робототехнике, особенно для интерпретации сцен вождения. Идентификация объектов, таких как автомобили, автобусы, управляемые поверхности и пешеходы, позволяет роботам принимать обоснованные решения. Например, система камер может распознавать людей в окружающей среде и предоставлять эти данные для взаимодействия или фильтрации динамических элементов при отображении статичных областей. Такая семантическая интерпретация открывает множество возможностей для расширения возможностей роботов.

Визуальная локализация при автономном вождении предполагает определение того, отображают ли два изображения одно и то же местоположение, несмотря на различия, вызванные сезонными изменениями, погодными условиями или временем суток. Эта задача является сложной, поскольку различия могут затруднить распознавание, даже если сцены идентичны. Методы сопоставления этих изображений помогают создавать надежные системы локализации, которые используют справочные карты и текущие данные датчиков для эффективной навигации в окружающей среде. Развитие автономных транспортных средств значительно продвинулось вперед с тех пор, как в 2009 году Google представила свой беспилотный автомобиль, в котором наряду с камерами и радарами использовались лазерные сканеры для наблюдения за местностью.

Автомобили используют различные датчики для сбора данных об окружающей обстановке, создавая облако точек, представляющее результаты измерений дальности. Эта информация должна быть интерпретирована для оценки безопасности движения и идентификации других участников дорожного движения. Понимание возможных сценариев в будущем имеет решающее значение для принятия обоснованных решений о вождении.

Семантическая сегментация включает в себя присвоение цветовых значений объектам на изображениях, сделанных камерой, для идентификации их как людей, автомобилей, деревьев или дорожных знаков. Достижение этой цели в режиме реального времени при высокой частоте кадров является сложной задачей и зависит от алгоритмов машинного обучения. Этот процесс распространяется на лидарные данные, где точки окрашиваются в соответствии с семантическими классами для отслеживания объектов. Дальнейшие усовершенствования включают в себя извлечение 3D-информации о местоположении и идентификацию отдельных транспортных средств для точного прогнозирования движения. Объединение данных датчиков GNSS, IMU, камер и лидаров имеет важное значение для оценки геометрии и семантики, необходимых для принятия решений об автономном вождении.

Понимание автономной технологии Waymo Автономные автомобили Waymo используют передовые технологии, такие как лидар, радар и камеры высокого разрешения, для получения полного представления об окружающей среде. Лидар излучает миллионы лазерных лучей в секунду для создания 360-градусной карты, в то время как радар измеряет расстояние до объекта и скорость. Эти данные позволяют автомобилю точно определять обстановку, прогнозировать движение на расстоянии до трех футбольных полей и планировать безопасные маршруты движения, учитывая как безопасность пассажиров, так и комфорт пешеходов. Обширный опыт вождения Waymo расширяет возможности его обучения, поскольку с каждой пройденной милей он постоянно совершенствуется.

Основы обучения фотограмметрии Цель курса - пробудить интерес к фотограмметрии, компьютерному зрению, робототехнике и смежным технологиям, обучая тому, как данные с датчиков первоначально интерпретируются с помощью камер, а затем распространяются на другие датчики, такие как лидары. Студенты изучат базовые концепции, необходимые для методов 3D-реконструкции, которые помогают интерпретировать сцены, необходимые для таких приложений, как автономные транспортные средства или роботизированные навигационные системы. Учебная программа служит введением к потенциальным путям, ведущим к разработке более сложных систем в будущих исследованиях.

Для тех, кто ищет литературу по фотограмметрии и компьютерному зрению, рекомендуется несколько ключевых текстов. Книга Ферстнера и ван Роберта содержит глубокое погружение в геометрические концепции, необходимые для понимания этой области, что особенно полезно для продвинутых курсов. Конспекты лекций Вольфганга Ферстнера содержат ценную информацию, которая соответствует современным представлениям, но может не охватывать новые темы, такие как машинное обучение в интерпретации изображений. В качестве доступного введения в машинное обучение, текст Alphayard получил высокую оценку за его ясность и переход от простых идей к сложным. Кроме того, "Геометрия с несколькими видами" Хартли и Зиссермана служит основополагающим справочником наряду с другими известными работами в этой области.