Основы фотокамеры и распространения света (Кирилл Стахнисс, 2021)

Понимание основ работы камер предполагает изучение их основных компонентов и способов получения изображений в 3D-формате. Лекция посвящена различным типам камер, включая мобильные телефоны, пленочные фотоаппараты и зеркальные фотокамеры. Ключевым аспектом является изучение того, что общего есть у этих устройств, что позволяет им создавать изображения. Изучая модель камеры-обскуры, мы можем понять, как распространение света приводит к формированию изображения.

Камеры, будь то старые пленочные или современные цифровые, в основном измеряют освещенность. Они пропускают поступающий свет через объектив и проецируют его на плоскость изображения в виде 2D-изображения 3D-мира. Каждый пиксель на сенсоре соответствует определенной области, которая измеряет, сколько света достигает ее с различных направлений, эффективно действуя как миниатюрные устройства для измерения интенсивности. Значение, записанное каждым пикселем, указывает на количество полученных фотонов и имеет решающее значение для таких приложений, как фотограмметрия, где понимание информации о направлении помогает реконструировать трехмерные сцены.

Цифровая фотокамера состоит из различных компонентов, включая объектив и корпус, при этом сенсор является важнейшим элементом, заменяющим традиционную фотопленку. Сенсор состоит из множества крошечных светочувствительных пикселей, которые преобразуют поступающий свет в цифровые сигналы, представляющие значения интенсивности. Большие сенсоры улавливают больше света из-за их размера и размеров в пикселях, что обеспечивает более высокое качество изображения; однако их производство обходится дороже, и требуются объективы большего размера. Следовательно, наблюдается тенденция к уменьшению размеров сенсоров, поскольку производители стремятся к компактным конструкциям, подходящим для таких устройств, как смартфоны.

Влияние размера сенсора на качество изображения Более крупные сенсорные чипы, как правило, обеспечивают лучшее качество изображения, а полнокадровые и среднеформатные сенсоры обеспечивают превосходные результаты по сравнению с меньшими датчиками APS-C или смартфонами. Хотя более крупные чипы фиксируют больше информации о освещенности, они также требуют более крупных объективов и камер, что приводит к увеличению затрат. Процесс преобразования света в электрические сигналы включает в себя измерение значений интенсивности, но изначально не учитывает цвет.

Способы получения информации о цвете Для получения информации о цвете на изображениях можно использовать два основных метода: трехчиповый или однокристальный с крошечными фильтрами на каждом пикселе. В трехчиповом методе, используемом в профессиональных видеокамерах, отдельные красные, зеленые и синие фильтры направляют входящий свет на отдельные чипы для получения точной цветопередачи. И наоборот, большинство бытовых камер используют один чип, который использует множество небольших фильтров; такой подход упрощает размер камеры, но основан на интерполяции меньшего количества измерений на канал, что приводит к потенциальной потере качества из—за менее точного сбора данных.

Матрица цветовых фильтров (CFA) использует определенный шаблон, в котором преобладают зеленые пиксели. В этой стандартной конфигурации 50% пикселей являются зелеными, в то время как на красный и синий приходится по 25%. Это распределение имеет решающее значение, поскольку оно влияет на формирование изображения на чипе; фактические значения в пикселях должны быть интерполированы из соседних ячеек, чтобы заполнить недостающую информацию о цвете. Преобладание зеленого цвета над красным и синим вызывает вопросы о его значении для эффективной съемки изображений.

Схема Bayer улучшает качество изображения, адаптируясь к зрительному восприятию человека, особенно к чувствительности к высокочастотным деталям в зеленом канале. Эта адаптация позволяет получать более яркие и узнаваемые изображения, в частности, с учетом того, как мы воспринимаем цвет и яркость. Хотя шаблон Байера эффективен, существуют различные другие шаблоны и методы интерполяции, которые также могут улучшить обработку изображений.

Различные модели камер, в том числе со специализированными фильтрами для получения информации за пределами видимого спектра, например, ближнего инфракрасного излучения, могут улучшить качество изображения. У производителей можно запросить специальные модели фильтров для конкретных применений. Процесс преобразования полученных изображений в цветовую информацию в значительной степени зависит от методов интерполяции. Различные методы восстановления значений RGB показывают разную степень точности; стандартная билинейная интерполяция часто приводит к заметным ошибкам на границах, где цвета резко меняются, в то время как более продвинутые методы демонстрации направлены на минимизацию таких расхождений, но все же могут привести к некоторым неточностям.

Ошибки при демонстрации могут существенно повлиять на качество изображения. Смоделировав трехчиповый сенсор, можно визуализировать последствия отсутствия пиксельных данных, затемнив 75% красных и синих пикселей и 50% зеленых. Эта реконструкция показывает, как интерполяция пытается заполнить пробелы, создавая изображение, которое внешне напоминает изображение, полученное с помощью полноцветного датчика. Однако несоответствия становятся очевидными в областях с высокими градиентами, где проявляются ограничения однокристальных камер.

Неточности в цветопередаче и механизмы затвора влияют на качество изображения Увеличение масштаба изображения позволяет выявить цветовые неточности, связанные с методами интерполяции, используемыми однокристальными камерами. Эти ошибки становятся очевидными, особенно в областях с сильными градиентами, где резкие переходы цветов. Механизм затвора играет решающую роль, поскольку он регулирует время экспозиции; различные типы затворов (ручные, механические, электронные) существенно влияют на качество изображения. Быстро движущиеся объекты могут привести к размытию изображения при слишком низкой скорости затвора или вызвать искажения при использовании рольставен, которые выставляют пиксели последовательно, а не одновременно.

Глобальные изменения в сравнении с рольставнями: последствия для захвата движения Различие между глобальными и рольставнями влияет на то, как на фотографиях запечатлеваются движущиеся объекты. Глобальные рольставни отображают все пиксели одновременно, в то время как рольставни делают это построчно, что может привести к искажению быстро движущихся объектов, таких как автомобили или лазерные указки, в результате чего вместо четких форм получаются наклонные линии. Это явление усложняет работу по 3D-реконструкции, поскольку точное представление зависит от точной синхронизации пикселей для обнаружения движения.

Камеры с подвижным затвором снимают изображения, экспонируя каждый ряд пикселей в разное время, что приводит к искажениям быстро движущихся объектов, таких как автомобили или пропеллеры самолетов. Это несоответствие усложняет трехмерную реконструкцию, поскольку геометрия представлена неточно; время экспозиции каждого пикселя должно учитываться отдельно, что увеличивает сложность и связанные с этим переменные. В отличие от этого, камеры с глобальным затвором отображают все пиксели одновременно, упрощая геометрические задачи, несмотря на потенциальное размытие изображения при движении объектов. Несмотря на большую стоимость и меньшее распространение, чем рольставни, жалюзи global обеспечивают более четкое представление для точной обработки изображений.

Влияние типов затвора на качество изображения Камеры с подвижным затвором могут создавать темные области на изображениях при неправильной синхронизации вспышки, что видно из сравнения с камерами с глобальным затвором, которые обеспечивают правильную экспозицию изображений. Камеры с подвижным затвором предпочтительнее для таких задач, как 3D-реконструкция, но стоят дороже. Понимание влияния объектива и диафрагмы на создание изображений требует знания моделей распространения света: геометрической оптики (свет распространяется прямо), волновой оптики (описывает такие явления, как преломление) и квантовой оптики (корпускулярно-волновой дуализм). Геометрической оптики достаточно для большинства применений в камерах, поскольку она фокусируется на том, как объективы отображают 3D-точки на плоскости изображения.

Принципы, управляющие распространением света Свет распространяется через различные материалы в соответствии с четырьмя аксиомами: в однородных средах он распространяется прямолинейно; он отражается или преломляется на границах; его путь обратим; и пересекающиеся лучи не влияют друг на друга. Скорость распространения света зависит от свойств материала, определяемых показателем преломления, который влияет на углы при переходе между материалами. Линзы используют эти принципы — в частности, преломление — для эффективной фокусировки света и создания четких изображений, обеспечивая оптимальную траекторию в различных условиях.

Камера-обскура: Отображение света для получения четких изображений Свет от 3D-объекта, такого как дерево, освещенное солнечным светом, отражается в различных направлениях. Если весь отраженный свет без ограничений попадает на пленку или сенсор, это приводит к нечеткому среднему изображению, лишенному узнаваемой структуры. Для создания четких изображений важно ограничить попадание лучей из одной точки на сенсор; этого можно достичь с помощью точечного отверстия, которое пропускает только определенные лучи, блокируя другие.

Понимание проекции изображения через точечное отверстие Использование точечного отверстия ограничивает попадание света на пленку и гарантирует, что каждая точка на объекте соответствует своему уникальному местоположению на плоскости изображения. Этот процесс переворачивает изображения с ног на голову из-за того, как они проецируются через точечное отверстие, но помогает легче визуализировать концепции изображения в виде виртуальных представлений. Принцип, лежащий в основе этой установки, известен как камера-обскура и исторически использовался для эффективной съемки изображений.

Камера-обскура, что означает "темная комната", была впервые описана в 1544 году. Эта концепция предполагает затемненное пространство с небольшим отверстием, которое позволяет проецировать внешние изображения на противоположную стену. Это эффективный метод наблюдения за яркими объектами, такими как солнце, без вреда для глаз, благодаря безопасному проецированию его изображения в помещении. На протяжении почти 500 лет этот метод использовался как для наблюдения, так и для создания изображений.

Создать камеру-обскуру в домашних условиях несложно, для этого нужны только темные жалюзи и небольшое отверстие. Полностью закрыв жалюзи, вы можете сделать небольшое отверстие, которое позволит внешнему свету проецировать изображение на стену после того, как ваши глаза привыкнут к темноте. Эта установка позволяет эффективно снимать сцены снаружи, демонстрируя, как свет проходит через отверстие-обскуру. Концепция этой базовой камеры-обскуры служит важной математической моделью для 3D-реконструкции.

Понимание проекции камеры-обскуры Модель камеры-обскуры упрощает проекцию трехмерного мира на плоскость 2D-изображения. Точка в реальном мире отображается через фиксированный центр проекции на точку изображения, при этом теряется информация о глубине и для отображения используются только x-координаты. Соотношение между расстояниями от точек в обоих мирах определяет, насколько большими или меньшими кажутся объекты в зависимости от их близости к камере.

Повышение четкости изображения с помощью линз Небольшое отверстие создает четкие изображения, но требует длительной выдержки, в то время как большое отверстие обеспечивает более быструю экспозицию за счет размытости. Чтобы решить эту проблему, вместо точечного отверстия используется тонкая линза; она улавливает несколько лучей из каждой точки объекта и точно перенаправляет их для сохранения четкости изображения без существенного увеличения времени экспозиции. Эта настройка позволяет снимать быстро движущиеся объекты с более четкими результатами, чем при использовании традиционных точечных отверстий.

Камера с тонким объективом в виде точечной аппроксимации Камера с тонким объективом приближена к модели с точечным отверстием, где решающее значение имеет соотношение между расстоянием до объекта, расстоянием до плоскости изображения и фокусным расстоянием. Понимание этого позволяет лучше контролировать свойства изображения, не вникая глубоко в механику объектива. Однако важно отметить, что использование линз приводит к ошибкам по сравнению с идеальной установкой точечных отверстий, поскольку лучи из одной и той же точки не сходятся в одном проекционном центре.

Основные допущения модели точечного отверстия при получении изображений В задачах 3D-реконструкции модель камеры-обскуры остается популярной благодаря своей простоте, несмотря на несовершенство широкоугольных объективов, таких как камеры типа "рыбий глаз". Ключевыми допущениями этой модели являются то, что все лучи пересекаются в одной точке внутри камеры, а прямые линии соединяют трехмерные точки с соответствующими изображениями на плоской поверхности. Ограничение размера диафрагмы помогает регулировать освещенность и резкость изображений, сохраняя при этом эти фундаментальные принципы, необходимые для точной реконструкции.

Диафрагма - это размер отверстия в объективе фотокамеры, который можно регулировать от широкого до очень малого. Цифра f-stop указывает на этот размер; большие цифры означают меньшие отверстия, которые пропускают меньше света. Изменение диафрагмы влияет на экспозицию: увеличение ее на одну ступень удваивает светопоглощение, а уменьшение - вдвое. Диафрагма меньшего размера более плотно удерживает световые лучи вокруг их центральной точки проекции на сенсор.

Диафрагма играет решающую роль в контроле погрешностей объектива, ограничивая количество световых лучей, проходящих через внешние части объектива. Широкая диафрагма пропускает больше света, но приводит к малой глубине резкости, в результате чего только определенные точки получаются четкими, в то время как другие кажутся размытыми. И наоборот, закрытие диафрагмы увеличивает глубину резкости, делая больше элементов изображения четкими. Этот эффект можно творчески использовать для художественной фотографии или избежать его, когда четкость необходима для измерений.

Понимание эффектов линз Различные объективы по-разному влияют на получение изображения: от узких полей зрения с минимальными искажениями до широких углов, которые приводят к значительным перспективным искажениям. Обычный телеобъектив сохраняет параллельность линий, но ограничивает объем снимаемой сцены, в то время как объектив "рыбий глаз" искажает прямые линии и угол обзора может превышать 180 градусов. Понимание этих характеристик имеет решающее значение для эффективной фотосъемки и точного изображения.

Проблемы, связанные с широкоугольными объективами Широкоугольные объективы обеспечивают более широкий обзор, но снижают точность изображения прямых линий из-за увеличения искажений. Это приводит к проблемам с сохранением пропорций объектов на изображениях, поскольку в таких условиях они не соответствуют действительности. Осознание этих ограничений имеет важное значение при выборе подходящих объективов для конкретных фотографических нужд.

Устранение аберраций объектива Объективы часто демонстрируют различные аберрации, которые отклоняются от идеальных процессов получения изображений, что существенно влияет на качество при выполнении таких задач, как 3D-реконструкция. Распространенные проблемы включают в себя бочкообразные или подушкообразные искажения, распространенные при широкоугольной съемке, которые требуют калибровки для коррекции. Профессиональные камеры могут иметь встроенные функции компенсации, основанные на известных характеристиках объектива.

Типы аберраций и способы их устранения Сферическая аберрация возникает, когда световые лучи пересекаются в разных точках, а не в одной фокусной точке, из-за дефектов поверхности объектива; это можно уменьшить, соответствующим образом отрегулировав диафрагму. Хроматическая аберрация возникает в результате различного преломления различных цветов, что приводит к появлению цветовой окантовки вокруг объектов, особенно заметной по краям, и требует тщательного рассмотрения при обработке изображений.

.Изучение волновой оптики за пределами видимого света. "Волновая оптика" рассматривает свет как электромагнитные волны, описываемые уравнениями Максвелла, что позволяет проводить такие явления, как интерференция и дифракционный анализ, за пределами возможностей лучевой оптики; она фокусируется в основном на длинах волн видимого диапазона (400-700 нм). Изучение невидимых спектров улучшает сбор информации об объектах с помощью таких методов, как фотосъемка в ближнем инфракрасном диапазоне, широко используемых в приложениях для мониторинга растительности, где хлорофилл сильно отражается за пределами обычных диапазонов видимости

"Гиперспектральная визуализация" захватывает обширные данные о длине волны, обеспечивая более глубокое понимание материалов по сравнению с традиционными методами RGB, которые дают только три канала на пиксельную структуру, в то время как многомерные кубы, представляющие множество частот, одновременно усложняют обработку, но предлагают более глубокий аналитический потенциал, особенно актуальный в различных научных областях, включая приложения дистанционного зондирования.