Гиперспектральная визуализация. Что это и где применяется?

Гиперспектральная визуализация (hyperspectral imaging, HSI) первоначально была разработана для горнодобывающей промышленности и геологии, применялась для поиска руды и нефти и долгое время ограничивалась лабораторным использованием. На сегодняшний день ситуация стремительно меняется благодаря появлению компактных и доступных по цене гиперспектральных камер, основанных на гиперспектральном датчике, монолитно интегрированном в формирователь изображения CMOS.

Преимущества и универсальность гиперспектральных визуализаторов положительно влияют на разные сферы применения, включая контроль и проверку сельскохозяйственных культур. Миниатюризация и невысокая стоимость делают их идеальным решением для медицинских приборов. Например, в настоящее время ученые разрабатывают устройство для использования HSI в офтальмологии. В будущем технология HSI вполне может распространиться на бытовые приборы и устройства, такие как мобильные телефоны, где встроенный гиперспектральный датчик можно будет использовать для анализа пищевых продуктов в режиме реального времени, что позволит пользователям измерять количество содержащихся калорий или определять качество и свежесть продуктов.

Что такое HSI?

Гиперспектральная визуализация, или визуализирующая спектроскопия, сочетает в себе возможности цифровой визуализации и спектроскопии.

Рис. 1 – Данные, получаемые при помощи разных приборов

Для каждого пикселя изображения гиперспектральная камера измеряет интенсивность света (яркость) для большого количества (обычно от нескольких десятков до нескольких сотен) смежных спектральных полос. Таким образом, каждый пиксель изображения содержит непрерывный спектр (яркости или отражения) и может использоваться для характеристики объектов сцены с высокой точностью и детализацией.

Гиперспектральное изображение - это трехмерный массив данных (куб данных), который включает в себя пространственную информация (2D) об объекте, дополненную спектральной информацией (1D) по каждой пространственной координате. Иными словами, каждой точке изображения соответствует спектр, полученный в этой точке снимаемого объекта.

При гиперспектральном формировании изображений, как и при спектральном формировании изображений, собирается и обрабатывается информация со всего электромагнитного спектра. Человеческий глаз видит свет в трех диапазонах (красный, зеленый и синий), тогда как спектральное формирование изображения делит спектр на большее количество диапазонов. Этот метод деления изображения на полосы может быть использован и за пределами видимого диапазона.

Рис. 2 – Гиперспектральное формирование изображений

Гиперспектральные датчики собирают информацию в виде набора изображений, представляющих разные диапазоны электромагнитного спектра (спектральные диапазоны). Эти изображения затем объединяются в куб гиперспектральных данных (Рис. 2), которые можно обрабатывать и анализировать. В гиперспектральном кубе первые два измерения являются пространственными (оси X, Y), третье (ось Z) – длина волны λ. Гиперспектральный куб состоит из набора изображений, расположенных одно над другим. Каждое изображение представляет определенный диапазон длин волн, а в гиперспектральном изображении каждый пиксель содержит спектр. Спектр содержит информацию о химическом составе образца.

Различные технологии получения гиперспектральных изображений

Существует четыре основных метода получения трехмерного (x, y, λ) набора данных гиперспектрального куба. Выбор метода зависит от конкретного приложения, поскольку каждый метод имеет контекстно-зависимые преимущества и недостатки.

• Пространственное сканирование изображения
• Спектральное сканирование изображения
• Без сканирования изображения, метод «снимка» (Snapshot)
• Пространственно-спектральное сканирование изображения

Рис. 3 -  Методы получения гиперспектральных изображений, визуализируемых как секции гиперспектрального куба данных с его двумя пространственными измерениями (x, y) и одним спектральным измерением (λ)

Рис. 4 - Фотографии, иллюстрирующие выходные сигналы отдельных датчиков для четырех методов гиперспектральной визуализации. Слева направо: спектр щелей; монохроматическая пространственная карта; «перспективная проекция» гиперспектрального куба; пространственная карта с кодированием по длине волны

Пространственное сканирование

При пространственном сканировании каждый двумерный (2-D) выходной сигнал датчика представляет собой полный спектр щелей (x, λ). Устройства гиперспектральной визуализации для пространственного сканирования получают спектры щелей, проецируя полосу сцены на щель и рассеивая изображение щели с помощью призмы или решетки. Эти системы имеют недостаток, заключающийся в том, что изображение анализируется по строкам (Push broom scanner), а также имеют некоторые механические детали, интегрированные в оптическую цепь. С помощью этих систем линейного сканирования пространственный размер собирается путем перемещения платформы или сканирования. Для этого требуются стабилизированные крепления или точная информация о наведении для «реконструкции» изображения.

Спектральное сканирование

При спектральном сканировании выход каждого двухмерного датчика представляет собой монохроматическую («одноцветную») пространственную (x, y) карту сцены. Устройства HSI для спектрального сканирования обычно основаны на оптических полосовых фильтрах (настраиваемых или фиксированных). Сцена спектрально сканируется путем замены одного фильтра на другой, пока платформа остается неподвижной. В таких «смотрящих» системах сканирования по длине волны спектральное размытие может происходить при движении внутри сцены, что делает недействительной спектральную корреляцию/обнаружение. Тем не менее, есть преимущество в возможности выбирать спектральные полосы и иметь прямое представление двух пространственных измерений сцены. Если система формирования изображений используется на движущейся платформе, например в самолете, полученные изображения на разных длинах волн соответствуют разным областям сцены. Пространственные особенности на каждом из изображений могут использоваться для перестройки пикселей.

Без сканирования

В режиме без сканирования один двухмерный выходной сигнал датчика содержит все пространственные (x, y) и спектральные (λ) данные. Устройства HSI без сканирования выдают полный куб данных сразу. Образно говоря, отдельный снимок представляет собой перспективную проекцию куба данных, по которой может быть восстановлена ​​его трехмерная структура. Основными преимуществами этих систем гиперспектральной визуализации является более высокая светопропускная способность и короткое время сбора данных. Недостатком этих систем является то, что спектральная информация никогда не собирается, т.е. только химическая информация, так что постобработка или повторный анализ невозможны.

Пространственно-спектральное сканирование

Пространственно-спектральное сканирование сочетает в себе некоторые преимущества пространственного и спектрального сканирования, тем самым устраняя некоторые из их недостатков. Сканирование можно осуществить, перемещая всю систему относительно сцены, перемещая только камеру или перемещая только щель. Более того, каждое изображение представляет собой пространственную карту сцены, облегчающую наведение, фокусировку и анализ данных. Это особенно ценно при нерегулярных или безвозвратных движениях сканирования. Системы пространственно-спектрального сканирования, основанные на дисперсии, обеспечивают высокое пространственное и спектральное разрешение.

Преимущества использования гиперспектральной визуализации:

• Точность — гиперспектральные камеры улучшают способность распознавания за счет использования информации о спектральных характеристиках материала или поверхности захватываемого объекта.
• Информативность — кубы данных дают информацию о химическом составе объекта помогают обнаружить детали, которые не могут получить стандартные видеокамеры.
• Надежность — как правило, какмеры изготавливаются из прочных материалов.
• Размер и вес — Многие камеры компактные и очень легкие, что делает их привлекательными для приложений с ограниченным местом на производстве или способствует повышению производительности роботизированных манипуляторов или подвесов, а также БПЛА.
• Экономичность — устраняют необходимость использования громоздких конструкций и аксессуаров, экономят энергию и пространство.

Рис. 5 - Набор камней, сканированный гиперспектральной камерой в тепловом инфракрасном диапазоне от 7,7 мкм до 12,4 мкм. Спектры кварца и полевого шпата хорошо различимы

Рис. 6 - Примеры развития желтой ржавчины пшеницы в разные периоды заражения и гиперспектральная визуализация этого заболевания, нанесенная на карту

Рис. 7 - Анализ данных, полученных при помощи гиперспектральной камеры, позволяющий отсортировать ягоды черники

Некоторые производители гиперспектральных камер

Компания Ximea GmbH - разработчик систем машинного зрения, промышленных и научных камер, интегрировала гиперспектральные датчики в свои сверхкомпактные и легкие камеры серии xiQ и xiSpec. Вес около 27 г, размер 26,4 × 26,4 × 21,6 мм и потребляемая мощность 1,8 Вт делает их самыми маленькими промышленными камерами HSI USB3. Такие камеры могут быть полезны для использования в небольших беспилотных летательных аппаратах (БПЛА) и дронах, где энергопотребление и управление температурным режимом являются ключевыми, а масса полезной нагрузки имеет решающее значение. Такие дроны пользуются большим спросом в области точного земледелия.

Рис. 8 - Камера HSI от Ximea, предназначенная для промышленного использования, включая БПЛА и дроны

OPTOSKY (КНР) – компания с 20-летним опытом в производстве первоклассных решений для спектроскопии и гиперспектральной визуализации. Компания производит широкую линейку компактных спектрометров и HSI для различных задач науки и промышленности. Например, ATH1010 — это недорогая гиперспектральная камера для промышленного применения, в которой используется CMOS датчик. Вся система имеет компактный дизайн (размер 279×64×55 мм), высокое разрешение, визуализацию с помощью внешнего сканирования push broom imaging, может быть настроена как отдельная независимая система обнаружения в сочетании с наружной вращающейся платформой и внутренней платформой линейного сканирования или может быть вмонтирована для работы в БПЛА.

Рис. 9 – Внешний вид камеры ATH1010 от OPTOSKY (вариант в корпусе и без него).

Вывод:

Гиперспектральная визуализация изначально использовалась в области геологии, но инженеры усердно работали над расширением области ее применения, и сейчас гиперспектральные датчики и системы обработки становятся все более доступными для общественности. Теперь эта технология применяется в таких широко распространенных областях, как экология, исследование исторических рукописей, проверка качества пищевых продуктов, гражданская безопасность, астрономия, сельское хозяйство, фармацевтический контроль и даже медицина.

Гиперспектральные датчики сканируют информацию об объектах, используя обширную часть электромагнитного спектра. Некоторые объекты оставляют уникальные «отпечатки», известные как спектральные сигнатуры. Они позволяют идентифицировать материалы, из которых состоит сканируемый объект. Например, спектральная сигнатура для нефти помогает геологам находить новые нефтяные месторождения.

Основное преимущество гиперспектральной визуализации состоит в том, что, поскольку весь спектр получается в каждой точке, оператору не требуется предварительное знание образца, а постобработка позволяет получить всю доступную информацию из набора полученных данных.

Благодаря относительно недавним достижениям в разработке гиперспектральных датчиков, гиперспектральная визуализация готова сделать шаг от медленных и ненадежных исследовательских прототипов к надежным и точным аналитическим инструментам для большого числа приложений.