Петербургские ученые создали алгоритм идеальной картинки для MR-устройств

Специалисты Санкт-Петербургского университета телекоммуникаций им. проф. М. А. Бонч-Бруевича разработали программный метод, который автоматически устраняет цветовые искажения в камерах шлемов и очков смешанной реальности. Алгоритм компенсирует так называемую латеральную хроматическую аберрацию — один из главных дефектов, мешающих получать четкое и реалистичное изображение при совмещении виртуальных объектов с реальным миром.

Любая камера, даже высокого класса, искажает цвета по краям кадра: красный, зеленый и синий каналы слегка сдвигаются друг относительно друга. В обычной жизни это заметно как цветные окантовки на контрастных границах. Но для систем смешанной реальности (MR) такие артефакты критичны: они сбивают алгоритмы трекинга, мешают точно накладывать виртуальные объекты на реальную сцену и снижают качество сквозного видео, которое видит пользователь в шлеме.

К.т.н., доцент кафедры телевидения и метрологии Александр Бучатский и аспирант кафедры телевидения и метрологии Дарья Кузьмина предложили решение: алгоритм на основе фазовой корреляции и карт градиентов позволяет измерить, насколько расходятся цветовые каналы в каждой точке изображения, а затем математически «подогнать» их друг к другу. Метод не требует замены оптики или установки дополнительных датчиков, достаточно одной калибровочной фотографии.

Алгоритм устойчив к зашумленным и сложным сценам, что особенно важно в реальных условиях эксплуатации MR-устройств.

Разработка прошла успешные испытания. Алгоритм показал свою работоспособность как на реальных снимках, так и на искусственно созданных изображениях с внесенными искажениями. В обоих случаях после обработки заметно снижались цветовые окантовки на контрастных границах и уменьшался разнобой между каналами. На синтетических данных, где точная картина искажений была заранее известна, восстановленные алгоритмом карты смещений оказались максимально близки к эталонным, что подтверждает высокую точность метода.

Разработка может стать важным этапом предобработки видео в системах смешанной и дополненной реальности. Она также востребована в робототехнике, беспилотных аппаратах, системах технического зрения и медицинской визуализации – везде, где качество изображения напрямую влияет на точность принимаемых решений.

В перспективе ученые СПбГУТ намерены расширить модель и создать универсальный калибровочный модуль для MR-устройств нового поколения.