Система интеллектуального кодирования кадров видеопотока при управлении беспилотными системами от первого лица

Березкин А.А.,
Ченский А.А.,
Паршин А.А.,
Парфенов Д.Д.,
Киричек Р.В.

Изобретение относится к вычислительной технике. Технический результат заключается в значительном увеличении степени сжатия кадров видеопотока для передачи по линии связи. Указанный результат достигается тем, что система интеллектуального кодирования кадров видеопотока при управлении беспилотными системами от первого лица включает сжатие кадров, основанное на кодировании нейронной сетью вида - вариационный автокодировщик, с последующим квантованием латентного пространства признаков (ЛПП), переводом ЛПП в бинарную последовательность, ее маскированием и сжатием. Нейросетевое кодирование выполняется нейросетевым кодером на борту беспилотной системы, преобразующим кадры в маскированную бинарную последовательность для передачи по линии связи на станцию внешнего пилота, где нейросетевой декодер восстанавливает кадры из этой последовательности. Подавление артефактов осуществляется через общий для кодера и декодера блок, применяющий алгоритмы на трех этапах: предобработка на кодере до кодирования над интерполированным кадром, промежуточная обработка на кодере или декодере над тензором ЛПП, постобработка на декодере после декодирования над восстановленным кадром. 4 ил.