Видеокодек с объектной компенсацией движения видеокамеры для сжатия видеоданных

(51) МПК НАЦИОНАЛЬНЫЙ ЦЕНТР ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ ВИДЕОКОДЕК С ОБЪЕКТНОЙ КОМПЕНСАЦИЕЙ ДВИЖЕНИЯ ВИДЕОКАМЕРЫ ДЛЯ СЖАТИЯ ВИДЕОДАННЫХ(71) Заявитель Учреждение образования Белорусский государственный университет информатики и радиоэлектроники(72) Авторы Конопелько Валерий Константинович Цветков Виктор Юрьевич Аль-Джубури Тарик Мохаммед Сальман Аль-Фурайджи Одай Джасим Мохаммед(73) Патентообладатель Учреждение образования Белорусский государственный университет информатики и радиоэлектроники(57) Видеокодек с объектной компенсацией движения видеокамеры для сжатия видеоданных, состоящий из видеокодера, включающего блок вычитания, блок прямого информационного преобразования, квантователь, энтропийный кодер, блок обратного информационного преобразования, сумматор, буфер, блок объектной компенсации движения видеокамеры, и видеодекодера, включающего энтропийный декодер, блок обратного информационного преобразования, сумматор, буфер, блок объектной компенсации движения видеокамеры, причем первый вход блока вычитания является информационным входом видеокодера, второй вход блока объектной компенсации движения видеокамеры в видеокодере и второй вход энтропийного кодера являются управляющим входом видеокодера, выход энтропийного кодера является выходом видеодекора, вход энтропийного 82062012.04.30 декодера является входом видеодекодера, выход сумматора и вход буфера в видеодекодере являются выходом видеодекодера, отличающийся тем, что содержит блоки объектной компенсации движения видеокамеры, первые входы которых соединены с выходами буферов, вторые входы используются для подачи информации о движении видеокамеры, а выходы соединены со вторыми входами сумматоров. Полезная модель относится к области передачи изображений и может быть использована для эффективного кодирования видеоинформации при передаче по каналам связи. Целью полезной модели является повышение коэффициента сжатия и качества восстановления видеоинформации, формируемой движущейся видеокамерой. Данная цель достигается введением блока объектной компенсации движения видеокамеры. Известен видеокодек, использующий кадровую разность для сжатия видеоданных и состоящий из видеокодера, включающего блок вычитания, векторный квантователь, энтропийный кодер (кодирование с переменной длиной), сумматор и буфер, и видеодекодера, включающего энтропийный декодер, сумматор и буфер 1. Однако данный кодек не эффективен для сжатия видеоданных, формируемых движущейся камерой, из-за отсутствия компенсации различных смещений изображений объектов на текущем кадре относительно предыдущего, возникающих при перемещении видеокамеры, зависящих от расстояния до этих объектов и обусловленных параллаксом. Наиболее близким к предлагаемой полезной модели является видеокодек, использующий блочную компенсацию движения для сжатия видеоданных и состоящий из видеокодера, включающего блок вычитания, блоки прямого и обратного информационных преобразований, квантователь, энтропийный кодер, сумматор, буфер, блок формирования прогнозного кадра на основе блочной компенсации движения и блок оценки движения, и видеодекодера, включающего энтропийный декодер, блок обратного информационного преобразования, сумматор, буфер, блок формирования прогнозного кадра на основе блочной компенсации движения 2. Однако данный кодек не эффективен для сжатия видеоданных, формируемых движущейся камерой, из-за равномерного разбиения формируемого прогнозного кадра на блоки без учета глубины сцены и границ изображений объектов на прогнозном и опорном кадрах. Техническая задача, на решение которой направлена полезная модель, - создание кодека для сжатия видеоданных, поступающих от движущейся камеры, с использованием объектной компенсации движения видеокамеры, учитывающей структуру сцены и параллакс. Техническим результатом, который может быть получен при использовании данной полезной модели, является повышение коэффициента сжатия и качества восстановления видеоданных, формируемых движущейся камерой. Видеокодек с объектной компенсацией движения видеокамеры для сжатия видеоданных, состоящий из видеокодера, включающего блок вычитания, блок прямого информационного преобразования, квантователь, энтропийный кодер, блок обратного информационного преобразования, сумматор, буфер, блок объектной компенсации движения видеокамеры, и видеодекодера, включающего энтропийный декодер, блок обратного информационного преобразования, сумматор, буфер, блок объектной компенсации 2 82062012.04.30 движения видеокамеры, причем первый вход блока вычитания является информационным входом видеокодера, второй вход блока объектной компенсации движения видеокамеры в видеокодере и второй вход энтропийного кодера являются управляющим входом видеокодера, выход энтропийного кодера является выходом видеодекора, вход энтропийного декодера является входом видеодекодера, выход сумматора и вход буфера в видеодекодере являются выходом видеодекодера, отличается тем, что содержит блоки объектной компенсации движения видеокамеры, первые входы которых соединены с выходами буферов,вторые входы используются для подачи информации о движении видеокамеры, а выходы соединены со вторыми входами сумматоров. Сущность заявляемой полезной модели заключается в том, что предлагаемый видеокодек позволяет эффективно сжать и качественно восстановить видеоданные, формируемые движущейся видеокамерой, за счет использования объектной компенсации движения видеокамеры, основанной на анализе структуры трехмерной сцены и учитывающей параллакс. Предложение иллюстрируется следующими чертежами. На фиг. 1 представлена структурная схема видеокодека с объектной компенсацией движения видеокамеры, на фиг. 2 структура блока объектной компенсации движения видеокамеры, на фиг. 3 - структура блока объектно-ориентированного предсказания, на фиг. 4 - сегментация опорного кадра,на фиг. 5 - выравнивание сегментированного опорного кадра параллельно линии горизонта, на фиг. 6 - монокулярная оптическая модель, на фиг. 7 - объектная декомпозиция опорного кадра видеоданных, на фиг. 8 - определение расстояния до объекта по опорному кадру с помощью монокулярной оптической модели, на фиг. 9 - определение смещений пикселов опорного кадра при движении камеры с помощью бинокулярных оптических моделей, на фиг. 10 - уточнение расстояний до объектов по прогнозному кадру с помощью монокулярных оптических моделей, на фиг. 11 - неопределенности заслонения и сжатия при формировании прогнозного кадра, на фиг. 12 - возникновение неопределенного пиксела на прогнозном кадре из-за растяжения изображения объекта при движении видеокамеры, на фиг. 13 - пример возникновения неопределенности появления на прогнозном кадре, на фиг. 14 - два соседних кадра видеопоследовательности, полученной с помощью движущейся видеокамеры, на фиг. 15 - параметры установки и перемещения видеокамеры, на фиг. 16 - синтезированный прогнозный кадр, на фиг. 17 - структура потока на выходе видеокодера и входе видеодекодера, на фиг. 18 - соседние, прогнозные и разностные кадры. Видеокодек с объектной компенсацией движения видеокамеры состоит из видеокодера 1, включающего блок вычитания 2, блок прямого информационного преобразования 3,квантователь 4, энтропийный кодер 5, блок обратного информационного преобразования 6, сумматор 7, буфер 8, блок объектной компенсации движения видеокамеры 9, и видеодекодера 10, включающего энтропийный декодер 11, блок обратного информационного преобразования 12, сумматор 13, буфер 14, блок объектной компенсации движения видеокамеры 15, причем первый вход 16 блока вычитания 2 является информационным входом видеокодера 1, второй вход 29 блока объектной компенсации движения видеокамеры 9 и второй вход 22 энтропийного кодера 5 образуют управляющий вход видеокодера 1, выход 23 энтропийного кодера 5 является выходом видеокодера 1, вход 31 энтропийного декодера 11 является входом видеодекодера 10, выход 34 сумматора 13 является выходом видеодекодера 10 (фиг. 1). Блок объектной компенсации движения видеокамеры 9 в видеокодере 1 и блок объектной компенсации движения видеокамеры 15 в видеодекодере 10 одинаковы и включают в свой состав блок сегментации 39, блок компенсации крена камеры 56, блок объектной декомпозиции 40, блок объектно-ориентированного предсказания 41, блок предсказания положения линии горизонта 42, причем вход 43 блока сегментации 39 и вход 50 блока объектно-ориентированного предсказания 41 образуют информационный вход блока объектной компенсации движения видеокамеры 9 (или бло 3 82062012.04.30 ка объектной компенсации движения видеокамеры 15), второй вход 70 блока компенсации крена камеры, вход 49 блока предсказания положения линии горизонта 42 и второй вход 47 блока объектно-ориентированного предсказания 41 образуют управляющий вход блока объектной компенсации движения видеокамеры 9 (или блока объектной компенсации движения видеокамеры 15), выход 48 блока объектно-ориентированного предсказания 41 является выходом блока объектной компенсации движения видеокамеры 9 (или блока объектной компенсации движения видеокамеры 15) (фиг. 2). Блок объектно-ориентированного предсказания 41 включает в свой состав блок определения расстояний по опорному кадру 51, блок определения смещений пикселов 52, блок определения расстояний по прогнозному кадру 53, блок формирования прогнозного кадра 54, блок интерполяции пикселов прогнозного кадра 55, блок вычисления средней яркости опорного кадра 57,блок предсказания пикселов прогнозного кадра 58, причем вход 59 блока определения расстояний по опорному кадру 51 является первым информационным входом блока объектно-ориентированного предсказания 41, второй вход 60 блока определения расстояний по опорному кадру 51, второй вход 62 блока определения смещений пикселов 52 и второй вход 64 блока определения расстояний по прогнозному кадру 53 образуют управляющий вход блока объектно-ориентированного предсказания 41, первый вход 69 блока интерполяции пикселов прогнозного кадра 55 и вход 74 блока вычисления средней яркости опорного кадра 57 образуют второй информационный вход блока объектно-ориентированного предсказания 41, выход 73 блока предсказания пикселов прогнозного кадра 58 является выходом блока объектно-ориентированного предсказания 41 (фиг. 3). В предложенном видеокодеке для достижения высокого коэффициента сжатия видеоинформации, поступающей от движущейся видеокамеры, используется объектная компенсация движения видеокамеры, основанная на отделении изображений объектов от фона на опорном кадре и объектно-ориентированном предсказании следующего кадра по управляющей информации о перемещении видеокамеры, поступающей от системы контроля движения (например, сервопривода). Для отделения изображений объектов опорного кадра от фона используются сегментация, компенсация крена видеокамеры, определение положения линии горизонта на опорном кадре и объектная декомпозиция сегментированного опорного кадра относительно линии горизонта. Сегментация ставит в соответствие -му (0, -1) опорному кадру сегментированный опорный кадр( ,,) (0,1,0,1)( ,,) (0,1,0,1) , значение каждого пиксела 1, которого указывает на номер сегмента, к которому данный пиксел принадлежит, где- период0,-1 - пикселы опорного кадра- размер кадра- число сегментов,- число градаций яркости пикселов опорного кадра. В качестве примера на фиг. 4 представлены фрагмент опорного кадра размером 79 пикселов и результат его сегментации. Для сегментации может использоваться любой известный метод, например выращивания областей, разделения и слияния областей, водораздела и т.д. Для объектной декомпозиции необходимо компенсировать возможный крен видеокамеры. Для этого сегментированный опорный кадрвыравнивается параллельно линии горизонта за счет поворота относительно центра на уголкрена видеокамеры, в результате чего формируется выравненный сегментированный опорный кадр(,,) (0,1,0,1) , где(,,) - пикселы выравненного сегментированного опорного кадра, у/2,х/2 - координаты пикселов сегментированного опорного кадраоперация округления до ближайшего целого-/2)/(х-Х/2,4 82062012.04.30(/ 2) 2(/ 2) 2 - полярный угол и полярный радиус пиксела выравненного сегментированного опорного кадра С - размер выравненного сегментированного опорного кадра, ,- операция округления до ближайшего целого с избытком(/),( / 2) 2( / 2) 2 - полярные координаты углового пиксела сегментированного опорного кадра. В качестве примера на фиг. 5 представлены фрагмент сегментированного опорного кадра с наложенной на него линией горизонта, ориентация этого фрагмента относительно линии горизонта и результат его выравнивания. Для определения положения линии горизонта на опорном кадре используется монокулярная оптическая модель, в которой оптическая система видеокамеры представляется тонкой линзой и фотоприемной матрицей, а поверхность, на которой расположены объекты, предполагается плоской (фиг. 6). Смещениепроекции линии горизонта относительно нижней границы выравненного сегментированного опорного кадра М определяется исхода из заданного расстояниядо линии горизонта с помощью выраже / 2- фокусное расстояние- угол видиния 2(2) , где(/ 2 ) мости камеры при крене на угол , соответствующий разрешениюпикселов(2)- угол, соответствующий смещениюлинии горизонтаотносительно нижней границы выравненного сегментированного опорного кадраугол тангажа видеокамеры- высота установки видеокамеры. Объектная декомпозиция ставит в соответствие -му выравненному сегментированному опорному кадруобъектный опорный кадр( ,,) (0,1,0,1) ,значение каждого пиксела( ,,)1,1 которого указывает на фон (если(1) или номер изображения объекта (если 1), к которому данный пиксел принадлежит, где- число объектов, выделяемых на опорном кадре. Для определения значений пикселов объектного опорного кадраформируются векторы( 1,) и( 1,) -координат крайних нижнего и верхнего пикселов для каждого сегмента опорного кадра МС, элементыикоторых вычисляются с помощью выражений 0,10,1(,,))(( и Данные векторы используются для нахождения сегментов, пересекающих проекцию линии горизонта. Такие сегменты интерпретируются как изображения объектов, а остальные - как фон. Пикселы фона определяются с помощью выражения 0,10,1((,,)((,,((,,)1) , где- задаваемое допустимое отклонение положения проекции линии горизонта. Для остальных пикселов объектного опорного кадра , относящихся к изображениям объектов, сохраняются значения соответствующих пикселов выравненного сегментированного опорного кадрасогласно выражению 0,10,1((,,)(((,,((, ,)(, ,. Исключение составляют пикселы, относящиеся к -м сегментам, площадькоторых превышает заданное пороговое значение . Такие пикселы определяются как фон с помощью выражения 0 ,10 ,1((,,))( )(,,) . В качестве примера на фиг. 7 представлены результаты объектной декомпозиции опорного кадра, включающего три сегмента, два из которых (сегменты 1 и 2) пересекают проекцию линии горизонта и интерпретируется как изображения объектов, а третий сегмент не пересекает проекцию линии горизонта и интерпретируется как фон. Объектно-ориентированное предсказание прогнозного кадра видеоданных основано на использовании результатов объектной декомпозиции опорного кадра и управляющей информации о перемещении видеокамеры, поступающей от системы контроля движения. Суть объектно-ориентированного предсказания состоит в вычислении смещения элементов изображения (сегментов и отдельных пикселов) на прогнозном кадре видеоданных относительно опорного кадра в зависимости от расстояния от видеокамеры до объектов,соответствующих этим элементам, а также параметров видеокамеры, высоты ее установки, направления, характера и скорости движения. Объектно-ориентированное предсказание включает определение расстояний до объектов с использованием опорного кадра определение смещений пикселов опорного кадра на прогнозном кадре, обусловленных перемещением видеокамеры уточнение расстояний до объектов с использованием прогнозного кадра размещение пикселов опорного кадра в поле пикселов прогнозного кадра интерполяцию неопределенных пикселов прогнозного кадра предсказание неопределенных пикселов прогнозного кадра. Для определения расстояния до объектов по опорному кадру используется монокулярная оптическая модель (фиг. 8), учитывающая характеристики оптической системы (уголвидимости и разрешение С по вертикали с учетом крена видеокамеры), высотуустановки,уголтангажа видеокамеры и смещениясегментов относительно нижней границы опорного кадра . С помощью монокулярной оптической модели формируется матрица( )(, ,) расстояний от видеокамеры до объектов, значения эле 11 На основе матрицы( ) формируется матрица( )(,,) (0,1,0,1) рас стояний в результате поворота матрицы( ) на угол минускрена видеокамеры. В результате пикселам опорного кадра , относящимся к одному объекту, ставится в соответствие одинаковое расстояние, а пикселам фона - различное расстояние, в зависимости от их смещения относительно нижней границы опорного кадра . При перемещении видеокамеры происходит смещение и видоизменение изображений объектов трехмерного пространства, обусловленное явлением параллакса. Для вычисления смещений пикселов опорного кадрана прогнозном кадре используется бинокулярная оптическая модель, рассматривающая два положения видеокамеры в момент времени , соответствующий опорному кадру, и в момент времени (1), соответствующий прогнозному кадру. Бинокулярная оптическая модель учитывает два вида смещений пикселов относительно опорного кадра (вертикальное и горизонтальное), соответствующие трем видам движения видеокамеры (фиг. 9) вертикальному (вдоль оси ), горизонтальному (вдоль оси ) и продольному (перпендикулярно плоскости фотоприемной матрицы). С помощью бинокулярной оптической модели для каждого пиксела опорного ментов 82062012.04.30 кадрарассчитываются значения элементов матриц(,) (0,1,0,1) и(,) (0,1,0,1) проекционного предсказания вертикального и горизон тального смещений пикселов при сдвиге и повороте видеокамеры( ,)(,)(,) ,( ,)(,)(,) при 0,1 ,0,1 , где(,)(,)(,),(,)(,)(,) - составляющие, обусловленные сдвигом камеры (,)(,), (,)(,) - составляющие, обусловленные поворотом камеры (,)/, - прогнозируемое вертикальное смещение при вертикальном сдвиге камеры (,)/, - прогнозируемое горизонтальное смещение при горизонтальном сдвиге камеры(,)/,)-),(,)/,)-) - прогнозируемые вертикальное и горизонтальное смещения при продольном сдвиге камеры/ - прогнозируемое вертикальное смещение при тангаже камеры (,)(-/2)-, (,)(-/2)- - прогнозируемые вертикальное и горизонтальное смещения при крене камеры(/ 2 )2(/ 2) 2/ - прогнозируемое горизонтальное смещение при повороте камеры( / 2 )(/ 2 ) ,( / 2 )(/ 2 ) - вертикальный и гори зонтальный виртуальные фокусы модели оптической системы,- углы видимости камеры по вертикали и горизонтали. При формировании прогнозного кадра необходимо учитывать, что продольное и горизонтальное поперечные перемещения видеокамеры приводят к изменению расстояний до объектов. Для определения расстояний до объектов, соответствующих пикселам прогнозного кадра с координатами (у,х), используется монокулярная оптическая модель, на основе которой рассчитываются элементы матрицы(1)(,,1) (0,1,0,1) дальномерной коррекции с помощью выражения С/ при 0,1 и 0,1 , гдеуу(у,х) и хх(,) - координа ты пиксела прогнозного кадра, соответствующие пикселу (у,х) опорного кадра(фиг. 10). При движении видеокамеры параллакс может привести к сжатию изображения объекта из-за его удаления или заслонению одних объектов другими. В этих случаях при фор мировании прогнозного кадра(1)(, ,1) ( 0,1,0,1) не все пикселы опорного кадраоднозначно отображаются на пикселы прогнозного кадра(1) и возникают неопределенности заслонения и сжатия, связанные с проецированием нескольких пикселов опорного кадра на один пиксел прогнозного кадра (фиг. 11). Для корректного размещения пикселов опорного кадрав поле пикселов прогнозного кадра(1) учитывается соотношение значений элементов матриц (1) дальномерной рое определяется условиями( , ,1)( ,,1) и( , ,1)( ,,1) . лен (при инициализации( , ,1)) или объект, отображенный на пиксел опорного кадра, заслоняет объект, отображенный на пиксел( , ,1) прогнозного кадра. В этом случае определяются значения элементов( , ,1) прогнозного кадра(1)(, ,1) объектной декомпозиции прогнозного кадра с( , ,1)(,,) для 0,1 ,( , ,1) имеет место, если два или более пикселов опорного кадра проецируются на один пиксел прогнозного кадра. В этом случае определяются значения элементов(( , ,1)( ,,) ) / 2 . При движении видеокамеры возможно увеличение размера изображения объекта из-за его приближения (растяжение изображения). Это приводит к тому, что соседние пикселы опорного кадра не отображаются на соседние пикселы прогнозного кадра и образуются зоны неопределенности. Вычисление значений неопределенных пикселов возможно с использованием интерполяции. В качестве примера на фиг. 12 показано возникновение неопределенного пиксела на прогнозном кадре из-за растяжения изображения объекта при продольном движении видеокамеры. Для интерполяции неопределенных пикселов про гнозного кадра(1) формируются матрицы(,) ( 1,1,1,1) и(,) ( 1,1,1,1) разностей вертикальных и горизонтальных смещений пик селов опорного кадра с использованием выражений(, )( ,)(1,, (, )( ,)( ,1 при 1,1 ,1,1 , где- операция вычисления абсолютного значения. Условия интерполяции прогнозного кадра определяются тремя выражениями ,,)0), ,)0),)1), ,)1),)1). Для первого из приведенных условий выполняются операции вертикальной интерполя ции, определяемые выражениями(, ,1)(( ,,)(1,,/ 2 ,Для второго условия выполняются операции горизонтальной интерполяции, определяе ловия выполняются операции двухмерной интерполяции, определяемые выражениями 1,( ,) ,1,( ,) . При движении видеокамеры параллакс может привести к появлению областей пикселов, содержащих изображения объектов, заслоненных на опорном кадре другими объектами. Данные области представляют собой неопределенности появления, т.к. для образующих их пикселов отсутствуют соответствующие пикселы на опорном кадре. В матрице объектной декомпозиции прогнозного кадра пикселам из областей не определенности появления соответствуют нулевые значения( , ,1)0 . В качестве примера на фиг. 13 представлен случай заслонения объектом 1 объекта 2 при формировании опорного кадра. В результате движения видеокамеры данное заслонение перестает иметь место и значение пиксела, соответствующего объекту 2, оказывается неопределенным (объект 2 появляется из-за объекта 1). Для формирования значений пикселов в областях неопределенности появления осуществляется предсказание на основе 82062012.04.30 значения средней яркости пикселов опорного кадра. В результате предсказания значения( , ,1) пикселов прогнозного кадра(1) , для которых выполняется условие( , ,1)0 , устанавливаются равными среднему значению опорного кадра( , ,) и помечаются как пикселы фона( , ,1)1 .00 Блоки объектной компенсации движения видеокамеры 9 и 15, входящие в состав видеокодера 1 и видеодекодера 10, функционируют следующим образом. На вход 43 блока сегментации 39 и на первый вход 50 блока объектноориентированного предсказания 41 с первого входа 28 блока объектной компенсации движения видеокамеры 9 в видеокодере 1 или с первого входа 36 блока объектной компенсации движения видеокамеры 15 в видеодекодере 10 поступает опорный кадр . В качестве примера на фиг. 14 представлены два соседних кадра видеопоследовательности,полученной от движущейся видеокамеры. На второй вход 70 блока компенсации крена камеры 56, на вход 49 блока предсказания положения линии горизонта 42 и на третий вход 47 блока объектно-ориентированного предсказания 41 со второго входа 29 блока объектной компенсации движения видеокамеры 9 в видеокодере 1 или со второго входа 37 блока объектной компенсации движения видеокамеры 15 в видеодекодере 10 поступает информация о параметрах установки и перемещения видеокамеры значения высотыустановки, углов кренаи тангажавидеокамеры для каждого кадра видеоданных, а также относительные значения углаповорота, вертикального , горизонтальногои продольногоперемещений видеокамеры для текущего кадра относительно предыдущего (фиг. 15). На выходе блока сегментации 39 формируется сегментированный опорный кадр , значение каждого пиксела которого указывает на номер сегмента, к которому данный пиксел принадлежит (фиг. 4). Сегментированный опорный кадрпоступает на первый вход 44 блока компенсации крена камеры 56, на выходе которого формируется выравненный сегментированный опорный кадр , повернутый относительно центра на уголкрена видеокамеры (фиг. 5). Выравненный сегментированный опорный кадрпоступает на первый вход 71 блока объектной декомпозиции 40. На второй вход 45 блока объектной декомпозиции 40 поступает значение смещенияпроекции линии горизонта относительно нижней границы выравненного сегментированного опорного кадра ,которое формируется в блоке предсказания положения линии горизонта 42 (фиг. 6). На выходе блока объектной декомпозиции 40 формируется объектный опорный кадрзначение каждого пиксела которого указывает на номер соответствующего объекта или фона, и вектор-координат крайних нижних пикселов сегментов опорного кадра, позволяющий вычислить расстояния до объектов (фиг. 7). Объектный опорный кадри векторпоступают на второй вход 46 блока объектно-ориентированного предсказания 41, на выходе которого формируется прогнозный кадр(1) . Пикселы прогнозного кадра формируются в результате смещения пикселов опорного кадра в зависимости от расстояний до соответствующих им объектов и параметров движения камеры. При формировании прогнозного кадра(1) устраняются неопре(фиг. 13) областей пикселов. В качестве примера на фиг. 16 представлен прогнозный кадр(1) , синтезированный в блоке объектно-ориентированного предсказания 41 на ос нове опорного кадра , представленного на фиг. 14. Прогнозный кадр(1) по ступает на выход блока объектной компенсации движения видеокамеры 9 видеокодера 1 или на выход блока объектной компенсации движения видеокамеры 15 видеодекодера 10. Блок объектно-ориентированного предсказания 41, входящий в состав блоков объектной компенсации движения видеокамеры 9 и 15, функционирует следующим образом. 9 82062012.04.30 На первый вход 59 блока определения расстояний по опорному кадру 51 со второго входа 46 блока объектно-ориентированного предсказания 41 поступает объектный опорный кадри вектор-координат крайних нижних пикселов сегментов опорного кадра . На второй вход 60 блока определения расстояний по опорному кадру 51, на второй вход 62 блока определения смещений пикселов 52 и на третий вход 64 блока определения расстояний по прогнозному кадру 53 с третьего входа 47 блока объектноориентированного предсказания 41 поступает информация о параметрах установки и перемещения видеокамеры значения высотыустановки, углов кренаи тангажа х видеокамеры -го кадра видеоданных, а также относительные значения углаповорота,вертикального , горизонтальногои продольногоперемещений видеокамеры для(1)-го кадра относительно -го кадра (фиг. 15). На вход 74 блока вычисления средней яркости опорного кадра 57 и на первый вход 69 блока интерполяции пикселов прогнозного кадра 55 с первого входа 50 блока объектно-ориентированного предсказания 41 поступает опорный кадр(фиг. 14). На выходе блока определения расстояний по опорному кадру 51 формируется матрицарасстояний, которая поступает на первый вход 61 блока определения смещений пикселов 52 и на второй вход 72 блока определения расстояний по прогнозному кадру 53. На выходе блока определения смещений пикселов 52 формируются матрицыипроекционного предсказания вертикального и горизонтального смещений пикселов при сдвиге и повороте камеры (фиг. 9), которые поступают на первый вход 63 блока определения расстояний по прогнозному кадру 53 и на третий вход 68 блока интерполяции пикселов прогнозного кадра 55. На выходе блока определения расстояний по прогнозному кадру 53 формируется матрица дальномерной коррекции (фиг. 10), которая поступает на четвертый вход 67 блока интерполяции пикселов прогнозного кадра 55 и на вход 65 блока формирования прогнозного кадра 54. На вы ходе блока формирования прогнозного кадра формируется прогнозный кадр(1) ,который поступает на второй вход 66 блока интерполяции пикселов прогнозного кадра 55. На выходе блока интерполяции пикселов прогнозного кадра 55 формируется прогнозный кадр(1) с интерполированными значениями пикселов, который поступает на второй вход 76 блока предсказания пикселов прогнозного кадра 58. На выходе блока вычисления средней яркости опорного кадра 57 формируется значение средней яркости пикселов опорного кадра, которое поступает на первый вход 75 блока предсказания пикселов прогнозного кадра 58. На выходе 73 блока предсказания пикселов прогнозного кад ра 58 формируется прогнозный кадр(1) с предсказанными значениями неопределенных пикселов (фиг. 16), который поступает на выход 48 блока объектноориентированного предсказания 41. В целом видеокодек с объектной компенсацией движения видеокамеры работает следующим образом. При инициализации видеокодера 1 на выходе 23 энтропийного кодера 5 формируются флаг (1)0, указывающий на кодирование без компенсации движения видеокамеры(фиг. 17). На выходе 30 блока объектной компенсации движения видеокамеры 9 формиру ется инициализирующий кадр(1) с нулевыми значениями пикселов, который поступает на второй вход 17 блока вычитания 2 и на второй вход 26 сумматора 7. На первый вход 16 блока вычитания 2 поступает кадр видеопоследовательности для кодирования без компенсации движения - этот кадр считается первым кадром (1) видеопоследовательности выходе блока вычитания 2 формируется кадровая разность (1)(1)(1)(1) , которая поступает на вход 18 блока прямого информационного преобразования 3. На выходе блока прямого информационного преобразования 3 формируется матрица (1) 10 11 коэффициентов преобразования(дискретного вейвлет-преобразования или дискретного косинусного преобразования), которая поступает на вход 19 квантователя (4). После операцииквантования с выхода 20 квантователя 4 матрица(1)11 квантованных коэффициентов преобразования поступает на первый вход 21 энтропийного кодера 5 и на вход 24 блока обратного информационного преобразования 6. На выходе блока обратного информационного преобразования 6 формируется восстановленная кадровая разность (1)-11-11, которая поступает на первый вход 25 сумматора 7. На выходе сумматора 7 формируется первый опорный кадр(1)(1)(1)(1) , который поступает на вход 27 буфера 8, где запоминается. На выходе 23 энтропийного кодера 5 с помощью функции кодированияформируется закодированная матрица (1)11 квантованных коэффициентов преобразования, соответствующая первому кадру видеопоследовательности (фиг. 17). При кодировании очередного кадра (1) видеопоследовательности на выходе 23 энтропийного кодера 5 формируется флаг (1)1, указывающий на кодирование очередного кадра видеопоследовательности с компенсацией движения видеокамеры. На второй вход 29 блока объектной компенсации движения видеокамеры 9 и на второй вход 22 энтропийного кодера 5 поступает информация о параметрах установки и перемещения видеокамеры значения высоты (1) установки, углов крена (1) и тангажа (1) видеокамеры для текущего (1)-го кадра видеоданных, а также относительные значения угла (1) поворота, вертикального (1), горизонтального (1) и продольного(1) перемещений видеокамеры для текущего (1)-го кадра относительно предыдущего -го кадра (фиг. 15). На выходе 23 энтропийного кодера 5 формируется закодированная с помощью функции энтропийного кодированияинформация (1)1),(1), (1), (1), (1), (1), (1 о параметрах установки и перемещения видеокамеры (см. фиг. 15, 17). На выходе буфера 8 формируется опорный кадр, который поступает на первый вход 28 блока объектной компенсации движения видеокамеры 9. На выходе 30 блока объектной компенсации движения видеокамеры 9 фор мируется прогнозный кадр(1) , который поступает на второй вход 17 блока вычитания 2 и на второй вход 26 сумматора 7. На первый вход 16 блока вычитания 2 поступает очередной кадр (1) видеопоследовательности. На выходе блока вычитания 2 формируется кадровая разность (1)(1)(1) , которая поступает на вход 18 блока прямого информационного преобразования 3. На выходе блока прямого информационного преобразования 3 формируется матрица 1 коэффициентов преобразования, которая поступает на вход 19 квантователя 4. С выхода 20 квантователя 4 матрица 11 квантованных коэффициентов преобразования поступает на первый вход 21 энтропийного кодера 5 и на вход 24 блока обратного информационного преобразования 6. На выходе блока обратного информационного преобразования 6 формируется восстановленная кадровая разность(1)-11-11-11, которая поступает на первый вход 25 сумматора 7. На выходе сумматора 7 формируется очередной опорный кадр(1)(1)(1) , который поступает на вход 27 буфера 8, где запоминается. На выходе 23 энтропийного кодера 5 с помощью функции кодирования Е формируется закодированная матрица кадра (1) и прогнозного кадра(1) (фиг. 17). Способ кодирования следующего (1)-го кадра видеопоследовательности зависит от величины ошибкипредсказания, определяемой с помощью выражения 11 условие , где- предельно допустимое значение ошибки предсказания, то очередной кадр видеопоследовательности кодируется с компенсацией движения видеокамеры. Иначе осуществляется инициализация видеокодера и очередной кадр видеопоследовательности условно считается первым и кодируется без компенсации движения видеокамеры. При декодировании каждого кадра осуществляется проверка значения флага ,указывающего на использование компенсации движения видеокамеры (фиг. 17). Если при декодировании очередного кадра (1)0, производится инициализация видеодекодера 10, декодирование осуществляется без компенсации движения и декодируемый кадр условно считается первым кадром видеопоследовательности (1). На выходе блока объектной компенсации движения видеокамеры 15 формируется инициализирую щий кадр(1) с нулевыми значениями пикселов, который поступает на второй вход 38 сумматора 13. На вход 31 энтропийного декодера (11) поступает закодированная с помощью функцииматрица (1)11 квантованных коэффициентов преобразования, соответствующая первому кадру видеопоследовательности. На первом выходе энтропийного декодера 11 формируется декодированная с помощью функции -1 матрица (1)-11-11 квантованных коэффициентов преобразования, которая поступает на вход 32 блока обратного информационного преобразования 12. На выходе блока обратного информационного преобразования 12 формируется восстановленная с помощью функции -1 кадровая разность (1)-11-11, которая поступает на первый вход 33 сумматора 13. На выходе сумма тора 13 формируется первый опорный кадр(1)(1)(1)(1) , который поступает на выход видеодекодера и на вход 35 буфера 14, где запоминается. Если при декодировании очередного кадра 1 (фиг. 17), декодирование осуществляется с компенсацией движения видеокамеры. На вход 31 энтропийного декодера 11 поступает закодированная с помощью функцииинформация о параметрах установки и перемещения видеокамеры (1)1), (1), (1), (1), (1),(1), (1. На втором выходе энтропийного декодера 11 формируются декодированные с помощью функции -1 значения высоты (1) установки, углов крена(1) и тангажа (1) видеокамеры для текущего (1)-го кадра видеоданных, а также относительные значения угла (1) поворота, вертикального (1), горизонтального (1) и продольного (1) перемещений видеокамеры для текущего (1)-го кадра относительно предыдущего -го кадра (фиг. 15), которые поступают на второй вход 37 блока объектной компенсации движения видеокамеры 15. На выходе буфера 14 формируется опорный кадр , который поступает на первый вход 36 блока объектной компенсации движения видеокамеры 15. На выходе блока объектной компенсации движения видеокамеры 15 формируется прогнозный кадр(1) , который поступает на второй вход 38 сумматора 13. На вход 31 энтропийного декодера 11 поступает закодированная с помощью функцииматрица (1)1 квантованных коэффициентов преобразования, соответствующая кадровой разности. На первом выходе энтропийного декодера (11) формируется декодированная с помощью функции Е-1 матрица (1)-11-11 квантованных коэффициентов преобразования, которая поступает на вход 32 блока обратного информационного преобразования 12. На выходе блока обратного информационного преобразования 12 формируется восстановленная с помощью функции -1 кадровая разность (1)-11-11, которая поступает на первый вход 33 сумматора 13. На выходе сумматора 13 формируется очередной восстановленный кадр 12(1)(1)(1) , который поступает на выход видеодекодера и на вход 35 буфера 14, где запоминается. Эффективность видеокодирования определяется тремя основными факторами коэффициентом сжатия, качеством восстановления и скоростью кодирования видеоданных. При кодировании видеоинформации, формируемой движущейся видеокамерой, с использованием компенсации движения эти параметры непосредственно определяются компактностью представления информации о движении, величиной ошибки предсказания и скоростью предсказания. Для оценки компактности представления информации о движении целесообразно использовать коэффициенткомпактности, определяемый с помощью выражения/, имеющий размерность бит/пиксел и показывающий отношение объема координатной информациио движении к размеру кадра. С учетом использования 8 бит на кодирование каждого из 7 параметров установки и движения видеокамеры(8756 бит) и размера кадра 480640 пикселов предложенный видеокодек обеспечивает значение коэффициента 1,810-4 бит/пиксел. При использовании 16 бит на кодирование вектора движения каждого блока, размера кадра 480640 пикселов и размера блока 8864 пикселов (16480640/6476800 бит) прототип, для сравнения,обеспечивает значение коэффициента 0,25 бит/пиксел (примерно в 1400 раз хуже по сравнению с предложенным видеокодеком). В пересчете на коэффициент сжатия это означает, что при сокращении объематекущего кадра за счет компенсации движения и энтропийного кодирования ошибки предсказания ( - битовая глубина), например, в 100 раз, для каждого 8-битного (8) канала цветного изображения или 8-битного канала яркости полутонового изображения коэффициентсжатия, обеспечиваемый прототипом, составляет/(/)4806408/(480640 8/10076800)24,24 раз. В тех же условиях предложенный видеокодек с объектной компенсацией движения видеокамеры обеспечивает коэффициент сжатия/(/)4806408/(4806408/10056)99,77. Это примерно в/99,77/24,244,12 раз лучше в сравнении с прототипом. Выигрыш тем больше,чем больше размер кадра и коэффициент . Точность предсказания целесообразно оценивать с использованием пикового отношения сигнал-шум , вычисляемого для области предсказания с помощью выражения 111 101102 -1) /), где( ( , ,)( , ,2 - средне 00 квадратическая ошибка ,- размеры области перекрытия. На фиг. 18 представлены пары соседних кадров, прогнозные кадры, сформированные с помощью предложенного видеокодека и прототипа и соответствующие прогнозным кадрам разностные кадры. В табл. 1 приведены значения пикового отношениясигнал-шум предсказания, полученные для представленных на фиг. 18 кадрах с помощью предложенного видеокодека и прототипа при среднем размере блока 88 пикселов. Из табл. 1 видно, что предложенный видеокодек обеспечивает выигрыш до 1,5 дБ в пиковом отношениисигнал-шум предсказания по сравнению с прототипом. Таблица 1 Значения пикового отношениясигнал-шум предсказания, дБ Номера кадров 82062012.04.30 Скорость предсказания в предложенном видеокодеке зависит от числа выделяемых на опорном кадре сегментов. Скорость предсказания в прототипе определяются числом шагов, затрачиваемых на поиск в поле пикселов опорного кадра соответствия для каждого блока пикселов прогнозируемого кадра. Для кадров, приведенных на фиг. 18, в табл. 2 представлены результаты измерения задержки предсказания для программной модели предложенного видеокодека и программной модели прототипа, из которых видно, что скорость предсказания для обоих видеокодеков примерно одинакова. Таблица 2 Значения задержки предсказания, мс Номера кадров Технико-экономическое преимущество предложенного видеокодека с объектной компенсацией движения видеокамеры по сравнению с прототипом заключается в повышении коэффициента сжатия видеоданных за счет увеличения компактности представления информации о движении в результате использования параметров движения для всего кадра,а не для каждого небольшого блока в отдельности, а также повышении качества восстановления видеоинформации за счет уменьшения ошибки предсказания в результате применения компенсации движения к объектам, выделяемым с учетом структуры изображения, а не к блокам, выделяемым без учета структуры изображения. Таким образом, предложенный видеокодек обеспечивает высокий коэффициент сжатия и высокое качество восстановления видеоинформации, формируемой движущейся видеокамерой. Национальный центр интеллектуальной собственности. 220034, г. Минск, ул. Козлова, 20. 18