Оглавление
Введение...............................................................5
1. Принципы кодирования источника сигнала в информационных радиотехнических системах.............................................13
1.1. Радиосистсмы передачи мультимедийной информации...............13
1.1.1. Обобщенная структура системы передачи информации.........13
1.1.2. Инфомационные объемы мультимедийных приложений...........14
1.1.3. Современные системы передачи информации и их характеристики..................................................17
1.2. Существующие стандарты сжатия видео...........................27
1.2.1. Принципы кодирования видеоизображений....................27
1.2.2. Семейство стандартов MPEG................................30
1.2.3. Семейство стандартов 11.26х..............................32
1.3. Ортогональные преобразования сигналов и полей.................34
1.3.1. Ортогональное и биортогональное векторное преобразование сигналов...................................................... 34
1.3.2. Полиномиальное преобразование............................36
1.3.3. Дискретные преобразования сигналов DCT и Wavelet.........47
1.3.4. Дискретное чебышевское преобразование GDCT...............53
1.4. Структура и свойства спектров сигналов и полей................57
1.5. Принцип видеокодирования MGDCT................................60
1.5.1. Особенности системы видеокодирования MGDCT...............60
1.5.2.Этапы кодирования MGDCT...................................63
2. Синтез и анализ многоальтернативного обнаружения изменений поля 74
2.1. Постановка задачи обнаружения: модели изменений...............74
2.2. Синтез блочных спектральных алгоритмов обнаружения изменений поля..............................................................77
2.2.1. Оптимальные алгоритмы....................................77
2.2.2. Квазиоптимальные алгоритмы...............................82
2.3. Характеристики многоальтернативного обнаружения изменений в блоках........................................................83
2.3.1. Вероятности ошибочных решений при двух гипотезах........83
2.3.2. Вероятности ошибок в многоальтернативном случае.........86
2.4. Экспериментальное исследование характеристик обнаружения изменений в блоках............................................92
2.5. Алгоритм обнаружения изменений на основе сегментации поля 97
3. Анализ информационных и статистических характеристик сигналов и
полей на основе спектрального описания.............................106
3.1. Информационное описание полей в спектральном представлении .106
3.2. Внутриблочная корреляция спектров при непрерывных ортогональных преобразованиях................................111
3.2.1. Спектральное разложение случайного поля в обобщенные ряды Фурье.......................................................1 1 1
3.2.2. Корреляция спектральных коэффициентов при разложении по базису с неограниченной областью определения..................112
3.2.3. Корреляция спектральных коэффициентов при разложении по базису с ограниченной областью определения....................114
3.3. Межблочная корреляция спектральных коэффициентов при непрерывных ортогональных преобразованиях....................117
3.4. Корреляция спектральных коэффициентов при дискретных преобразованиях..............................................122
3.4.1. Моменты и межблочная корреляция нулевой спектральной моды при DCT преобразовании...................................122
3.4.2. Моменты и внутриблочная корреляция ненулевых спектральных мод при DCT преобразовании.......................127
3.4.3. Межблочная корреляция одноименных спектральных мод при DCT преобразовании............................................130
3.5. Расчет и экспериментальное исследование энтропии спектра двумерного поля..............................................132
4. Обнаружение и оценка структурного подобия декодированных изображений...........................................................139
4.1. Современные объективные критерии структурного подобия.........141
4.2. Исследование энтропии и структурного подобия декодированных изображений..................................................149
4.3. Нспарамстрические критерии структурного подобия...............156
4.4. Исследование структурного подобия при наличии искажений 160
4.4.1. Структурное подобие при наличии импульсных помех.......160
4.4.2. Структурное подобие при наличии квазигауссовских помех.. 166
4.4.3. С труктурное подобие при наличии блочности...............168
4.4.4. Структурное подобие при наличии размытости..............169
4.4.4. О возможности использования критериев структурного подобия для обнаружения смены сцен. ....................................170
Заключение............................................................173
Библиографический список использованных источников..................175
Приложения............................................................183
1. Сэмплирование отсчетов в GDCT.......................................183
2. Обзор матриц квантования JPEG, MPEG, Н.26х..........................186
3. Исследование интегрального критерия оценки структурного подобия.... 191
4
Введение
Актуальность работы. Современные системы передачи данных функционируют в условиях, когда все возрастающие потоки данных необходимо передавать по каналам, пропускная способность которых ограничена действующими стандартами на частотные диапазоны, электромагнитной совместимостью, наличием помех.
Большую часть всей передаваемой информации в настоящее время занимает мультимедиа контент, наиболее весомой частью, которого является видео изображения. Этот факт, показывает важность и необходимость совершенствования и постоянного развития технологий сжатия именно мультимедийных данных и в особенности динамических изображений. Для этого разработаны стандарты сжатия видео МРЕ01-4, Н.261-264. Наиболее совершенные кодеки МРЕС-4, Н.264 / АУС являются эффективными по критерию коэффициента сжатия видеопотока — качество восстановленного видео, но весьма сложными в алгоритмическом и вычислительном плане. Соответственно, телекоммуникационные устройства, использующие данные стандарты сжатия, предъявляют высокие требования к процессорам видеообработки, обладают повышенным энергопотреблением. Поэтому они не могут быть использованы, например, в мобильных и автономных устройствах передачи или хранения видеоинформации.
Основным недостатком существующих алгоритмов сжатия является способ кодирования видео, основанный на оценке векторов сдвига фрагментов изображения от кадра к кадру, предсказание текущего кадра по предыдущим кадрам и преобразования ошибки рассогласования с помощью дискретного косинусного преобразования (ДКП). Данный принцип кодирования в целом достиг предела своих возможностей. Еще одной особенностью существующих алгоритмов сжатия видео является их детерминированный характер, поскольку они разработаны без учета влияния
5
1
помех на обрабатываемое изображение. Поэтому возникает необходимость в разработке новых принципов пространственно-временной обработки зарегистрированных оптических полей, сочетающих достаточную вычислительную простоту с эффективным удалением информационной избыточности в видеопотоке и устойчивостью к наличию помех. Данная задача, во-первых, может решаться путем использования новых видов ортогональных преобразований, отличных от ДКП. Во-вторых, синтез алгоритмов должен основываться на методах статистической теории принятия решений, приводящих к оптимальным алгоритмам. Причем данные алгоритмы должны быть устойчивыми к помехам различной природы и априорной неопределенности относительно характеристик обрабатываемых полей. В-трстьих, должны быть разработаны методы статистического и информационного анализа новых алгоритмов обработки, сжатия и восстановления динамических изображений (видеопоследовательностей).
Таким образом, недостатки существующих алгоритмов обработки и сжатия динамических изображений и необходимость применений новых принципов видеокодирования требуют решения указанных задач.
Нель работы. Целью работы является синтез и анализ спектральных алгоритмов многоальтернативного обнаружения изменений в зарегистрированных полях (видеопоследовательностях), разработка методов расчета количества информации в изображении на основе анализа спектров, обнаружение и оценка изменений в последовательности изображений с нечеткой математической моделью (структурное подобие). Для реализации этой цели в диссертации поставлены и решены следующие задачи:
1. Синтез алгоритмов многоальтернативного обнаружения изменений в блоках видеопоследовательности на основе обобщенного спектрального описания с учетом различной априорной информации об обрабатываемом изображении.
2. Разработка методов анализа и получения расчетных соотношений для характеристик многоальтернативного обнаружения изменений в
б
динамических изображениях, а также экспериментальная проверка предложенных алгоритмов и методов анализа их эффективности.
3. Исследование статистических характеристик спектральных мод обобщенных рядов Фурье и дискретного спектрального преобразования гауссовских случайных полей и разработка, на основе проведенного анализа, метода расчета количества информации и предела сжатия в изображении.
4. Разработка алгоритмов обнаружения и оценка изменений в динамических изображениях с неопределенными статистическими характеристиками и нечеткой математической формами - критериев структурного подобия и их экспериментальное исследование.
5. Установление методами статистического моделирования и натурных экспериментальных исследований границ применимости расчетных соотношений.
6. Разработка рекомендаций по алгоритмической структуре и рабочим параметрам для перспективного принципа видеокодирования МвОСТ, совместимого с кодированием на основе дискретного косинусного преобразования.
Методы проведения исследований. При решении поставленных задач в диссертации используются методы статистической радиофизики, математического анализа, теории вероятностей, математической статистики и случайных процессов, теории статистических решений. При экспериментальных исследованиях использовались реальные видеопоследовательности. При разработке пакета прикладных программ активно использовались методы объектно-ориентированного программирования на языке С++, а также процедурное программирование в пакете МаФсас!.
Научная новизна работы. В данной работе получены новые результаты:
1. Синтезирован блочный спектральный алгоритм
многоальтернативного обнаружения изменений в последовательности
изображений, и исследована его реализация на основе дискретного чебышевского (ОЭСТ) и дискретного косинусного преобразований.
2. Получены вероятностные характеристики при попарной проверке гипотез: а) нет изменений в блоке; б) изменения, связанные со сдвигом изображения; в) смена сюжета; г) пропадание блока - в спектральных алгоритмах обработки видеопоследовательности, в том числе при использовании части спектральных коэффициентов. Показано, что характеристики устойчивы к выбору порогов.
3. Предложен алгоритм обнаружения изменившихся фрагментов последовательности кадров на основе их статистической сегментации. Алгоритм основан на анализе временных корреляционных матриц каждого пространственного отсчета поля и не требует знания их законов распределения.
4. Получены корреляционные характеристики спектральных мод обобщенных рядов Фурье и дискретного косинусного преобразования гауссовских полей. Найдены внутриблочные и межблочные корреляционные моменты для спектральных коэффициентов и определены условия, когда корреляция пренебрежимо мала.
5. Разработан метод расчета количества информации (энтропии) цветного изображения на основе спектрального подхода.
6. Проведена экспериментальная проверка работоспособности синтезированных алгоритмов и методов их анализа, а также способов расчета энтропии изображения.
7. Предложены непараметрические алгоритмы обнаружения изменений в полях (изображениях) с неизвестной статистикой (структурой) и нечеткой математической формализацией.
8. Даны рекомендации по алгоритмической структуре и рабочим параметрам нового перспективного принципа видеокодирования МООСТ.
8
Основные положения и результаты, выносимые на защиту. На
защиту выносятся следующие результаты, впервые полученные в данной работе.
1. Блочные спектральные алгоритмы многоальтернативного обнаружения изменений в динамических изображениях, устойчивые к заданию порога принятия решения.
2. Теоретические и экспериметальные характеристики проверки гипотез о виде изменений в блоках изображений, учитывающие конечное число спектральных мод в решающих статистиках.
3. Новый алгоритм статистической сегментации изменяющихся фрагментов динамических изображений, не требующий знания законов распределения отсчетов поля.
4. Расчетные соотношения для внутриблочной и межблочной корреляции спектральных коэффициентов разложения поля в обобщенные ряды Фурье, позволяющие определить условия, при которых корреляцией можно пренебречь.
5. Методика расчета энтропии цветного (ЯвВ) изображения на основе его спектрального анализа, экспериментальное подтверждение вывода о том, что чебышсвское преобразование ОЭСТ лучше удаляет информационную избыточность при сжатии изображений, чем классическое дискретное косинусное преобразование при соизмеримом качестве изображений.
6. Многофакторное обобщение классических метрик (РБЫЯ др.) и новые непараметрические алгоритмы обнаружения и оценки изменений в полях с неизвестной статистической и нечеткой математической формализацией, названные непараметрическими критериями структурного подобия МЫББШ1 и МК'ББ1М2.
Практическая ценность. Проведенный в работе цикл теоретических и экспериментальных исследований позволил обосновать структуру и задать рабочие параметры нового перспективного видсокодека* МОЭСТ, обладающего хорошими характеристиками битрейт/качество в широком
9
диапазоне скоростей, передачи информации. Предложенные спектральные алгоритмы обработки и сжатия видеопоследовательностей просты в реализации, устойчивы к воздействию помех и искажений, а также к априорной неопределенности вида и свойств изображений. Результаты исследований внедрены в ОКР ЗАО «Кодофон».
Достоверность. Достоверность результатов, полученных в диссертационной работе, подтверждается корректностью использования математического аппарата, совпадением новых результатов с известными, результатами статистического моделирования и экспериментальными исследованиями на реальных видеопоследовательностях.
Апробация работы. Результаты исследований, приведенные в данной диссертации, были представлены в виде докладов и обсуждались на:
- VIII, IX, X, XI и XII Международных конференциях «Цифровая обработка сигналов и ее применения - ОБРА», Москва, 2006, 2007, 2008, 2009, 2010.
- XII, XIII, XIV Международных научно-технических конференциях «Радиолокация, навигация и связь», Воронеж, 2006,2007, 2008.
- VII Международной научно-технической конференции «Проблемы техники и технологии телекоммуникаций», Самара, 2006.
- XI Международной научно-технической конференции «Кибернетика и высокие технологии XXI века», Воронеж, 2010.
Публикации. По теме исследования опубликовано 14 печатных работ, из них 3 - в журналах, рекомендованных ВАК к защите диссертации.
Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, приложения и списка литературы.
В первой главе освещаются основные принципы кодирования источника сигнала в информационных радиотехнических системах. В главе приведена обобщенная схема системы передачи информации. Рассчитаны объемы передаваемой информации для мул ьти меди иных приложений и показана необходимость совершенствования алгоритмов компрессии.
10
Приведен обзор современных систем беспроводной передачи данных и их краткие характеристики. Приведены обзор стандартов сжатия видеопоследовательностей MPEG 1, MPEG 2, MPEG 4, Н.261, Н.263, Н.264 и особенности квантования различных алгоритмов компрессии. Рассмотрены виды ортогональных преобразований, их спектры. Приведены дискретные ортогональные преобразования DCT, Wavelet, а также чебышевское преобразование GDCT и его особенности. Также в 1-й главе рассмотрены принципы построения видсокодека MGDCT.
Вторая глава работы посвящена синтезу и анализу
многоальтернативного обнаружения изменений в последовательности полей. В этой главе рассмотрена общая постановка задачи, получены блочные спектральные алгоритмы обнаружения изменений в кадре видеопоследовательности. Получены результаты исследований характеристик обнаружений изменений в блоках видеопоследовательности. Рассмотрены многоальтернативные варианты обнаружения изменений в блоках видеопоследовательности. Разработан алгоритм обнаружения
изменений в видеопоследовательности на основе сегментации поля.
Третья глава работы посвящена анализу информационных
характеристик сигналов и полей на основе спектрального преобразования. В главе рассмотрены вопросы внутриблочной и межблочной корреляции
спектров при непрерывных и дискретных ортогональных преобразованиях. В главе получены расчетные соотношения и исследования энтропии
спектральных коэффициентов, как меры количества информации в изображении.
Четвертая глава посвящена обнаружению и оценке структурного подобия восстановленных изображений. В этой главе приведен краткий обзор существующих критериев структурного подобия. Предложены новые непараметрические критерии структурного подобия. Приведен целый ряд результатов исследований, посвященных влиянию на качество изображения таких искажений, как импульсные помехи, квазигауссовы помехи, блочность,
размытость. Исследована зависимость структурного подобия от энтропии, как меры сжатия изображения, определены области применения алгоритма сжатия вОСТ и его параметры.
Работа содержит 3 приложения. Приложение 1 освещает 1-й этап сжатия преобразования вИСТ - сэмплирование. Приложение 2 посвящено квантованию в различных стандартах кодирования изображений и видеоизображений, в том числе используемых в МСБСТ . Приложение 3 содержит описание и исследование разработанного интегрального критерия структурного подобия, его исследования, вариации и особенности использования.
12
1. Принципы кодирования источника сигнала в информационных
радиотехнических системах
1.1. Радиосистемы передачи мультимедийной информации
/. /. /. Обобщенная структура системы передачи информации Обобщенная структура системы передачи информации представлена на рисунке 1.1.1. Можно разделить схему на два больших блока: кодер и декодер, которые связаны между собой каналом передачи информации. На вход кодера поступает сигнал б(1) (где I - время). Далее сигнал поступает на вход цифрового фильтра, в котором подвергается предварительной обработке, если это необходимо. После этого сигнал поступает на канальный кодер, в котором отфильтрованный сигнал подвергается помехоустойчивому кодированию. Кодированный сигнал поступает на модулятор. В итоге модулированный сигнал вместе с другими модулированными сигналами поступает на мультиплексор, затем на передающую антенну. В канале связи к полезному сигналу, как правило, добавляется помеха. Совокупность сигнала и помехи поступает на антенну декодера, после чего на демультиплексор, разделяющий сигналы пользователей. Далее выделенный сигнал проходит предварительную фильтрацию и поступает на демодулятор, а затем и на канальный декодер. Декодированный сигнал может опять подвергаться фильтрации, после декодером сигнала формируется восстановленный сигнал б’(0. Восстановленный сигнал в общем случае отличается от исходного сигнала б(1).
Основной задачей построения радиотехнических систем передачи информации является обеспечение наилучшего приближения восстановленного сигнала б’(0 к исходному информационному сигналу.
В качестве информационных сигналов в современных системах широко используются изображения и видео, аудиосигналы (речь, музыка),
данные фактов и т.д. Эти сигналы объединены общим понятием -мультимедийные приложения.
Рисунок 1.1.1. Общая схема передачи информации через канал связи.
1.1.2. Ипфомационные объемы мультимедийных приложений Несмотря на то, что современные системы связи позволяют передавать информацию мегабитами в секунду, задача сжатия мультимедийной информации остается актуальной. Действительно, если рассмотреть видеоизображение, имеющее разрешение 640x480, то для хранения одного несжатого кадра необходимо 640-480-24 = 7372800 бит. Допустим, видеопоследовательность имеет частоту кадров 30 кадров в секунду, тогда размер информации, необходимый для отображения одной
секунды такой видеопоследовательности, будет соответственно равен:
14
7372800-30 = 221184000 бит/с = 221184 Кбит/с « 221 Мбит/с. При передаче такого видеоизображения в реальном времени необходимо иметь пропускную способность канала не менее 220 Мбит/с. Современные беспроводные системы передачи информации, более подробно рассмотренные ниже, только подходят по своим характеристикам к этому порогу. А для передачи такого видео в реальном времени по проводным локальным сетям необходимо иметь сеть как минимум Gigabit Ethernet, то есть имеющую пропускную способность 1000 Мбит/с. При этом не стоит забывать, что в рассмотренном примере был оценен только объем видеоизображения без звука. Рассмотрим возможности набирающего популярность формата видеоизображения Full! ГО, который имеет разрешение 1920x1080 точек. Для хранения такого кадра необходимо иметь 1920-1080-24 = 49766400 бит. Если учесть, что в формате FullHD частота кадров составляет 60 кадров в секунду, получим итоговое значение объема информации равное 49766400-60 = 2985984000 бит/с = 2985984 Кбит/с « 2986 Мбит/с. При таких объемах информации о беспроводной передаче данных не может быть и речи. Даже локальная сеть Ethernet требуется для такого огромного потока данных не меньше чем 10 Гбит/с.
В таблице 1.1.1 представлены объемы данных для передачи мультимедийной информации разного рода.
Таблица 1.1.1.
Телевидение
Аналоговый сигнал 6.5 мгц
Цифровой сигнал 213 мгц ( Мбит/сек)
DVB (цифровое ТВ) 7.61 Мбит/сек
Требования стандартов MPEG2 4-15 Мбиг/сек
MPEG4 0.256-1 Мбит/сек
Служебное видео Н.264 64 кбит/сек
15
Телефонная связь
Аналоговый сигнал 3.5 кгц
Цифровой сигнал 80 кгц (кбит/сек)
Требования стандартов ИКМ/ДИКМ 64/32 кбит/сек
Сотовая связь 8/13 кбит/сек
Служебная связь 2/4.6 кбит/сек
Музыка Hi-Fi стерео
Аналог овый сигнал 20 кгц
Цифровой сигнал 1.41 - 2.82 мгц (Мбит/сек)
1 минута музыки 10.6 Мб
Факс
Лист текста 1664x1956=3.254 тыс. точек
В реальных системах видеонаблюдения и эти приближенные оценки объемов информации необходимо умножать на коэффициент. Л именно, в системах видеонаблюдения, как правило, установлена не одна, а сразу несколько камер, поэтому для расчета потока информации передаваемого по каналу связи необходимо умножить величину потока с одной камеры на количество камер в системе. Все эти факты еще раз подчеркивают актуальность систем сжатия видеоинформации, несмотря на постоянно увеличивающуюся пропускную способность каналов связи. Остановимся на технологиях, применяемых в современных системах передачи информации.
16
1.1.3. Современные системы передачи информации и их характеристики
Рассмотрим такие надстройки к существующим сетям сотовой связи, как GPRS и EDGE.
GPRS (англ. General Packet Radio Service — пакетная радиосвязь общего пользования) - надстройка над технологией мобильной связи GSM, осуществляющая пакетную передачу данных. GPRS позволяет пользователю сети сотовой связи производить обмен данными с другими устройствами в сети GSM и с внешними сетями, в том числе Интернет.
При использовании GPRS информация собирается в пакеты и передаётся через неиспользуемые в данный момент голосовые каналы, такая технология предполагает более эффективное использование ресурсов сети GSM. При этом, что является приоритетом передачи — голосовой трафик или передача данных — выбирается оператором связи. Федеральная тройка в России использует безусловный приоритет голосового графика перед данными, поэтому скорость передачи зависит не только от возможностей оборудования, но и от загрузки сети. Возможность использования сразу нескольких каналов обеспечивает достаточно высокие скорости передачи данных, теоретический максимум при всех запятых таймслотах TDMA составляет 171,2 кбит/с. Существуют различные классы GPRS, различающиеся скоростью передачи данных и возможностью совмещения передачи данных с одновременным голосовым вызовом [45].
EDGE (англ. Enhanced Data rates for GSM Evolution) - цифровая технология для мобильной связи, которая функционирует как надстройка над 2G и 2.5G (GPRS)-cermiH. Эта технология работает в TDMA- и GSM-сетях. Для поддержки EDGE в сети GSM требуются определённые модификации и усовершенствования. На основе EDGE могут работать: ECSD — ускоренный доступ в Интернет по каналу CSD, EHSCSD — по каналу IISCSD, и EGPRS -по каналу GPRS. EDGE был впервые представлен в 2003 году в Северной Америке.
17
Статус принадлежности EDGE к сетям 2G или 3G зависит от конкретной реализации. В то время как EDGE-телефоны класса 3 и ниже не соответствуют 3G, телефоны класса 4 и выше теоретически могут обеспечить более высокую пропускную способность, чем другие технологии, заявленные как 3G. Телефоны с максимальной пропускной способностью на приём 236,8 Кбит/с в классе 10, EDGE соответствует как 2G-, так и ЗО-спецификациям [45].
Рассмотрим общие характеристики сотовой связи CDMA2000 и
UMTS.
EV-DO (Evolution-Data Optimized) - технология передачи данных, используемая в сетях сотовой связи стандарта CDMA.
1 X EV-DO - это фаза развития стандарта мобильной связи CDMA2000 lx. EV-DO - сокращение от EVolution Data Only. В отличие от EV-DV (EVolution Data/Voice) эволюции подвергся только интерфейс передачи данных, а передача голоса осталась полностью идентичной CDMA2000 1х и CDMA One (IS-95a/b).
Скорость передачи данных в EV-DO, в зависимости от поколений (релизов) стандарта и достигает (DownLoad/UpLoad): для Rev.O — 2,4 / 0,153 Мбит/с, для Rev.A — 3,1 / 1,8 Мбит/с и для Rev.B — 73,5 / 27.0 Мбит/с [45].
UMTS, Универсальная система мобильной связи (Universal Mobile Telecommunications System, У CMC) - технология сотовой связи, относящаяся к поколению 3G. В качестве способа передачи данных через воздушное пространство используется технология W-CDMA: стандартизованный в соответствии с проектом 3GPP ответ европейских учёных и производителей на требование IMT-2000, опубликованное Международным союзом электросвязи как набор минимальных критериев сети сотовой связи третьего поколения 3G.
С целью отличия от конкурирующих решений, УСМС (UM I S) также часто называют 3GSM с целью подчеркнуть принадлежность технологии к
18
- Київ+380960830922