Розділ 2
апроксимаціЯ сумішей гаусіан узагальненим гаусівським законом розподілу У
моделі прихованого марковського дерева
2.1. Аналіз моделі прихованого марковського дерева
Хоча модель прихованого марковського дерева має незаперечні переваги і дозволяє
зручно проводити статистичне моделювання зображень та сигналів у
вейвлет-просторі, вона також має і ряд недоліків. Основним недоліком, як було
відмічено у першому розділі, є тривалий час обчислення значень параметрів
моделі. Ітераційний метод оцінки-максимізації, що використовується для цього,
дозволяє обчислити значення параметрів моделі, при яких отримують локальний
максимум функції правдоподібності появи даних вейвлет-коефіцієнтів. Але
тривалість процесу пошуку значень параметрів є невизначеною [37, 38, 39].
Швидкість збіжності може значно відрізнятися навіть для подібних зображень. З
іншого боку, якщо потрібно отримати високу точність моделювання і знайти
глобальний, а не локальний максимум, доводиться кілька разів запускати
процедуру пошуку при різних початкових значеннях параметрів. Даний недолік
сильно обмежує можливість застосування моделі прихованого марковського дерева у
задачах та системах, що вимагають швидкої обробки вхідних даних.
Ще одним недоліком є неможливість визначення ентропії для суміші гаусіан, яка
характеризує розподіл значень кожного вейвлет-коефіцієнта. Це не дозволяє
використовувати модель з розробленими алгоритмами, які базуються на засадах
теорії інформації. Зокрема, це не дозволяє застосувати модель прихованого
марковського дерева при вирішенні задачі компресії даних.
У задачах обробки даних представлених у вейвлет-просторі, для опису густини
розподілу значень коефіцієнтів, часто використовують узагальнений гаусівський
розподіл (УГР) з нульовим математичним сподіванням [27, 75, 76]:
, (2.1)
де ;
- коефіцієнт форми;
- гамма функція;
- середньоквадратичне відхилення.
УГР, як і суміш гаусіан, має пік навколо нуля і довгі спадаючі негаусівські
хвости. Параметри УГР можна порівняно швидко визначити за даними
репрезентативної вибірки [76]. Також, він дозволяє отримати аналітичний вираз
ентропії [75]. Саме тому запропоновано використовувати при описі даних моделлю
прихованого марковського дерева апроксимацію суміші двох гаусіан узагальненим
гаусівським законом розподілу.
Вигляд функції при одиничному значенні середньоквадратичного відхилення для
різних значень коефіцієнта форми подано на рис.2.1. Відзначимо, що при значенні
коефіцієнта форми УГР перетворюється у лапласівський, а при - у гаусівський
закон розподілу.
Рис. 2.1. Узагальнений гаусівський закон розподілу при різних значеннях
коефіцієнта форми , .
Для визначення міри близькості двох законів розподілу в процесі пошуку
параметрів апроксимації використано класичний критерій мінімуму відносної
ентропії (мінімуму відстані Кулбака-Лейблера) [77]:
, (2.2)
де і - два закони розподілу, що порівнюються. Якщо , то відносна ентропія буде
рівна нулю.
2.2. Швидка ініціалізації параметрів моделі
Для вирішення задачі скорочення часу визначення параметрів моделі прихованого
марковського дерева, у роботі [72] запропонований метод початкової
ініціалізації параметрів, що дозволяє збільшити швидкість обчислення значень
параметрів приблизно у два рази. В межах методу застосовують дві процедури
названі горизонтальним скануванням та вертикальним обчисленням.
Горизонтальне сканування полягає у апроксимації густини розподілу
вейвлет-коефіцієнтів сумішшю гаусіан без врахування залишкових кореляційних
зв’язків між підсмугами. Тобто, модель прихованого марковського дерева, на
етапі ініціалізації, розглядається як модель незалежних сумішей. Параметрами
моделі при цьому виступають , , , . При відомих значеннях вейвлет-коефіцієнтів
кожного рівня розкладу задачею етапу є оцінка значень параметрів які
максимізують функцію правдоподібності , де:
,
.
Розв’язок отримують, застосовуючи алгоритм оцінки-максимізації. Отримані
значення використовують як оцінку дисперсій моделі прихованого марковського
дерева.
Після отримання параметрів сумішей гаусіан всіх підсмуг вейвлет-перетворення
застосовують етап вертикального обчислення, який дозволяє оцінити імовірності
появи значень прихованих змінних при відомих значеннях прихованих змінних
підсмуг вищого масштабу. Для цього спочатку визначають значення прихованих
змінних для кожного коефіцієнта використовуючи критерій максимуму
правдоподібності:
, (2.3)
де поріг визначається за критерієм максимуму правдоподібності.
При відомих значеннях прихованих змінних визначають частоту переходів значень
прихованих змінних для різних підсмуг і отримані значення використовують в
якості оцінки імовірностей переходу моделі прихованого марковського дерева.
Хоча час необхідний на визначення параметрів моделі прихованого марковського
дерева після ініціалізації описаним методом зменшується, загалом витрати часу
на визначення параметрів змінюються не сильно, оскільки визначення
ініціалізаційних значень все одно проводиться за допомогою ітераційного
алгоритму оцінки-максимізації. Отже модель прихованого марковського дерева, і в
цьому випадку, має обмежене застосування у системах, які вимагають швидкого
реагування на вхідні дані.
Тому була поставлена задача уникнути використання алгоритму оцінки-максимізації
хоча б на етапі визначення значень ініціалізаційних параметрів моделі.
Запропонований метод [78] пошуку ініціалізаційних параметрів виглядає наступним
чином:
- Визначення для кожної підсмуги параметрів УГР, які максимізують
правдоподібність появи коефіцієнтів [76];
- Визначення
- Киев+380960830922