Нейросетевые и статистические алгоритмы выделения неоднородных участков и границ раздела случайных полей

Оглавление
Введение...................................................................4
1. Модели и методы решения задач обнаружения неоднородных участков и определения границ раздела случайных полей.................................15
1.1 Типовые задачи выделения объектов на изображениях поверхности земли (выделение границ, оконтуривание, распознавание классов элементарных участков)..................................................................15
1.2 Известные подходы к решению задач выделения границ пространственно распределенных объектов....................................................26
1.3 Тестовая статистическая модель неоднородности в виде границы раздела
случайных полей............................................................37
Выводы по главе............................................................44
2. Нейросетевые и статистически оптимальные алгоритмы обнаружения неоднородных участков, содержащих границы раздела случайных полей, и их применение при обработке реальных изображений..............................46
2.1 Оптимальный алгоритм обнаружения участков с границей раздела случайных марковских полей и его эффективность.............................47
2.2 Нейросетевые и статистически оптимальные алгоритмы обнаружения неоднородных участков......................................................61
2.2.1 Синтез и обучение нейросетевого алгоритма обнаружения неоднородных участков...................................................................61
2.2.2 Сравнительный анализ эффективности оптимального и нейросетевого алгоритмов.................................................................65
2.2.3 Обучение и использование нейросетевого алгоритма обнаружения неоднородных участков при обработке реальных изображений...................69
2.3 Нейросетевые и статистически оптимальные алгоритмы определения
границ раздела случайных полей.............................................74
Выводы по главе............................................................82
2
3. Синтез и анализ алгоритмов выделения границ случайных полей на основе методов обнаружения разладки.............................................85
3.1 Авторегрессионные и вероятностные описания случайных полей, разделенных границей произвольной формы..................................86
3.2 Синтез и анализ «разладочных» алгоритмов выделения границы раздела марковских полей на основе моделей двумерной авторегрессии...............99
3.2.1 Алгоритмы выделения границы на основе обнаружения «разладки» при
построчных наблюдениях..................................................100
3.2.2 Алгоритмы выделения границы на основе обнаружения
«пространственной разладки»............................................108
3.3 Исследование эффективности алгоритмов обнаружения «разладки» в
интересах выделения границы раздела полей..............................119
Выводы по главе.........................................................127
4. Нейросетевые алгоритмы моделирования изображений пространственно распределенных объектов и их применение в задаче выделения границ 129
4.1 Алгоритмы моделирования изображений подстилающей поверхности с использованием искусственных нейронных сетей............................129
4.2 Исследование качества моделирования различных типов пространственно
распределенных объектов с использованием искусственных нейронных ..........
сетей...................................................................145
4.3 Комбинированные алгоритмы выделения границ случайных полей и их
использование при обработке реальных изображений........................153
Выводы по главе.........................................................162
Заключение.............................................................164
Литература.............................................................167
3
Введение
Последние десятилетия наблюдается непрерывный рост вычислительных мощностей компьютерной техники, вызванный совершенствованием микропроцессорной элементной базы. В связи с этим значительно расширяется спектр задач, посильных для обработки средствами современной вычислительной техники. Появляется возможность наделить алгоритмы обработки информации интеллектуальными способностями, считавшимися до этого присущими лишь человеческому мозгу с его высокопараллельной структурой организации. Одной из задач, предъявляющих повышенные требования к средствам цифровой и вычислительной техники, является задача обработки изображений. Компьютерная обработка изображений относится к числу наиболее динамично развивающихся информационных технологий, применяемых при исследовании Земли, в робототехнике, полиграфии, медицине, физическом материаловедении и т.п. [33,56,73,89].
В информационных системах различного назначения, реализующих обработку изображений используют методы дистанционного зондирования: пользователь имеет возможность получать информацию об изучаемом объекте на расстоянии, в том числе на основе космических аппаратов коммерческого применения. Дистанционные методы, как правило, являются косвенными, то есть, с их помощью измеряются не параметры состояния объектов, такие, как тип, форма, местоположение, а косвенно связанные с ними величины [22]. Например, аппаратура спутника регистрирует лишь интенсивность светового потока в нескольких участках оптического диапазона длин волн. Эта информация, как правило, передается для обработки в виде цифровых изображений. Наземная обработка этих изображений производится с помощью компьютеров в рамках пунктов приема информации из космоса. Здесь и возникает потребность в синтезе эффективных оперативных алгоритмов обработки потока данных, поступающих в виде последовательности цифровых изображений.
4
Одной из важных задач, решаемых при обработке радиолокационных и оптических изображений, получаемых в системах дистанционного зондирования земной поверхности, является задача предварительного обнаружения локальнонеоднородных участков и, на этой основе, границ пространственно распределенных объектов с целью их последующей сегментации и классификации. Решение этой задачи неоднократно рассматривалось как на основе эвристических методов [4,5,74,94,79], так и в рамках теории статистических решений в ряде работ [14,52,73,74,89,91]. По своей сути данная задача фактически является задачей обнаружения «разладки» [40-43] с учетом специфики определения случайных полей, используемых в качестве моделей изображений. В то же время, полученные в известных работах алгоритмы обработки часто оказываются неэффективными для реальных приложений: во-первых, крайне высока их вычислительная сложность при расчете функционалов правдоподобия для большого числа гипотез при неопределенности пространственного положения объектов; во-вторых, статистические модели изображений, для которых эти алгоритмы получены, не всегда хорошо аппроксимируют реальные изображения. Также следует отметить неустойчивое функционирование алгоритмов в условиях наличия помех.
С другой стороны, известны примеры применения альтернативных неклассических подходов и методов обработки информации в условиях существенной неопределенности относительно моделей обрабатываемых процессов и их статистических параметров. К числу подобных подходов относится концепция искусственных нейронных сетей. Считается, что первые шаги в области построения теории искусственных нейронных сетей были сделаны в 1943г. В. Мак-Калоком (W. McCulloch) и В. Питтсом (W. Pitts) [85]. Ими было показано, что при помощи пороговых нейронных элементов можно реализовать вычисление любых логических функций. В 1949г. Хебб предложил правило обучения, которое стало математической основой для обучения ряда нейронных сетей [76]. В 1957-1962гг. Ф. Розенблатг предложил и исследовал модель нейронной сети, которую он назвал персептроном. Результаты исследований он обобщил в кни-
5
ге «Принципы нейродинамики» [47], которая теперь имеет большое значение для теории нейронных сетей. В 1969г. М. Минский (М. Minsky) и С. Пайперт (S. Papert) опубликовали монографию «Персептроны» [86], в которой был дан математический анализ персептрона и показаны присущие ему ограничения. В 80-е годы исследования в области нейронных сетей значительно расширились. Д. Хопфилд (J. Hopfield) в 1982г. дал анализ устойчивости нейронных сетей с обратными связями и предложил использовать их для решения задач оптимизации [77]. В том же году Т. Кохонен (Т. Kohonen) разработал и исследовал самоорганизующиеся нейронные сети [82]. В 1986г. ряд авторов (Rumelhart, Hinton, Williams) предложил алгоритм обратного распространения ошибки [92], который стал мощным средством обучения многослойных нейронных сетей, являющихся на данный момент самой популярной сетевой архитектурой.
В настоящее время существует большое число практических реализаций нейросетевых алгоритмов обработки информации, применяемых в различных областях: при прогнозировании в экономике; в системах автоматизированного управления; в медицинской и технической диагностике при распознавании образов [17,20,38,45,55]. Известны также многочисленные примеры применения нейронных сетей при обработке изображений, достаточно подробный обзор которых дан в работах [21,72]. Спектр задач, решаемых в дайной предметной области с помощью нейронных сетей, достаточно широк. Это предварительная обработка изображений (включая подавление шумов и геометрическую коррекцию) [39], сжатие радиолокационных и сканерных изображений [35], сегментация изображений [50,67], идентификация и классификация объектов [36,37], поиск и распознавание различного рода объектов [16].
В качестве основных и наиболее значимых преимуществ методов нейросе-тевой обработки изображений можно выделить [2]:
возможность достижения потенциально более высокого показателя отношения «производительность/стоимость» для вычислительных средств по сравнению с «обычными» вычислительными средствами за счет широкомасштабного параллелизма применяемых элементарных операций;
6
возможность в рамках единого методического аппарата решать различные задачи обработки изображений;
возможность эффеюпвного решения задач, традиционно относящихся к «трудно формализуемым» и «трудно решаемым» задачам;
возможность эффективного решения задач в условиях неполной априорной информации.
Обоснование нейросетевых алгоритмов включает в себя выбор используемого типопредставителя сети, а также ее архитектуры, правил и параметров обучения, и в большинстве случаев строится на эвристической и эмпирической основе. При этом зачастую трудно сделать какие-либо выводы относительно эффективности сделанного выбора и близости полученных результатов к потенциально достижимым. Одним из возможных выходов в этой ситуации является проведение сравнительного анализа на тестовых моделях «сигналов и помех» эффективности и робастности нейросетевых и оптимальных в статистическом смысле алгоритмов обработки, когда теоретически возможно получение последних. Также, одним из существенных недостатков нейросетевого подхода являются трудности, связанные с получением данных для обучения алгоритмов обработки реальных изображений. В этой ситуации статистические алгоритмы обработки информации имеют несомненное преимущество, так как опираются на параметризованные модели случайных сигналов и полей.
Учитывая рассмотренные возможности статистических и нейросетевых алгоритмов, возникает идея реализации комбинированного подхода, позволяющего, по возможности, сочетать их преимущества и избавиться от недостатков. В плане задачи обработки изображений и, в частности, задачи выделения неоднородных участков и границ раздела пространственно распределенных объектов, представляется возможным рассмотреть два возможных варианта синтеза подобных алгоритмов. При первом из них предполагается использовать статистические параметризованные модели для генерации данных обучения нейронных сетей, способных затем обеспечить обработку реальных изображений. Статистически оптимальные алгоритмы, которые потенциально могут быть реализо-
7
ваны на таких моделях, могут быть использованы для контроля эффективности. Второй вариант предполагает, напротив, разработку статистических алгоритмов, для которых модели случайных полей и выделяемых на реальных изображениях пространственно распределенных объектов могут быть получены в рамках нейросетевого подхода. В своей совокупности исследования подобной направленности позволяют не только обеспечить практическую реализацию квазиоптимальных алгоритмов обработки изображений, но и дать объективную оценку возможностей различных методов обработки информации.
Таким образом, актуальность темы диссертации обусловлена необходимостью разработки нейросетевых, статистических и комбинированных алгоритмов для выделения неоднородных участков и границ раздела случайных полей, а также проведения сравнительного анализа эффективности полученных алгоритмов на тестовых статистических моделях и реальных изображениях пространственно распределенных объектов, получаемых в системах дистанционного зондирования земной поверхности.
Тема диссертации непосредственно связана с плановыми научно-исследовательскими работами, выполняемыми в ВГУ и других организациях.
Целью работы является разработка и исследование моделей и алгоритмов выделения неоднородных участков и границ раздела случайных полей на основе нейросетевых и статистических методов обработки информации. Для достижения цели в диссертации рассматриваются и решаются следующие задачи:
1. Анализ известных методов и подходов к решению задач выделения неоднородных участков и границ изображений пространственно распределенных объектов при обработке изображений.
2. Проведение синтеза и сравнительного анализа эффективности и робастности оптимальных и нейросетевых алгоритмов обнаружения локальных неоднородностей в интересах выделения границ раздела случайных полей на основе тестовой статистической модели неоднородностей.
8
3. Обоснование принципов построения последовательных алгоритмов обнаружения пространственной «разладки» в интересах выделения границы раздела случайных полей, синтезированных на основе авторегрессионных моделей, и исследование эффективности их функционирования с помощью методов имитационного моделирования.
4. Обоснование методики построения нейросетевых алгоритмов генерации текстур искусственных изображений авторегрессионного типа, а также рассмотрение применения полученных нейросетевых моделей изображений в комбинации с алгоритмами обнаружения «разладки» в интересах выделения границ пространственно распределенных объектов при обработке реальных изображений.
Методы проведения исследования. При решении поставленных в диссертации задач использовались современные методы теории вероятностей и математической статистики, теории статистических решений, теории марковских случайных полей, аппарата искусственных нейронных сетей, методы математического анализа, численные методы и методы программирования.
Основные результаты, выносимые на защиту. На защиту выносятся следующие результаты, впервые достаточно подробно развитые или полученные в настоящей работе.
1. Синтезированные на основе введенной тестовой модели статистически оптимальные и нейросетевые алгоритмы обнаружения неоднородности в виде границы раздела случайных полей и результаты исследования их эффективности и робастности.
2. Авторегрессионные модели случайных полей с границами произвольной формы и синтезированные на их основе алгоритмы выделения границ на основе обнаружения пространственной «разладки».
9
3. Нейросетевые алгоритмы моделирования текстур искусственных изображений авторегрессионного типа и результаты исследования их точности и адекватности.
4. Комбинированные алгоритмы определения границ пространственно распределенных объектов на основе сочетания алгоритмов обнаружения «разладки» и нейросетевых авторегрессионных моделей, обученных по реальным изображениям.
Научная новизна результатов работы заключается в следующем.
1. При обосновании алгоритмов обнаружения неоднородностей получены соотношения для функционалов правдоподобия гауссовских случайных полей, заполняющих общую область (фрагмент изображения) и разделенных границей произвольной формы, а также выражения для ошибок обнаружения неоднородности при использовании критерия идеального наблюдателя. Обоснована архитектура нейросетевых алгоритмов аналогичного назначения. Проведен сравнительный анализ эффективности и робастности оптимальных и нейросетевых алгоритмов в условиях, отвечающих возможным ситуациям практического применения подобных алгоритмов, и показано, что предложенные нейросетевые алгоритмы обеспечивают эффективность обработки, близкую к потенциально достижимой на основе оптимальных. Одновременно показано, что нейросетевые алгоритмы являются более робастными по сравнению с оптимальными при отклонении параметров используемой модели неоднородности от номинальных.
2. Получены выражения для условных и безусловных плотностей распределения вероятности гауссовского неразделимого случайного поля с границами произвольной формы, формируемого на основе авторегрессионных моделей различного порядка. Для трехточечной модели приведены рекуррентные соотношения для условных и безусловных дисперсий и определены условия стационарности случайного поля. Синтезированы статистические алгоритмы определения положения границ раздела трехточечных неразделимых случайных
10
полей методом обнаружения одномерной (построчной) и пространственной «разладок» и проведен сравнительный анализ их эффективности на примерах типовых ситуаций. Показано, что использование алгоритмов обнаружения пространственной «разладки» повышает вероятность правильного определения элемента границы в среднем от 20 до 50% по сравнению с однострочными методами в зависимости от степени различия параметров полей.
3. Впервые предложены нейросетевые алгоритмы моделирования (генерации) изображений пространственно распределенных объектов авторегрессионного типа, обучаемые непосредственно на реальных изображениях. Сформулированы рекомендации относительно структуры и параметров линейных и нелинейных нейронных сетей, используемых в качестве основных вычислительных элементов для проведения машинного синтеза изображений. Получены аналитические выражения, определяющие условия устойчивости нейросетевых алгоритмов для девятиточечной (размера 3x3) неупреждающей области локальных состояний.
4. Предложена методика синтеза комбинированных статистических алгоритмов определения границы объектов на изображениях методами обнаружения «разладки» в сочетании с нейросетевыми, формирующими коэффициенты линейной и нелинейной авторегрессии. Обоснована эффективность данного подхода при выделении границ раздела пространственно распределенных объектов на реальных изображениях, обладающих различной текстурой.
Практическая значимость работы. Предложенные в диссертации оптимальные, нейросетевые и комбинированные алгоритмы обнаружения неоднородных участков и оценивания местоположения границы раздела случайных полей, а также алгоритмы моделирования искусственных изображений могут быть использованы при обосновании принципов построения и разработке программных средств, систем обработки и анализа изображений. Полученные аналитические соотношения и результаты имитационного моделирования, направленные на оценку эффективности выполненных процедур анализа изображе-
11
ний, позволяют обоснованно выбирать необходимые режимы работы и параметры разработанных алгоритмов, реализуемых в конкретных системах в зависимости от имеющейся априорной информации и ограничений вычислительных ресурсов. Результаты работы могут найти практическое применение при проектировании и анализе информационных систем: автоматизированной обработки радиолокационных или оптических изображений, получаемых методами дистанционного зондирования; медицинской и технической компьютерной диагностики; искусственного зрения и анализа сцен в задачах робототехники; компьютерной графики для синтеза искусственных изображений.
Реализация научных результатов. Полученные в диссертации результаты использованы в 5 ЦНИИИ МО РФ при выполнении плановых НИОКР, а также в НТЦ «Версия» при разработке программного обеспечения для обработки изображений, получаемых при дистанционном зондировании (г. Кпимовск, Московская обл.), что подтверждается соответствующими актами о реализации.
Апробация работы. Основн ые положения диссертационной работы докладывались и обсуждались на:
1. XIII, IX и X Международных научно-технических конференциях «Радиолокация, навигация и связь», Воронеж, 2002, 2003, 2004гг.
2. I Всероссийской научной конференции «Проектирование научных приложений в среде МаОаЬ», Москва, ИПУ РАН, 2002г.
3. II научно-практической конференции «Мониторинг земель в системе управления ресурсами регионов России», Воронеж, 2003г.
4. III международной конференции «Идентификация систем и задачи управления» 81СРЯО ’04, Москва, ИПУ РАН, 2004г.
Публикации: По теме диссертации опубликованы 9 работ [23, 26-32, 84], в том числе 2 [29,32] в центральной печати.
12
Структура диссертационной работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы.
В первой главе диссертации дается краткое описание современного состояния проблемы обнаружения и выделения пространственно распределенных объектов, определяется её место в рамках обшей схемы цифровой обработки изображений. Рассматриваются методы выделения границ пространственно распределенных объектов и вводится тестовая математическая модель случайных полей, разделенных границей произвольной формы и наблюдаемых на фоне шумов, используемая в дальнейшем для проведения синтеза и анализа алгоритмов обработки информации.
Во второй главе производится синтез оптимального алгоритма обнаружения неоднородностей, описываемых введенной моделью, и проводится анализ эффективности работы оптимального алгоритма на основе аналитических оценок границ вероятностей ошибок и оценок, полученных в ходе имитационного моделирования. Для введенной модели неоднородности приводится методика синтеза и обучения нейросетевого алгоритма и производится сравнительный анализ эффективности и робастности работы нейросетевого и оптимального алгоритмов по отношению к изменению параметров модели, для которой они были синтезированы. Рассматриваются аспекты практического применения нейросетевого алгоритма. В заключительном разделе главы производится синтез оптимального и нейросетевых алгоритмов по определению положения границы раздела случайных полей в ходе построчных наблюдений.
В третьей главе приводятся авторегрессионные модели случайных полей, разделенных границей произвольной формы, для которых проводится вывод вероятностных характеристик для различных конфигураций границы. Производится вывод последовательных алгоритмов выделения границы на основе обнаружения «разладки» при построчных наблюдениях, а затем синтезируются алгоритмы выделения границы на основе обнаружения пространственной «раз-
13
ладки». Проводится исследование эффективности полученных алгоритмов обнаружения «разладки» в ходе имитационного моделирования.
В четвертой главе приводится обоснование методики построения рекуррентных нейросетевых алгоритмов генерации искусственных изображений подстилающих поверхностей различных типов, выводятся условия устойчивости алгоритмов в рамках авторегрессионных моделей для трехточечных и восьмиточечных конфигураций, а также рассматривается применение полученных нейросетевых моделей изображений в комбинации с «разладочными» алгоритмами для выделения границ пространственно распределенных объектов.
Благодарности. Автор выражает признательность научному руководителю проф. Сироте Александру Анатольевичу, ведущему научному сотруднику 5 ЦНИИИ МО РФ Попело Владимиру Дмитриевичу, заведующей аспирантурой Воронежского государственного университета Коноваловой Людмиле Николаевне, а также всему коллективу кафедры информационных систем за помощь и поддержку в выполнении работы.
14
1. Модели и методы решения задач обнаружения неоднородных участков и определения границ раздела случайных полей
Одной из задач предварительной обработки изображений, требующих высокой эффективности при большом объеме обрабатываемой информации, является задача обнаружения и выделения на полученных изображениях пространственно распределенных объектов, таких, например, как сельскохозяйственные угодья, урбанистические зоны, водные, лесные массивы и т.п., для проведения их последующей классификации и измерения интересующих характеристик.
Целью настоящей главы является рассмотрение известных методов решения задачи выделения объектов при обработке изображений и ее формулировка в рамках теории решений и статистической теории случайных полей. В первом разделе анализируется современное состояние проблемы обнаружения и выделения пространственно распределенных объектов, приводится ее место в рамках общей схемы цифровой обработки изображений, обосновывается рассмотрение данной задачи как задачи сегментации. Во втором разделе рассматриваются методы выделения пространственно распределенных объектов путем выделения границ однородных областей. В третьем разделе вводится и обосновывается тестовая математическая модель случайных полей, разделенных случайной границей, наблюдаемых на фоне шумов, используемая в дальнейшем для проведения синтеза и анализа алгоритмов обработки информации.
1.1 Типовые задачи выделении объектов на изображениях поверхности земли (выделение границ, оконтуривание, распознавание классов элементарных участков)
Современные компьютеры могут быть использованы для выполнения множества операций над изображениями. Изображение может быть обработано в целях получения новых измененных изображений, оно может быть подвергнуто анализу для получения различных типов дескриптивной информации, на-
15