Особенности применения семиотического подхода к проблематике моделирования, обработки и анализа графической информации

Известный в семиотике логический треугольник Фреге моделирует отношения между объектом реального мира и его представлением, пониманием (понятием) и обозначением (именем) в ментальном мире (рис. 2.1) [77].

МИР

Рис. 2.1. Треугольник Фреге

Предлагаемая методология семантического анализа и поиска графической информации основывается на семиотическом подходе к организации знаковых коммуникативных систем и включает три уровня: синтаксический (морфологивеские элементы — первичные, низкоуровневые элементы объектов, грамматики конструкций), семантический (логический анализ — понятийный уровень), прагматический (вербализация).

Применяя треугольник Фреге к задаче анализа изображений, получаем: денотат — видимое изображение; представление — контуры, цветовые области, границы, скелетоны; понятие — образ, характеристика свойств и отношений; имя — словесное обозначение. Использование когнитивного подхода позволяет строить многослойный граф (контуры, цветовые области, границы, скелетоны) как способ представления изображения, а методы сопоставления графов и дескриптивная логика формируют онтологию понятий в терминах предметной области, предоставляют возможность проводить логический анализ и получать вербальное (словесное) описание. Таким образом, в ходе процесса анализа многослойною агрибутивного графа изображения формируется связь между вершинами «понятие» и «представление» семантического треугольника, что позволяет преодолеть семантический разрыв между атомарными (низкоуровневыми) элементами изображений и смыслом сложных структур, составленных из них, т.е. перейти от синтаксической модели представления изображения к пониманию.

Концептуальная модель семантики изображения (рис. 2.2) показывает отношения между изображением реального объекта и его компьютерным представлением, пониманием и описанием (обозначением). Она отображает процессы перехода от традиционного представления изображения в виде двумерной матрицы пикселов к представлению в вычислительной среде: формирование многослойного атрибутивного графа —> извлечение понятий и отношений между ними —? описание изображенных объектов. Прямоугольниками обозначены сущности, ромбами — отношения, овалами — атрибуты.

Процесс понимания (осознания) графической информации следует рассматривать как процесс синтеза сети отношений между свойствами элементов и связей представленной графической информации и имеющейся в базе знаний графической и прагматической информации.

Развитие семиотического подхода осуществляется в направлении семантического анализа и синтеза формализованных понятийных описаний изображений объектов со сложной структурой с помощью биоинспирированых методов выделения морфологических признаков, когнитивного метода сопоставления графов и дескриптивной (описательной) логики. В качестве аналогии принята физиология зрительного восприятия: синтаксический уровень — глаза, латеральное коленчатое тело, первичная зрительная кора; правое и левое полушария.

Концептуальная модель процесса семантического анализа графической информации

Рис. 2.2. Концептуальная модель процесса семантического анализа графической информации

Назначение данной методологии семантического анализа и поиска графической информации состоит в получении последовательности формализованных моделей синтаксического, семантического и прагматического уровней с помощью адекватных методов анализа и правил, задаваемых дескриптивной логикой изображений объектов в предметной области задачи.

В целом, семиотический подход к анализу графической информации рассматривается в данной работе как направление решения проблем автоматизации интеллектуального труда [7].

Под семантикой изображения условимся понимать тройку:

IS = ,

где G — атрибутивный граф морфологических элементов и пространственных связей между ними — невербальный уровень понимания изображения;

D — формализованное словесное описание изображенных объектов, пространственных и сопоставительных отношений между ними — вербальный уровень;

V — граф-схема, структурная схема — визуальное (схематичное) представление информации изображения для контроля корректности восприятия системой, визуального общения между системой и человеком. Например, в системах автоматического анализа текстов широко применяются семантические сети — информационные графические модели, имеющие вид ориентированного графа, вершины которого соответствуют объектам, а дуги — отношениям между ними.

Формально модель системы семантического анализа графической информации можно представить как кортеж:

SA = (G(B), MLAG, Ф, Г(Т), 5, С R’),

где G(B) — исходная матрица пикселов изображения;

MLAG = G(vO, GSEGM, {GEDGE}, {GSKEL], GCONT, {/?}) — синтаксическая модель изображения в виде многослойного атрибутивного графа:

vO — корневая вершина с общими атрибутами изображения;

GSEGM — граф цветовых сегментов;

{GEDGE} — множество графов границ сегментов;

{GSKEL} — множество графов скелетонов сегментов;

GCONT — граф контуров изображения;

[R] — множество отношений между слоями графа;

Ф = Ф1иФ2иФЗиФ4 — множество функций и правил морфологического, синтаксического, семантического, прагматического анализа соответственно;

Г(Т) — граф (дерево) терминологии, отображающий таксономию формирования сложных понятий из простых;

S — стратегия, определяющая порядок последующего анализа в зависимости от состояния процесса, включая возвраты для уточнения информации;

С R’ — множество понятий и отношений терминологического раздела онтологии, описывающих объекты изображения, пространственные и сопоставительные отношения между ними.

Числовые и другие типы фактических данных атрибутивного графа рассматриваются здесь как прагматика графической информации — результат анализа изображений в соответствии с задачами предметной области.

Предлагаемая грамматика относится к категории контекстно-свободных грамматик. Терминальными символами служат цветовые области, границы, контуры, скелетоны, полученные на этапе морфологического анализа. Синтаксические конструкции из них, представленные в виде многослойного атрибутивного графа, анализируются путем интерпретации понятий, заданных с помощью дескриптивной логики с расширением на пространственные данные, представленные в виде атрибутивных графов. Это позволяет уйти от контекстно-зависимых грамматик при описании объектов со сложной структурой благодаря тому, что терминология строго ограничивается графом Г(Т) типа дерево.

Таким образом, сокращение семантического разрыва в анализе графической информации идет с двух сторон:

  • • снизу — вверх: со стороны формальных грамматик семиотического анализа многослойного атрибутивного графа с помощью дескриптивной логики — к многоуровневой (количество уровней теоретически не ограничено) структуре понятий и отношений;
  • • и наоборот: со стороны предметной онтологии через дескриптивную логику конструирования сложных понятий — к извлечению их семантики и прагматики с помощью рассуждателя на графах, вплоть до 3D геометрических моделей.

Отмстим, что в работах по поиску изображений, опирающихся на дескриптивные логики, пока, в основном, рассматривается только один уровень — объекты и отношения соседства. В работах, основанных на структурнолингвистическом подходе к анализу графической информации, обрабатывают только отрезки, особые точки и предопределенные последовательности (порождающие грамматики) из них.

В предлагаемом подходе процесс анализа графической информации осуществляется на трех уровнях, оперативно взаимодействующих между собой (рис. 2.3).

I II III

ЛПР

Синтаксис | Семантика j Прагматика

Image Mining

Рис. 2.3. Схема процесса семантического анализа и поиска графической информации

В данной схеме для уточнения и корректировки информации введены обратные связи, а также экспертные правила взаимодействия уровней.

С одной стороны, это этапы итерационного процесса осмысления информации для достижения необходимой степени конкретизации описаний, с другой — уровни контекстного охвата содержания и, соответственно, качественного состояния системы.

Локальный анализ составляют методы выделения локальных особенностей на изображении. Это первая группа методов синтаксического анализа. Здесь формируются простые морфологические элементы описания изображения: контурные точки, разветвления и концы линий.

Для выделения локальных особенностей применяется метод выделения контуров на изображениях путем интегрально-лучевого определения направлений на соседние контурные пикселы [70, 72].

Основные требования к методам этой группы — возможность оперативной смены разрешающей способности и чувствительности в зависимости от контекста. Также здесь вычисляются интегральные и статистические характеристики локальной области: средняя яркость, распределение яркостей.

Фрагментарный анализ — второй этап синтаксического анализа. Осуществляет выделение структурных элементов (деталей) изображения объекта в условиях зашумленности, затенения или недостаточной разрешающей способности. Здесь выполняются методы: оптимизация положения особых точек; уточнение особых точек (углов и разветвлений) путем экстраполяции лучей, исходящих из особых точек; выделение последовательностей точек; утончения и других операций. С их помощью конкретизируются первичные морфологические элементы объектов (или помех — отличить на данном этапе, без семантического анализа невозможно). При этом активизируются функции первого этапа, возвращаясь непосредственно к анализируемой области изображения.

В частности, данный этап может затребовать смену разрешающей способности или чувствительности локального анализатора, позволяя находить слабо выраженные, размытые по площади особенности. Чем выше степень интеграции изображения, тем ниже разрешающая способность. С другой стороны, чем выше разрешающая способность, тем больше линий, изломов и других шумов, мешающих «видеть» целостную картину.

На этом уровне осуществляется:

  • • оптимизация и уточнение положения особых точек;
  • • трассировка линий контуров;
  • • адаптация с целью повышения надежности отслеживания контурных линий, путем динамической смены степени интеграции и пороговых значений на анализируемом участке.

Необходимость разработки новых методов для этапа фрагментарного синтаксического анализа обусловлена зашумленностью, затенением объектов на реальных снимках или недостаточным разрешением сканирования/съемки. Ранее подобные задачи решались вручную, например, в ГИС эти операции выполняются пользователем с помощью специальных инструментов.

Аппроксимация и кодирование информации завершают формирование синтаксической структуры изображения и выполняют: кластеризацию цветовой 47

палитры и цветовую сегментацию, скелетизацию, аппроксимацию линий отрезками дуг и прямых.

Также на данном этапе выполняются операции по сжатию описания изображения: аппроксимация контуров отрезками прямых и дуг. В ходе аппроксимации снова, но уже на основе цепочек, уточняются особые точки и рекурсивно подбираются оптимальные точки перегиба — концы аппроксимирующих отрезков.

Требования к методам данного этапа: рекурсивность и итерационное приближение к необходимой и достаточной точности (в зависимости от задачи, например, в аппроксимации это может быть отклонение дуги от реальной линии).

Уровни логического анализа и вербализации. Проблема семантического анализа изображений выдвигает повышенные требования к описанию структуры, формы объектов и методам их анализа. Для этого разработаны метод сопоставления атрибутивных графов и дескриптивная логика (ДЛ) для анализа семантики изображений в терминах предметной области изображений.

Распознавание методом сопоставления нечетких пространственно нагруженных графов заключается в выделении таких связных подграфов, которые имеют наибольшую степень сходства графа запроса с имеющимися в базе.

Результатами этих уровней анализа являются семантическая интерпретация синтаксических структур и прагматические измерения параметров, отношений, трендов [45, 165].

Вербализация изображения заключается в логическом анализе графа и выявлении таких конструкций, которые удовлетворяют терминологическому разделу базы знаний, созданному на основе дескриптивной логики.

Таким образом, можно выделить следующие этапы и задачи (рис. 2.4):

МОРФОЛОГИЧЕСКИЙ АНАЛИЗ

  • Контуры
  • Цепочки
  • Особые точки (ОТ): концы ветвей, разветвления, углы

Биоинспирированные методы

  • Рекурсивная оптимизация ОТ
  • Экстраполяционное уточнение ОТ
  • Отслеживание линий и захват ОТ
  • Переход на слежение по краю площадного объекта
  • Адаптация к линиям

с затухающей контрастностью

• Адаптация разрешающей способности

СИНТАКСИЧЕСКИЙ АНАЛИЗ

И АППРОКСИМАЦИЯ

  • Цветовая сегментация
  • Выделение границ областей
  • Аппроксимация границ и контуров дугами и отрезками прямых
  • Скелетизация
  • Фаззифнкання значений атрибутов
  • Формирование многослойного атрибутивного графа изображения

4-»

СЕМАНТИЧЕСКИЙ АНАЛИЗ

  • Дескрннционная логика на графах ALC(Gl)
  • Поиск в графе изображения
  • Формирование?рафа пространственной сцены

Алгоритм ряссужлятеля ALC(G1>

  • Генерация дерева поиска
  • Поиск фактов — компонентов определения
  • Создание новых состояний
  • Контроль противоречивости фактов
  • Установление связанных фактов, выражающих пространственные отношения

Рис. 2.4. Этапы и выполняемые задачи

ПРАГМАТИЧЕСКИЙ АНАЛИЗ

  • Выделение тезауруса в качестве списка ключевых слов
  • • Формирование описания: Объекты — Атрибуты — Отношения
  • Кластеризация
  • Выявление трендов

Выводы но главе

Концептуальная модель процесса обработки, семантического анализа и поиска графической информации на основе когнитивной модели «треугольник Фреге» восприятия информации человеком отличается развернутым представлением графических информационных структур с целью разработки алгоритмов анализа и преобразования представлений. Приведены методологические и теоретические основания, структура методологии и требования к формализованным представлениям.

Методология, основанная на современных достижениях когнитивистики, методов анализа и извлечения знаний из изображений, содержит комплекс взаимосвязанных моделей и методов. Далее будут приведены математические модели, методы, методики, разработанные на ее основе, позволяющие расширить набор инструментальных средств анализа изображений в автоматизированных системах и повысить их надежность — релевантность результатов человеческому восприятию изображений.

Методология рассматривается как один из инструментариев технологии image Mining — извлечения знаний из изображений.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ   След >