Выбор номенклатуры показателей качества функционирования системы обработки и анализа спектрозональных изображений

Оценка качества функционирования используемых разных ОЭУ МПИ обычно производится по различным показателям, сопоставляя их друг с другом по одному выбранному важнейшему показателю, который определяется как функциональная зависимость от остальных показателей [247,248].

Уровень качества функционирования системы оценивается как

где YK- уровень определяющего показателя качества изделия, который принимается за показатель качества, Х_ОП - значение оценочного показателя; Х_БП- базовое значение того же оценочного показателя.

В связи с тем, что СОАСЗИ характеризуется сложностью функционирования системы, необходимо производить оценку её функционирования по большинству или по основным критериям. Поэтому оценить качество функционирования СОАСЗИ напрямую по выражению (5.1) не представляется возможным.

Для адекватной оценки функционирования сложно структурированных систем принято выделять основные и второстепенные критерии и вести дальнейшую оценку только по основным критериям.

На основании анализа литературы, посвященной оценке качества систем обработки изображений [249-253], специфики формирования СОАСЗИ из множества критериев оценки качества функционирования был выбран следующий перечень:

- достоверность;

- вероятность обнаружения исследуемых объектов;

- точность обнаружения исследуемых объектов;

- точность пространственной привязки;

- точность настройки СОАСЗИ (качество калибровки);

- быстродействие;

- вид информации, получаемый с СОАСЗИ;

- поле обзора;

- отношение сигнал/шум;

- чувствительность СОАСЗИ;

- область спектральной чувствительности и число спектральных

диапазонов СОАСЗИ;

- спектральное, энергетическое, линейное и угловое пространственные

разрешения СОАСЗИ;

- степень адаптации СОАСЗИ к внешним условиям (освещенность,

фон, уровень помех и так далее);

- масса, габаритные размеры СОАСЗИ;

- возможность контроля качества и проведения испытаний;

- стоимость и другие.

Рассмотрим результаты экспериментальных исследований основных критериев оценки качества СОАСЗИ. В ходе проведения эксперимента разработанная СОАСЗИ проходила сравнение с модульной встраиваемой интеллектуальной оптико-электронной системой видеонаблюдения (МВИОЭСВ) [254].

Достоверность

Для того, чтобы проверить достоверность результатов работы СОАСЗИ проведен ряд экспериментальных исследований.

Для определения достоверности результатов работы СОАСЗИ происходит сравнение эталонов, хранящихся в блоке формирования эталонов и памяти, с полученными через ОЭУ МПИ и обработанными в блоках формирования изображений и системе комплексирования изображений изображениями (рисунок 5.1).

Для корректной процедуры сравнения эталонного изображения с входящим изображением необходимо провести ряд процедур, направленных на приведение двух изображений к единому масштабу и размеру (рисунок 5.6).

Рисунок 5.6 - а) полученное изображение, б) эталонное изображение

После того, как оба изображения приведены к единому масштабу и размеру, происходит наложение координатной сетки для дальнейших измерений (рисунок 5.7).

Рисунок 5.7 - Изображения с наложенной координатной сеткой

После этого возможно начать проводить измерения, методика которых заключается в следующем.

1. Нахождение разности соответствующих пар ^_расп, ^_талон) и их суммы:

2. Определение среднего значения разности пар d

3. Вычисление отклонений разности пар от среднего значения

4.

5. Определение стандартного отклонения:

6. Нахождение ошибки средней m_rf^:

7. Нахождение критерия t:

Найденные значения с обоих фотографий внесены в таблицу 5.1.

Таблица 5.1. Таблица экспериментальных исследований

На основании полученных выше результатов сделан вывод о том, что если полученное значение tбольше табличного значения, то различие между первыми и вторыми измерениями считаются достоверными.

Приведенный выше пример и множество других экспериментальных исследований позволили сделать вывод о том, что работу СОАСЗИ можно считать достоверной, а результат достоверности достигает 96% (таблица 5.2).

Вероятность обнаружения исследуемых объектов

Вероятность обнаружения исследуемых объектов в ходе работы СОАСЗИ может быть вычислена с учетом ряда параметров:

- вероятность правильного обнаружения;

- вероятность ложного обнаружения;

- вероятность правильной классификации объекта при распознавании;

- вероятность ложной классификации объекта при распознавании;

- точность пространственной привязки;

- точность измерения основных характеристик объектов.

Если сложить вероятность ложного обнаружения и вероятность ложной классификации объекта при распознавании, то получится вероятность суммарной ошибки.

Ложная классификация объекта при распознавании - это решение СОАСЗИ, что объект обнаружен, но на самом деле объект отсутствует на изображении.

Окончательное решение об обнаружении объекта на изображении принимается без участия оператора, поэтому особенность оборудования, зрительного аппарата оператора и его психофизиологические особенности не учитываются и не влияют на результат.

В таблице 5.2 показаны результаты экспериментальных исследований, касающиеся точности обнаружения объектов, СОАСЗИ по сравнению с МВИОЭСВ.

Быстродействие

Одним из критериев оценки качества функционирования СОАСЗИ является быстродействие, которое характеризует её производительность.

Быстродействие - это среднестатистическое число операций, выполняемых ОЭУ или ОЭС в единицу времени.

Методика оценки быстродействия подробно рассмотрена в [255], которая показала эффективность работы СОАСЗИ. Результаты экспериментальных исследований подробно представлены в параграфе 5.6.

Отношение сигнал/шум

Применение методов и алгоритмов с использованием вейвлет-фильтров, описанных во второй главе диссертации, позволили улучшить отношение сигнал/шум на 3-5 дБ по сравнению с аналогом.

Чувствительность

Описанная в параграфе 2.4 вейвлет-обработка спектрозональных изображений для компенсации дрейфа вольтовой чувствительности элементов, включающая в себя описание поведения вейвлет-коэффициентов при действии шумов, а также поиск оценок вейвлет-коэффициентов при неоднородной текстуре позволила улучшить качество итогового изображения на 30% по сравнению с аналогом.

Точность настройки СОАСЗИ (качество калибровки)

Предварительная калибровка СОАСЗИ является важным этапом настройки системы. Для решения задач определения качества калибровки СОАСЗИ необходимо разработать методику.

Неоткалиброванная система будет некорректно работать, а полученные итоговые изображения будут низкого качества.

Во время проведения испытаний определялись погрешности следующих калибруемых параметров:

- погрешность калибровки фокусных расстояний ОЭУ МПИ;

- погрешность коррекции радиальной дисторсии ОЭУ МПИ;

- средняя суммарная погрешность калибровки, определяемая различиями кадров, поступающих с АПК;

- достоверность распознавания объектов разработанной СОАСЗИ.

Рассмотрим подробнее разработанную методику проведения экспериментальных исследований.

1 этап. Этап калибровки фокусных расстояний ОЭУ МПИ

На данном этапе происходит выполнение следующих шагов.

1. Сборка ОЭУ МПИ, входящих в состав СОАСЗИ, согласно структурной схеме, представленной на рисунке 5.1.

2. Установка ОЭУ МПИ в горизонтальное положение, после чего уточнение уровня горизонта по разработанному методу калибровки [256].

3. Приведение эквивалентных фокусных расстояний всех ОЭУ МПИ посредством итерационного определения текущего фокусного расстояния и последующего уменьшения/увеличения фокусного расстояния.

4. Автоматическая калибровка по известному эталонному объекту.

5. Коррекция дисторсии согласно [257-259].

6. Расчет остаточных погрешностей после калибровки дисторсии.

7. Измерение точности калибровки по априори неизвестному удаленному объекту при больших фокусных расстояниях (1М00мм).

8. Ориентация ОЭУ МПИ в направлении объекта, в качестве которого было выбрано окно здания, расположенного на расстоянии 500 метров (рисунок 5.8).

9. Приведение эквивалентных фокусных расстояний всех ОЭУ МПИ аналогично пункту 3.

10. Автоматическая калибровка по автоматически выбранному априори неизвестному эталонному объекту.

11. Вычисление погрешности калибровки.

12. Сравнительный анализ полученных результатов основных параметров

СОАСЗИ с результатами параметров, полученных с известных устройств [20-22].

Рисунок 5.8 - Установка ОЭУ МПИ при проведении экспериментальных

исследований СОАСЗИ

2 этап.

На данном этапе происходит выполнение следующих шагов.

1. Калибровка ОЭУ МПИ согласно шагам 2-6 этапа 1.

2. Размещение распознаваемых объектов в области видимости всех ОЭУ МПИ (рисунки 5.9-5.10).

3. Распознавание объекта ОЭУ МПИ.

4. Изменение местоположения и ориентация распознаваемого объекта.

5. Изменение чувствительности и выдержки датчиков для получения результатов при различных уровнях шума.

6. Повторение пунктов 2-5 этапа 2 для накопления статистически значимой выборки.

7. Калибровка и ориентация ОЭУ МПИ СОАСЗИ согласно шагам 8-10 этапа 1.

8. Распознавание исследуемых объектов, представленных на рисунках 5.6-5.7.

9. Нахождение вероятности ошибочного распознавания P_am:

где N- количество нераспознанных объектов; N- количество предъявляемых объектов.

Характеристикой достоверности распознавания является вероятность безошибочного распознавания объектов:

І=1 < j=1. j≠i √

где PA_i- априорная вероятность появления объектов i-го класса; P_ij-- вероятность ошибочного отнесения объекта i-го класса к j-тому классу; П_к - количество классов объектов.

Обобщенная характеристика достоверности с учетом вероятности ошибочной идентификации (5.5), безошибочного распознавания (5.6) равна:

10. Сравнительный анализ полученных результатов с результатами, полученных с известных устройств [260-262].

11.

Рисунок 5.9 - Распознаваемые объекты СОАСЗИ

265

Рисунок 5.10 - Распознаваемые объекты СОАСЗИ

На основании методики, описанной выше, проведены экспериментальные исследования СОАСЗИ.

На вход СОАСЗИ подаются изображения, пример которых представлен на рисунке 5.6а). Далее изображения, проходя через ОЭУ МПИ, работающими в видимом, ультрафиолетовом и инфракрасном спектральных диапазонах, проходят процесс обработки и формируются блоками формирования изображений (рисунок 5.1).

В процессе обработки изображений были вычислены погрешности коррекции радиальной дисторсии, графики которых представлены на рисунках 5.11-5.13 для каждого спектрального диапазона отдельно.

Для значений погрешностей, определенных экспериментально, показаны границы 95% доверительного интервала.

Рисунок 5.11 - Абсолютная погрешность Δr коррекции радиальной дисторсии. Видимый диапазон

Рисунок 5.12 - Абсолютная погрешность Δr коррекции радиальной дисторсии. Инфракрасный диапазон

Рисунок 5.13 - Абсолютная погрешность Δr коррекции

радиальной дисторсии. Ультрафиолетовый диапазон

Проведенный анализ рисунков 5.8-5.10 показал, что методика калибровки ОЭУ МПИ, входящих в состав СОАСЗИ, представленная в параграфе 5.4, успешно работает, т.к. экспериментальные погрешности, указанные на рисунках 5.8-5.10 под номером 2, попадают в границы доверительного интервала во всех спектральных диапазонах.

За счет разработанной методики калибровки ОЭУ МПИ разработанная СОАСЗИ позволяет производить калибровку системы с высокой точностью (без использования эталонных объектов), точность которой повышена в 1,3 раза по сравнению с аналогом.

5.6.