Convergence region size research of television signal superposition iteration method for measurement machine vision system

Full Text

Введение

Обработка изображения представляет собой важную область исследования в современном мире. Она является неотъемлемой частью измерительных систем технического зрения, которые широко распространены в различных промышленных сферах. Например, для беспилотных летательных аппаратов обработка изображений используется при корректировке показаний датчиков пространственного положения. При автоматической конвейерной сборке автомобилей применяются роботизированные системы, оснащенные камерами и профильными датчиками. Управление их механическими манипуляторами происходит благодаря обработке изображений. В авиации обработка изображений используется на этапе посадки воздушных судов, предоставляя пилотам дополнительную визуальную информацию при плохих погодных условиях. На железной дороге обработка изображений осуществляется на диагностических комплексах при определении состоянии инфраструктуры железнодорожных путей.

Одной из актуальных задач при обработке является совмещение изображений. Совмещение может представлять собой самостоятельную задачу (например, для измерения скорости протяженных объектов необходимо совмещать два соседних кадра [1], а для трехмерной реконструкции – находить соответствие между фрагментами изображений [2]), а может являться частью предобработки (например, совмещение для последующего детектирования и распознавания объектов, для восстановления формы сигналов и т. д.).

В системе технического зрения особую важность представляют две характеристики:

• стабильность результатов совмещения;
• приемлемое для практического использования время обработки.

Наибольшей стабильностью обладают методы, основанные на полном переборе, однако они требовательны к вычислительным ресурсам, поэтому их применение сильно ограничено требованием времени обработки. В особенности это актуально для систем, работающих в режиме реального времени.

Поэтому наряду с переборными методами в системах технического зрения стали применяться итерационные методы, обладающие более высокой скоростью обработки. Особенность итерационных методов заключается в выборе параметров первого приближения, которые определяют процесс обработки.

Можно выделить две ситуации.

1. Значения параметров первого приближения находятся в некоторой окрестности искомых параметров, которые обеспечивают удовлетворительное совмещение.
2. Значения параметров первого приближения не принадлежат этой окрестности.

Размер окрестности (рабочей зоны) является важной характеристикой метода, от которой зависит скорость обработки телевизионных сигналов.

1. Исследуемый итерационный метод

В работе [3] описан метод итерационного совмещения телевизионных сигналов. Метод позволяет оценить шесть параметров: смещение вдоль оси абсцисс и ординат, поворот, масштаб, аддитивную и мультипликативную составляющую.

В методе проводится раздельная оценка двух групп параметров:

• смещения вдоль координатных осей с применением декартовой системы координат;
• поворота и масштаба с использованием логарифмически полярной системы координат.

После проведения итерационной обработки оцениваются аддитивная и мультипликативная составляющие.

В основе метода лежит идея, что если известна хотя бы одна реперная точка на изображениях (телевизионных сигналах), то этого будет достаточно для совмещения. Реперная точка на первом изображении соответствует центру, а координаты реперной точки на втором изображении определяются в ходе итерационной обработки. Одновременно с координатами реперной точки оцениваются и параметры совмещения. Для этого метода размер рабочей зоны определяется допустимым отклонением координат реперной точки первого приближения от искомой точки.

Исследованию размера рабочей зоны метода [3] посвящена данная статья.

2. Обзор методов совмещения

Среди методов совмещения изображений можно выделить два основных направления. К первому направлению относятся методы с предварительным распознаванием точек интереса (особых точек, feature points и т. д.), последующим сопоставлением и расчетом параметров совмещения по двум наборам точек [4–6]. Существующий недостаток, связанный с неверным сопоставлением точек интереса, часто устраняют с помощью метода RANSAC [7]. Основной недостаток методов этого направления заключается в том, что для слабоконтрастных (например, съемки во время тумана) или малоинформативных (например, съемка однородных по яркости объектов изображений) метод характеризуется высокой вероятностью ошибок из-за того, что не определяется достаточного количества точек интереса.

Ко второму направлению относятся итерационные методы. Метод совмещения phase-correlation [8; 9] основан на робастном оценивании угла поворота и масштаба с помощью образа изображения, полученного в результате преобразования Фурье, примененного к логарифмически полярному представлению изображения. Рабочая зона определяется допустимым отклонением координат реперной точки второго изображения, не превышающих 10 % от размера исходного изображения. Однако существенным недостаткам является достаточно узкий диапазон оценки масштаба (±20 %) и поворота (±30°).

Еще одним итерационным методом стало совмещение на основе предварительного разложения обрабатываемых сигналов в ряд Тейлора [10]. Однако этот метод предназначен преимущественно для оценки смещений и в некоторых случаях – для оценки поворота [11]. Рабочая зона определяется 2–3 пикселями по смещению и 5–15° по углу в зависимости от вида изображений.

Несколько иной метод на основе стохастического подхода был предложен в работе [12]. Принцип оценки основан на итерационном приближении параметров совмещений. Однако рабочая зона почти такая же, как и у предыдущего метода. Дополнительно метод позволяет оценивать масштаб в диапазоне ±5 %.

Оригинальный метод неподвижной точки был описан в работе [13]. Его идея заключается в предварительной оценке неподвижной точки, относительно которой происходит расчет поворота и масштаба. Высокая вычислительная производительность обеспечивается за счет использования проекций (суммирования изображений вдоль строк и столбцов). Рабочая зона по смещению составляет приблизительно 20 % от размера совмещаемого изображения. Масштаб и поворот оценивались с помощью переборных способов. Однако исследования показывают, что метод чувствителен к аддитивным и мультипликативным составляющим. Поэтому предварительно необходимо проводить нормализацию сигналов по среднему значению и среднеквадратичному отклонению.

Для итерационного метода [3] были приведены экспериментальные исследования, чтобы определить размер рабочей зоны.

3. Определение размера рабочей зоны

На рис. 1 показано изображение, полученное от системы технического зрения, контролирующей подвижной состав. Из исходного изображения g(x, y) (см. рис. 1, б) был взят фрагмент и преобразован в соответствии с параметрами:

• масштаб $\alpha =\mathrm{1,5};$
• угол поворота $\phi =30°;$
• смещение по оси абсцисс $h=275$ пикселей;
• смещение по оси ординат $p=124$ пикселей;
• мультипликативная составляющая $\lambda =\mathrm{1,2};$
• аддитивная составляющая $\gamma =20$ у. е. (примечание: условная единица соответствует 1/255 от максимальной яркости, которую способна зафиксировать видеосистема).

Рис. 1. Формирование совмещаемых изображений

Fig. 1. Formation of combined images

В результате было сформировано изображение f(x, y) (см. рис. 1, а).

На рис. 1 отмечено положение реперных точек. Для телевизионного сигнала f(x, y) реперная точка соответствует центру (x₀, y₀) = (81, 81), для телевизионного сигнала g(x, y) – (x’₀, y’₀) = (220, 94).

Если использовать эти точки для совмещения, то наблюдается практически полное совпадение сигналов (см. рис. 2). Коэффициент корреляции между изображениями равен 0,99.

Для доказательства, что точка (220, 94) является реперной для точки (81, 81), были проверены все точки изображения g(x, y). Для каждой точки оценивались параметры совмещения, а после совмещения рассчитывался коэффициент корреляции.

Рис. 2. Результат совмещения

Fig. 2. Result of combination

Результат этих проверок показан на рис. 3 и в таблице. На рис. 3 значение коэффициента корреляции описывается яркостью в предположении, что единичное значение соответствует максимальной яркости (белый цвет), а нулевое значение – минимальной яркости (черный цвет).

Как можно видеть из приведенных результатов, точка (x’₀, y’₀) = (220, 94) обеспечивает максимальное совпадение изображений после совмещения и является единственным глобальным экстремумом. Таким образом, эксперимент подтвердил, что точка (220, 94) является реперной для точки (81, 81).

Таблица. Значение корреляции в окрестности точки (x’₀, y’₀) = (220, 94)

Table. Correlation for point neighborhood (x’₀, y’₀) = (220, 94)

Рис. 3. Коэффициент корреляции для всех точек g(x, y)

Fig. 3. Correlation coefficient for image points g(x, y)

Второй эксперимент был проведен с целью определения точек в окрестности (220, 94), которые позволяют корректно совместить телевизионные сигналы в результате обработки по итерационному методу. В эксперименте проверялась окрестность размером ±20 пикселей (см. рис. 4). Белым цветом были отмечены точки, обеспечивающие корректные совмещения.

Пример траектории измерения реперной точки в ходе итерационной процедуры обработки приведен на рис. 5. Цифрами от 1 до 3 показан номер итерации. Таким образом, для выбранной точки совмещение изображений произошло за три итерации.

Рис. 4. Эксперимент по определению точек, обеспечивающих корректное совмещение

Fig. 4. Experiment: points of acceptable superpostion

Рис. 5. Пример итерационной оценки положения реперной точки

Fig. 5. Example: iteration estimation of reference point coordinate

Как можно видеть, наибольшее количество точек сосредоточено в квадратной области на расстоянии 10 пикселей от реперной точки. После совмещения фрагмент имеет размеры 107 × 107 пикселей (примечание: 161/1,5 = 107,3 пикселей), то есть для этих изображений размер рабочей зоны составил приблизительно 1/10 от размеров совмещаемого фрагмента.

Подобные эксперименты были проведены еще для 10 изображений. Во всех случаях были получены практически одинаковые результаты. Однако время обработки достаточно велико. Чтобы проверить итерационный метод на большом количестве изображений (примечание: выборка из 10 000 изображений), использовался статистический способ.

Реперные точки (x’₀, y’₀) выбирались с равномерным шагом прореживания (см. рис. 6).

Чем меньше шаг прореживания, тем выше вероятность, что выбранная точка окажется в окрестности искомой точки, и наоборот. Результаты экспериментов показали, что при использовании шага прореживания, не превышающего 1/10 от размера совмещаемого фрагмента, вероятность корректного совмещения практически равняется единице. При превышении этого порога вероятность совмещения начинает уменьшаться.

Рис. 6. Выбор реперных точек

Fig. 6. Selecting reference points

Таким образом, оба эксперимента привели к одним и тем же результатам.

Заключение

В ходе исследования метода итерационного совмещения [3] было установлено, что размеры рабочей зоны составляют приблизительно 1/10 от размера совмещаемого телевизионного сигнала.

На основании полученных результатов можно проводить проектирование системы технического зрения с программным обеспечением, в котором реализован итерационный метод совмещения.

В частности, метод был внедрен в систему технического зрения для распознавания фиксаторов контактного провода на железной дороге [14], в которой происходит совмещение разномасштабных изображений в режиме реального времени. Оптимизация по скорости обработки проводилась с учетом полученных в статье результатов.

About the authors

Rinat R. Diyazitdinov

Author for correspondence.
Email: rinat.diyazitdinov@gmail.com
ORCID iD: 0000-0001-6360-0351

Candidate of Technical Sciences, associate professor of the Department of Networks and Communication Systems

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Fig. 1. Formation of combined images

Download (319KB)

Indexing metadata

3. Fig. 2. Result of combination

Download (223KB)

Indexing metadata

4. Fig. 3. Correlation coefficient for image points g(x, y)

Download (73KB)

Indexing metadata

5. Fig. 4. Experiment: points of acceptable superpostion

Download (523KB)

Indexing metadata

6. Fig. 5. Example: iteration estimation of reference point coordinate

Download (534KB)

Indexing metadata

7. Fig. 6. Selecting reference points

Download (99KB)

Indexing metadata