Классификация и выделение объектов на изображениях. Трилатеральный фильтр


Классификация и выделение объектов на изображениях / Хабр

Здрайствуйте! В связи со сферой своей деятельности, собрался, на мой взгляд, очень ценный материал, которым хочу поделиться с вами. Думаю некоторым он будет крайне важен и полезен, возможно мои наработки сэкономят Вам время, в случае чего буду рад. И так ближе к делу. На Хабре уже есть хороший обзор алгоритмов кластеризации данных. Детально рассмотрена теория, но практических результатов нет, как обычно практика не так легка, как кажется. Поэтому хочу представить вашему сведению реальные результаты, проблемы и их решений возникшее при кластеризации (точней сказать сегментации, потому что объект кластеризации — статическое изображение). Под катом будет и сегментация, и цифровая обработка изображений. Прошу… Сначала краткая постановка задачи, возникшая как подзадача для задачи планирования траектории: есть статическое изображение, полученное с помощью камеры мобильного робота:

это изображение можно рассматривать как среду с препятствиями (сцена), представляющую собой совокупность объектов различных цветов и размеров, причем заранее неизвестно какой из объектов полезный (цель), а какой является препятствием (помехой). Так же предполагается, что каждый объект на изображении (препятствия, фон и дорожное покрытие) описывается своими цветами – основной признак, по которому можно его классифицировать. Так вот необходимо уметь выделять любой из объектов представленных на изображении.

Буквально кратко напомню, что такое кластеризация данных, в общем случае кластерный анализ (англ. Data clustering) — задача разбиения заданной выборки объектов (ситуаций) на подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались. Задача кластеризации относится к статистической обработке, а также к широкому классу задач обучения без учителя. Кластерный анализ — это многомерная статистическая процедура, выполняющая сбор данных, содержащих информацию о выборке объектов, и затем упорядочивающая объекты в сравнительно однородные группы (кластеры)(Q-кластеризация, или Q-техника, собственно кластерный анализ). Кластер — группа элементов, характеризуемых общим свойством, главная цель кластерного анализа — нахождение групп схожих объектов в выборке.

И зачем это вообще надо и без кластеризации можно жить? Тоже никто так и не осветил, попробую снять завесу с назначения этого понятия.

  1. Понимание данных путём выявления кластерной структуры. Разбиение выборки на группы схожих объектов позволяет упростить дальнейшую обработку данных и принятия решений, применяя к каждому кластеру свой метод анализа (стратегия «разделяй и властвуй»).
  2. Сжатие данных. Если исходная выборка избыточно большая, то можно сократить её, оставив по одному наиболее типичному представителю от каждого кластера.
  3. Обнаружение новизны (англ. novelty detection). Выделяются нетипичные объекты, которые не удаётся присоединить ни к одному из кластеров.
В первом случае число кластеров стараются сделать поменьше. Во втором случае важнее обеспечить высокую степень сходства объектов внутри каждого кластера, а кластеров может быть сколько угодно. В третьем случае наибольший интерес представляют отдельные объекты, не вписывающиеся ни в один из кластеров. Во всех этих случаях может применяться иерархическая кластеризация, когда крупные кластеры дробятся на более мелкие, те в свою очередь дробятся ещё мельче, и т. д. Такие задачи называются задачами таксономии. Результатом таксономии является древообразная иерархическая структура. При этом каждый объект характеризуется перечислением всех кластеров, которым он принадлежит, обычно от крупного к мелкому. Классическим примером таксономии на основе сходства является биноминальная номенклатура живых существ, предложенная Карлом Линнеем в середине XVIII века. Аналогичные систематизации строятся во многих областях знания, чтобы упорядочить информацию о большом количестве объектов.

С головой хватит пока теории, вернемся к проблеме, теперь, когда кто-то познакомился с термином, кто-то освежил в голове, а кто и совсем пропустил, будем решать задачу. Для решения взят метод кластеризации к-средних (k-means), потому что данный метод не требует предварительных предположений относительно числа кластеров, для возможности использования этого метода необходимо иметь гипотезу о наиболее вероятном количестве кластеров. Общая идея алгоритма: заданное фиксированное число k кластеров наблюдения сопоставляются кластерам так, что средние в кластере (для всех переменных) максимально возможно отличаются друг от друга. Для любителей картинок и попытка «объяснить на пальцах» (при количестве кластеров равно двум):

Основные достоинства алгоритма k-средних:
  • простота использования;
  • быстрота использования;
  • понятность и прозрачность алгоритма.
Недостатки алгоритма k-средних:
  • алгоритм слишком чувствителен к выбросам, которые могут искажать среднее. Возможным решением этой проблемы является использование модификации алгоритма — алгоритм k-медианы;
  • алгоритм может медленно работать на больших базах данных. Возможным решением данной проблемы является использование выборки данных.
Хочу сразу сказать, что все выполнялось в математическом пакете Matlab компании Mathworks (описание реализации — отдельная обширная статья). Применив k-средних для исходного изображения, приведённого вначале, получим следующее сегментированное изображение:

Видно, что большинство кластеров не имеют четких границ, накладываются друг на друга. Сравнивая оба рисунка, не трудно заметить, что появились нетипичные объекты (“разводы” на стене и полу), которые желательно (скорей необходимо для реальной задачи) собрать в общий кластер. Это связано с тем, что алгоритм слишком чувствителен к выбросам, которые могут искажать среднее и необходимо выполнить предварительную обработку изображения.

Первое, что пришло в голову после долгих рассуждений, стало медианной фильтрацией изображения, которая является решением для эффективного удаление шума при сохранении важных для последующего распознавания деталей изображения. Сложность решения данной задачи существенно зависит от характера шумов. В отличие от детерминированных искажений, которые описываются функциональными преобразованиями исходного изображения, для описания случайных воздействий используют модели аддитивного, импульсного и мультипликативного шумов. А теперь плавно погрузимся в теорию.

Наиболее распространенным видом помех является случайный аддитивный шум, статистически независимый от сигнала. Модель аддитивного шума используется тогда, когда сигнал на выходе системы или на каком-либо этапе преобразования может рассматриваться как сумма полезного сигнала и некоторого случайного сигнала. Модель аддитивного шума хорошо описывает действие зернистости фотопленки, флуктуационный шум в радиотехнических системах, шум квантования в аналого-цифровых преобразователях и т.п. Аддитивный гауссов шум характеризуется добавлением к каждому пикселю изображения значений с нормальным распределением и с нулевым средним значением. Такой шум обычно появляется на этапе формирования цифровых изображений. Основную информацию в изображениях несут контуры объектов. Классические линейные фильтры способны эффективно удалить статистический шум, но степень размытости мелких деталей на изображении может превысить допустимые значения. Для решения этой проблемы используются нелинейные методы, например алгоритмы на основе анизотропной диффузии Перрона и Малика, билатеральные и трилатеральные фильтры. Суть таких методов заключается в использовании локальных оценок, адекватных определению контура на изображении, и сглаживания таких участков в наименьшей степени. Импульсный шум характеризуется заменой части пикселей на изображении значениями фиксированной или случайной величины. На изображении такие помехи выглядят изолированными контрастными точками. Импульсный шум характерен для устройств ввода изображений с телевизионной камеры, систем передачи изображений по радиоканалам, а также для цифровых систем передачи и хранения изображений. Для удаления импульсного шума используется специальный класс нелинейных фильтров, построенных на основе ранговой статистики. Общей идеей таких фильтров является детектирование позиции импульса и замена его оценочным значением, при сохранении остальных пикселей изображения неизменными.

Медианная фильтрация изображений наиболее эффективна, если шум на изображении имеет импульсный характер и представляет собой ограниченный набор пиковых значений на фоне нулей. В результате применения медианного фильтра наклонные участки и резкие перепады значений яркости на изображениях не изменяются. Это очень полезное свойство именно для изображений, на которых контуры несут основную информацию. При медианной фильтрации зашумленных изображений степень сглаживания контуров объектов напрямую зависит от размеров апертуры фильтра и формы маски. При малых размерах апертуры лучше сохраняются контрастные детали изображения, но в меньшей степени подавляется импульсные шумы. При больших размерах апертуры наблюдается обратная картина. Оптимальный выбор формы сглаживающей апертуры зависит от специфики решаемой задачи и формы объектов. Особое значение это имеет для задачи сохранения перепадов (резких границ яркости) в изображениях. Ну все, теперь можно показывать результаты

Все стало вроде хорошо, но было принято решение не останавливаться на достигнутом и тут почти случайно наткнулся на технологический прием обработки фотографического изображения, который позволяет добиться эффекта ощущения большей его резкости за счет усиления контраста тональных переходов (Unsharp masking). Важно отметить, что нерезкое маскирование не повышает резкость изображения на самом деле. Оно не может восстановить потерянные на разных этапах производства изображения детали (при съёмке, сканировании, изменении размера, полиграфическом воспроизведении). Нерезкое маскирование усиливает локальный контраст изображения на тех участках, где изначально присутствовали резкие изменения градаций цвета. Благодаря этому изображение визуально воспринимается как более резкое.

Если наглядно, то после медианной фильтрации и нерезкого маскирования будет вот такая картинка:

Ну, а вот теперь выполним кластеризацию и сравним, что было и что стало:

Как видно, сразу уменьшилось количество кластеров и теперь они имеют более четкие границы, можно считать, что задача решена, только осталось предложить инструмент для выделения объекта на изображение.

Когда выполнен кластерный анализ, можно определить координаты целевого объекта на изображении. Для этого кластера представляются бинарными изображениями (масками), на которых значения каждого пикселя условно кодируются (0 — задний план или фон, 1 – передний план), то есть сегментация с выделением границ. Например, маска зеленного объекта будет

Спасибо за внимание, надеюсь, Вам было и будет полезно.

habr.com

Трилатеральная постфильтрация карт глубины 1

Д. С. Ватолин (к.ф.-м.н.)1, А. А. Воронов (студент)1, М. А. Смирнов (к.т.н.)2

ТРИЛАТЕРАЛЬНАЯ ПОСТФИЛЬТРАЦИЯ КАРТ ГЛУБИНЫ 1

1МГУ им. Ломоносова, факультет Вычислительной Математики и Кибернетики,

Лаборатория Компьютерной Графики и Мультимедиа;

2ЗАО «ЮВсофт»

Аннотация

В этой статье предложен новый подход для пространственной фильтрации карт глубины, полученных на основе оптического потока по видео с движением камеры. На исходной карте глубины, в связи с недостаточной точностью получения информации о движении возникают ошибки. Задача состоит в том, чтобы сделать карту глубины однородной в гладких областях, избежав размывания краёв объектов. Для решения этой задачи предлагается использовать трилатеральную фильтрацию, ядро свёртки которой состоит из следующих компонент: геометрической, фотометрической по исходному кадру и фотометрической по глубине. Видео, построенное с применением данного метода, показало большую стабильность как в пространстве кадра, так и во времени. Также в статье приводится сравнение предложенного метода с обычной билатеральной фильтрацией.

Введение

Одним из распространённых способов создания трёхмерного видео является изменение параллакса изображения с использованием карты глубины. Для этих целей необходима информация о расстоянии от камеры до объектов в сцене. Карта глубины – это визуализация расстояния до объектов в каждой точке изображения: чем дальше объект, тем более тёмным цветом он отображается. Создание карт глубины – достаточно трудоёмкий процесс. В общем случае задача создания карты глубины по изображению алгоритмически неразрешима, и до недавнего времени на практике активно использовался подход ручного построения карт глубины с привлечением специально обученных художников, что достаточно долго и неоправданно дорого с финансовой точки зрения. Однако для некоторых случаев возможно создание карт глубины по информации из сцены. Есть работы с применением методов машинного обучения, где эта информация извлекается из достаточно большой базы тестовых изображений в разном масштабе [1]. Также в [2] был предложен метод, использующий то свойство, что объекты переднего плана обычно находятся в фокусе и имеют чёткие границы, а с удалением от камеры границы объектов становятся всё менее резкими. Хорошо известен также подход, предложенный в [3], согласно которому можно строить глубину на основе геометрических свойств сцены, например, с учётом точки схождения перспективы, положения линии горизонта и т. п. Кроме того, для сцен, в которых есть движение камеры, можно построить карту глубины, исходя из перемещения объектов в сцене, используя построение оптического потока сцены. В случае панорамной съёмки смещение объекта в одном кадре относительно другого зависит от того, насколько близко этот объект находился к камере. Данный поход достаточно детально описан в [4] и [5].

Описание решаемой проблемы

Наиболее качественным способом получения информации о движении в сцене является использование алгоритма оптического потока. Однако результаты работы этого алгоритма на данном этапе не могут быть идеальны в силу нескольких причин. Первая причина заключается в том, что невозможно построить точный оптический поток для двух кадров для областей открытия или закрытия, возникающих при движении объектов. В подобных областях глубина не может быть корректно определена. Другая причина заключается в том, что часто на практике невозможно точного определить движение на гладких областях, в особенности на зашумлённом видео. И, наконец, в силу высокой вычислительной сложности на данном этапе в целях ускорения работы системы приходится жертвовать качеством работы алгоритма оптического потока, что сказывается на конечном результате. Поэтому часто полученная карта глубины нуждается в обработке с целью уменьшения ошибок алгоритма, либо уменьшения их заметности на конечном результате.

Для фильтрации применяют как простое гауссово сглаживание [6] с разными вариациями, так и более сложные методы фильтрации, например, билатеральный [7]. Также активно развиваются подходы, которые сводятся к оптимизации энергии по всему изображению кадра, что является достаточно затратным по времени обработки, однако позволяет повысить качество итоговых результатов алгоритма [8].

Предложенный метод

Для устранения артефактов предлагается использовать трилатеральную фильтрацию. Для фильтрации используется как сам кадр, так и его карта глубины. Ядро свёртки строится для каждого пикселя и состоит из трёх компонент: гауссова ядра с заданным радиусом G, матрицы фотометрической разности по исходному изображению для текущего пикселя по сравнению с соседними и аналогичной матрицы , построенной для текущего пикселя по карте глубины.

Элементы матрицы вычисляются на основании суммы по всем цветовым компонентам пикселя модуля разности между текущим пикселям и его соседями, и линейно зависят от полученного значения.

,

где

r, g и b здесь – это значения по каждой цветовой компоненте, а значение порога thresholdcolorвыбирается в завимости от обрабатываемых данных.

Для вычисления элементов этой матрицы мы использовали зависимость, основанную на логистической функции:

, где

,

t – величина, которая отвечает за силу влияния разности по глубине на итоговый вклад пикселя и которая выбирается в зависимости от обрабатываемых данных, z(x,y) – значения с исходной карты глубины.

Затем вычисляется итоговое ядро свёртки K(x,y)для пикселя с координатами (x,y), элементы которого являются поэлементным произведением G, I(x,y) и D(x,y):

.

И вычисляется итоговое значение пикселя r(x,y), которое записывается в результат:

.

Далее в результатах приведен пример работы трилатеральной фильтрации и её сравнение с разными вариантами билатеральной фильтрации: в одном случае мы исключаем составляющую I(x,y), в другом – D(x,y). Как видно, при исключении из построения ядра карты глубины, мы получаем «затекания» глубины на соседние объекты, похожие по цвету. А если не брать в расчёт исходное изображение, то качество краёв объектов заметно уступает.

Дальнейшая работа

В ближайших планах у авторов более тесное объединение алгоритма с данными, получаемыми из оптического потока, что позволит повысить качество восстановления небольших деталей, а также построение меры надёжности данных для каждого пикселя. С использованием этой меры можно будет оценить вероятность появления артефактов в некоторой области, что позволит получать лучший результат.

Другим направлением развития алгоритма является использование данных во времени, извлекаемых из оптического потока, построенного в предыдущий и следующий кадры. Данный подход при достаточно ощутимых затратах времени позволит качественно повысить уровень восстановления карты глубины, а также существенно увеличит стабильность результатов во времени.

Также планируется на основе информации, извлекаемой с исходного изображения, карты глубины и поля оптического потока, научиться выделять отдельные объекты как структурные единицы для того, чтобы более точно обрабатывать края объектов.

Результаты

Приведены результаты работы алгоритма в сравнении с исходной картой глубины, а также результатами билатеральной фильтрации по глубине и по исходному изображению.

(a)

(b) (c)

(d) (e)

Рис. 1. Приведен кадр последовательности olymp (a), исходная карта глубины (b), результат билатеральной фильтрации по глубине (c), результат билатеральной фильтрации по изображению (d), результат трилатеральной фильтрации (e).

(a)

(b)

(c)

(d)

Рис. 2. Приведен кадр последовательности carousel (a), исходная карта глубины (b), результат билатеральной фильтрации по изображению (c), результат трилатеральной фильтрации (d).

  1. (b)

(c) (d)

Рис. 3. Трёмерная визуализация кадра из последовательности olymp с исходной картой глубины (a, c) и с отфильтрованной предложенным методом (b, d)

Итоги

В данной статье был предложен метод трилатеральной постфильтрации карт глубины, полученных на основе движения камеры. Проведено сравнение с другими подходами, описаны и продемонстрированы преимущества алгоритма относительно этих подходов. Обозначены проблемы, которые возникают при использовании карт глубины для построения ядра свёртки, описаны способы их решения, а также направления дальнейшего развития алгоритма.

Список литературы.

1. Ashutosh Saxena, Sung H. Chung, Learning Depth from Single Monocular Images, Advances in Neural Information Processing Systems 18, p. 1161-1168, MIT Press, 2006.

2. Shaojie Zhuo, Terence Sim, On the Recovery of Depth from a Single Defocused Image, In proceedings of International Conference on Computer Analysis of Images and Patterns (CAIP), vol. 5702/2009, p. 889-897, 2009

3. S. Battiatoa, S. Curtib, M. La Casciac, M. Tortorac, Depth-Map Generation by Image Classification, in proceedings of SPIE, vol. 5302, 95, 2004

4.Mahsa T. Pourazad, Panos Nasiopoulos, Rabab K.Ward, Generating the DepthMap from the Motion Information of H.264-Encoded 2D Video Sequence, EURASIP Journal on Image and Video Processing Volume 2010

5. Donghyun Kim, Dongbo Min, Kwanghoon Sohn, Stereoscopic Video Generation Method Using Motion Analysis, In Proc. of the 3DTV Conference, p. 1-4, 2007

6. Zhang, L., Tam, W. J., Stereoscopic Image Generation Based on Depth Images for 3D TV, IEEE Trans. on Broadcasting, vol. 51, pp. 191-199, Jun. 2005.

7. Chao-Chung Cheng, Chung-Te Li, Po-Sen Huang, Tsung-Kai Lin, Yi-Min Tsai, and Liang-Gee Chen, A Block-based 2D-to-3D Conversion System with Bilateral Filter, International Conference on Consumer Electronics (ICCE), p. 1-2, 2009

8. Zhang, G., Jia, J., Wong, T., Bao, H., Recovering Consistent Video Depth Maps via Bundle Optimization, Proceeding of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), p. 1-8, 2008

1 Данная работа поддержана грантом РФФИ 10-01-00697-а.

textarchive.ru

16.2. МедианНая фильтрацИя изображений [47, 48, 3i].

Шумы в изображениях. Никакая система регистрации не обеспечивает идеального качества изображений исследуемых объектов. Изображения в процессе формирования их системами (фотографическими, голографическими, телевизионными) обычно подвергаются воздействию различных случайных помех или шумов. Фундаментальной проблемой в области обработки изображений является эффективное удаление шума при сохранении важных для последующего распознавания деталей изображения. Сложность решения данной задачи существенно зависит от характера шумов. В отличие от детерминированных искажений, которые описываются функциональными преобразованиями исходного изображения, для описания случайных воздействий используют модели аддитивного, импульсного и мультипликативного шумов.

Наиболее распространенным видом помех является случайный аддитивный шум, статистически независимый от сигнала. Модель аддитивного шума используется тогда, когда сигнал на выходе системы или на каком-либо этапе преобразования может рассматриваться как сумма полезного сигнала и некоторого случайного сигнала. Модель аддитивного шума хорошо описывает действие зернистости фотопленки, флуктуационный шум в радиотехнических системах, шум квантования в аналого-цифровых преобразователях и т.п.

Аддитивный гауссов шум характеризуется добавлением к каждому пикселю изображения значений с нормальным распределением и с нулевым средним значением. Такой шум обычно вводится на этапе формирования цифровых изображений. Основную информацию в изображениях несут контуры объектов. Классические линейные фильтры способны эффективно удалить статистический шум, но степень размытости мелких деталей на изображении может превысить допустимые значения. Для решения этой проблемы используются нелинейные методы, например алгоритмы на основе анизотропной диффузии Перрона и Малика, билатеральные и трилатеральные фильтры. Суть таких методов заключается в использовании локальных оценок, адекватных определению контура на изображении, и сглаживания таких участков в наименьшей степени.

Импульсный шум характеризуется заменой части пикселей на изображении значениями фиксированной или случайной величины. На изображении такие помехи выглядят изолированными контрастными точками. Импульсный шум характерен для устройств ввода изображений с телевизионной камеры, систем передачи изображений по радиоканалам, а также для цифровых систем передачи и хранения изображений. Для удаления импульсного шума используется специальный класс нелинейных фильтров, построенных на основе ранговой статистики. Общей идеей таких фильтров является детектирование позиции импульса и замена его оценочным значением, при сохранении остальных пикселей изображения неизменными.

Двумерные фильтры. Медианная фильтрация изображений наиболее эффективна, если шум на изображении имеет импульсный характер и представляет собой ограниченный набор пиковых значений на фоне нулей. В результате применения медианного фильтра наклонные участки и резкие перепады значений яркости на изображениях не изменяются. Это очень полезное свойство именно для изображений, на которых, как известно, контуры несут основную информацию.

Рис. 16.2.1.

При медианной фильтрации зашумленных изображений степень сглаживания контуров объектов напрямую зависит от размеров апертуры фильтра и формы маски. Примеры формы масок с минимальной апертурой приведены на рис. 16.2.1. При малых размерах апертуры лучше сохраняются контрастные детали изображения, но в меньшей степени подавляется импульсные шумы. При больших размерах апертуры наблюдается обратная картина. Оптимальный выбор формы сглаживающей апертуры зависит от специфики решаемой задачи и формы объектов. Особое значение это имеет для задачи сохранения перепадов (резких границ яркости) в изображениях.

Под изображением перепада понимаем изображение, в котором точки по одну сторону от некоторой линии имеют одинаковое значение а, а все точки по другую сторону от этой линии - значение b, ba. Если апертура фильтра симметрична относительно начала координат и содержит его в себе, то медианный фильтр сохраняет любое изображение перепада. Это выполняются для всех апертур с нечетным количеством отсчетов, т.е. кроме апертур (квадратные рамки, колца), которые не содержат начала координат. Тем не менее квадратные рамки и кольца будут лишь незначительно изменять перепад.

Рис. 16.2.2.

Для упрощения дальнейшего рассмотрения ограничимся примером фильтра с квадратной маской размером N × N, при N=3. Скользящий фильтр просматривает отсчеты изображения слева-направо и сверху-вниз, при этом входную двумерную последовательность также представим в виде последовательного числового ряда отсчетов {x(n)} слева-направо сверху-вниз. Из этой последовательности в каждой текущей точке маска фильтра выделяет массив w(n), как W-элементный вектор, который в данном случае содержит все элементы из окна 3×3, центрированные вокруг x(n), и сам центральный элемент, если это предусмотрено типом маски:

w(n) = [x1 (n),x2(n), …, xW (n)]. (16.2.1)

В этом случае значения xi соответствует отображению слева-направо и сверху-вниз окна 3×3 в одномерный вектор, как показано на рис. 16.2.2.

Элементы данного вектора, как и для одномерного медианного фильтра, также могут быть упорядочены в ряд по возрастанию или убыванию своих значений:

r(n) = [r1(n), r2(n), …, rW (n)], (16.2.2)

определено значение медианы y(n) = med(r(n)), и центральный отсчет маски заменен значением медианы. Если по типу маски центральный отсчет не входит в число ряда 16.2.1, то медианное значение находится в виде среднего значения двух центральных отсчетов ряда 16.2.2.

Приведенные выражения не объясняют способа нахождения выходного сигнала вблизи конечных и пограничных точек в конечных последовательностях и изображениях. Один из простых приемов состоит в том, что нужно находить медиану только тех точек внутри изображения, которые попадают в пределы апертуры. Поэтому для точек, расположенных рядом с границами, медианы будут определены, исходя из меньшего числа точек.

На рис. 16.2.3 приведен пример очистки зашумленного изображения медианным фильтром Черненко /2i/. Зашумление изображения по площади составляло 15%, для очистки фильтр применен последовательно 3 раза.

Рис. 16.1.5.

Медианная фильтрация может выполняться и в рекурсивном варианте, при котором значения сверху и слева от центрального отсчета в маске (в данном случае x1(n)-x4(n) на рис. 16.2.2) в ряде 16.2.1 заменяются на уже вычисленные в предыдущих циклах значения y1(n)-y4(n).

Адаптивные двумерные фильтры. Противоречие по зависимости степени подавления шумов и искажения сигнала от апертуры фильтра в некоторой степени сглаживается при применении фильтров с динамическим размером маски, с адаптацией размеров апертуры под характер изображения. В адаптивных фильтрах большие апертуры используются в монотонных областях обрабатываемого сигнала (лучшее подавление шумов), а малые – вблизи неоднородностей, сохраняя их особенности, при этом размер скользящего окна фильтра устанавливается в зависимости от распределения яркости пикселей в маске фильтра. В их основе лежит, как правило, анализ яркости окрестностей центральной точки маски фильтра.

Простейшие алгоритмы динамического изменения апертуры фильтра, симметричного по обеих осям, обычно работают по заданному на основании эмпирических данных пороговому коэффициенту яркости Sпорог = [0, 1]. В каждом текущем положении маски на изображении итерационный процесс начинается с апертуры минимального размера. Величины отклонения яркости соседних пикселей A(r, n), попавших в окно размером (n x n), относительно яркости центрального отсчета A(r) вычисляются по формуле:

Sn(r) = |A(r,n)/A(r) – 1|. (16.2.3)

Критерий, согласно которому производится увеличение размера маски с центральным отсчетом r и выполняется следующая итерация, имеет вид:

max[Sn(r)] < Sпорог. (16.2.4)

Максимальный размер маски (количество итераций), как правило, ограничивается. Для неквадратных масок, имеющих размеры (n x m), итерации могут вычисляться с раздельным увеличением параметров n и m, а также с изменением формы масок в процессе итераций.

Фильтры на основе ранговой статистики. В последние два десятилетия в цифровой обработке изображений активно развиваются нелинейные алгоритмы на основе ранговой статистики для восстановления изображений, поврежденных различными моделями шумов. Подобные алгоритмы позволяют избежать дополнительного искажения изображения при удалении шума, а также значительно улучшить результаты работы фильтров на изображениях с высокой степенью зашумленности.

Сущность ранговой статистики обычно заключается в том, что ряд 16.2.1 не включает центральный отсчет маски фильтра, и по ряду 16.2.2 производится вычисление значения m(n). При N=3 по рис. 16.2.2:

m(n) = (x4(n)+x5(n))/2. (16.2.5)

Вычисление выходного значения фильтра, которым заменяется центральный отсчет, выполняется по формуле:

y(n) =  x(n) + (1-) m(n). (16.2.6)

Значение коэффициента доверия  связывается определенной зависимостью со статистикой отсчетов в окне фильтра (например, полной дисперсией отсчетов, дисперсией разностей x(n)-xi(n) или m(n)-xi(n), дисперсией положительных и отрицательных разностей x(n)-xi(n) или m(n)-xi(n), и т.п.). По существу, значение коэффициента  должно задавать степень поврежденности центрального отсчета и, соответственно, степень заимствования для его исправления значения из отсчетов m(n). Выбор статистической функции и характер зависимости от нее коэффициента  может быть достаточно многообразным и зависит как от размеров апертуры фильтра, так и от характера изображений и шумов.

studfiles.net

Диссертация на тему «Удаление шума из изображений нелинейными цифровыми фильтрами на основе ранговой статистики» автореферат по специальности ВАК 05.12.04 - Радиотехника, в том числе системы и устройства телевидения

1. Зубарев Ю.Б., Дворкович В.П., Дворкович А.В. Проблемы и перспективы внедрения информационных мультимедийных систем в России // Электросвязь, 2004. № 10. С. 11-16.

2. Цифровая обработка изображений // ТИИЭР, 1972. Т. 60, №7.

3. Распознавание образов и обработка изображений // ТИИЭР, 1979. Т. 67, №10.

4. Обработка изображений // ТИИЭР, 1981. Т. 69, №5.

5. Ярославский Л.П. Введение в цифровую обработку изображений. -М.: Советское радио, 1979.

6. Yaroslavsky L., Digital Picture Processing An Introduction // Springer Verlag, 1985.

7. Yaroslavsky L., Eden M. Fundamentals of Digital Optics // Birkhauser, Boston, 1996.

8. Даджион Д., Мерсеро P. Цифровая обработка многомерных сигналов.- М.: Мир, 1988.

9. Чобану М.К., Миронов В.Г. Состояние и перспективы развития методов цифровой обработки многомерных сигналов. Часть 1. Теория // Электричество, 2002. № 11. С. 58-69.

10. Чобану М.К. Состояние и перспективы развития методов цифровой обработки многомерных сигналов. Часть 2. Приложения // Электричество, 2003. №.1. С. 58-73.

11. Прэтт У. Цифровая обработка изображений. М.: Мир, 1982.

12. Павлидис Т. Алгоритмы машинной графики и обработки изображений- М.: Радио и связь, 1986.

13. Витязев В.В. Цифровая частотная селекция сигналов. М.: Радио и связь, 1993.

14. Цифровая обработка телевизионных и компьютерных изображений / Под редакцией Зубарева Ю.Б., Дворковича В.П. М.: МЦНТИ, 1997.

15. Дворкович А.В., Мохин Г.Н., Нечепаев В.В. Об эффективности цифровой обработки статических изображений // Цифровая обработка сигналов и ее применение. М., 1998. Т. 3. С. 202-204.

16. Шлихт Г.Ю. Цифровая обработка цветных изображений. М.: Эком, 1997.

17. Сойфер В.А., Сергеев В.В., Попов С.Б., Мясников В.В. Теоретические основы цифровой обработки изображений: Учебное пособие / Самарский государственный аэрокосмический университет им. С.П. Королева Самара, 2000.

18. Методы компьютерной обработки изображений / Под ред. Сойфера В.А. 2-е изд., испр. - М.: Физматлит, 2003.

19. Грузман И.С., Киричук B.C., Косых В.П., Перетяган Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: Учебное пособие.- Новосибирск: НГТУ, 2000.

20. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. М.: Диалог-МИФИ, 2002.

21. Цифровое преобразование изображений / Под редакцией Быкова Р.Е. М.: Горячая линия - Телеком, 2003.

22. Абламейко С.В., Лагуновский Д.М. Обработка изображений: технология, методы, применение. Минск: Амалфея, 2000.

23. Приоров А.Л. Двумерные цифровые сигналы и системы: Учеб. пособие / Яросл. гос. университет. Ярославль, 2000.

24. Приоров А.Л., Ганин А.Н., Хрящев В.В. Цифровая обработка изображений: Учеб. Пособие / Яросл. гос. университет Ярославль, 2001.

25. Красильников Н.Н. Цифровая обработка изображений. М.: Вузовская книга, 2001.

26. Гонсалес Р., Вудс Р. Цифровая обработка изображений М.: Техносфера, 2005.

27. Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. М.: Техносфера, 2006.

28. Быстрые алгоритмы в цифровой обработке изображений / Под ред. Хуанга Т.С. М.: Радио и связь, 1984.

29. Грузман И.С., Микерин В.И., Спектор А.А. Двухэтапная фильтрация изображений на основе использования ограниченных данных // Радиотехника и электроника, 1995, №5.

30. Грузман И.С. Двухэтапная фильтрация бинарных изображений // Автометрия, 1999, №3.

31. Picture Processing and Digital Filtering / Edited by Huang T.S. Springer, 1975.

32. Andrews H., Hunt B. Digital Image Restoration // Prentice Hall, Englewood Cliffs, NJ, 1977.

33. Pratt W. Digital Image Processing // Third Edition. Wiley, 2001.

34. Jahne B. Practical Handbook on Image Processing for Scientific and Technical Applications // Second edition. CRC, 2004.

35. Chan Т., Shen J. Image Processing and Analysis Variational, PDE, wavelet, and stochastic methods // SI AM, 2005.

36. Umbauqh S. Computer Imaging: Digital Image Analysis and Processing // CRC, 2005.

37. Woods J. Multidimensional Signal, Image, and Video Processing and Coding // Academic Press, 2006.

38. Bovik A. Handbook of Image and Video Processing (Communication, Networking and Multimedia) // Academic Press, 2005.

39. Jae S. Two-Dimensional Image and Signal Processing // Prentice Hall, 1990.

40. Russ J. The image processing handbook // CRC, 2006.

41. Acharya Т., Ray A. Image Processing Principles and Application // New Jersey: John Wiley & Sons, Inc. Hoboken, 2005.

42. Aubert G., Kornprobst P. Mathematical Problems in Image Processing: Partial Differential Equations and the Calculus of Variations // Springer Verlag, 2002.

43. Ланнэ А.А. Синтез систем нелинейной цифровой обработки сигналов // Изв. вузов. Радиоэлектроника, 1985. Т.28, №8. С. 7-17.

44. Щербаков М.А. Нелинейная фильтрация сигналов и изображений: Учеб. пособие. Пенза: ПТУ, 1999.

45. Щербаков М.А. Цифровая полиномиальная фильтрация: теория и приложение. Пенза: ПТУ, 1997.

46. Щербаков М.А. Синтез оптимальных полиномиальных фильтров по нескольким критериям // Автоматика и вычислительная техника, 1997. С. 41-52.

47. Scherbakov М. A Parallel Architecture for Adaptive Frequency-Domain Volterra Filterring // Proc. 1996 IEEE Digital Signal Processing Workshop. Loen, Norway, Sept. 1996. P. 203-206.

48. Scherbakov M. Pareto Optimal Nonlinear Filters for Image Enhancement // Proc. 1996 IEEE International Conference on Image Processing. -Lausanne, Switzerland, Sept. 1996. P. 769-772.

49. Щербаков M.A., Сорокин C.B. Увеличение изображений с помощью многофазной интерполяции // Докл. 9-й Междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2007). М., 2007. Т. 2. С. 341-343.

50. Петров Е.П., Трубин И.С., Буторин E.JI. Нелинейная фильтрация последовательности цифровых полутоновых изображений // Радиотехника и электроника. 2005. Т.10. №10. С. 1265-1272.

51. Петров Е.П., Тихонов И.Е. Адаптивная цифровая фильтрация полутоновых изображений // Докл. 4-й Междунар. конф. «Цифроваяобработка сигналов и ее применение» (DSPA-2007). М., 2002. Т. 2. С. 311-314.

52. Марчук В.И., Воронин В.В., Шерстобитов А.И. Исследование методов обработки изображений при ограниченном объеме априорных данных // Докл. 9-й Междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2007). М„ 2007. Т. 2. С. 354-357.

53. Радченко Ю.С., Радченко Т.А., Назарьев A.JI. Вероятностные характеристики случайных процессов на выходе медианного фильтра // Тез. докл. LI науч. сессии, посвященной Дню радио, Москва. 1996. Т.2. С. 169.

54. Радченко Ю.С., Назарьев A.JI. Оценка временного положения сигнала с предобработкой на основе медианной фильтрации // Радио и волоконно-оптическая связь, локация и навигация: тр. Всерос. науч.-техн. конф. Воронеж, 1997. Т.1. С. 252-258.

55. Радченко Ю.С. Эффективность приема сигналов на фоне комбинированной помехи с дополнительной обработкой в медианном фильтре // Журнал Радиоэлектроники, 2001. №7. С. 21-24.

56. Радченко Ю.С., Нечаев Ю.Б. Обнаружение квазидетерминированного сигнала на фоне комбинированной помехи с дополнительной обработкой в медианном фильтре // Физика волновых процессов и радиотехнические системы. 2001. Т.4, №4. С.33-34.

57. Pitas I., Venetsanopoulos A. Nonlinear Digital Filters: Principles and Applications. Boston, MA: Kluwer, 1990.

58. Dougherty E., Astola J. Nonlinear Filters for Image Processing / Wiley-IEEE Press, 1999.

59. Oktem R., Yaroslavsky L., Egiazarian K., Astola J. Transform domain approaches for image denoising // Journal of Electronic Imaging, 2002. P. 149-156.

60. Melnik V., Schmulevich I., Egiazarian K., Astola J. Image denoising based on locally-adaptive filtering in the median pyramidal transform domain // Nonlinear Signal and Image Processing Conference (NSIP), 2001. P. 5.

61. Katkovnik V., Egiazarian K., Astola J. Local Approximation Techniques in Signal and Image Processing // Washington: SPIE Press. Bellingham, 2006.

62. Arce G. Nonlinear Signal Processing A Statistical Approach // New Jersey: John Wiley & Sons, Inc., Hoboken, 2005.

63. Mitra S., Sicuranza G. Nonlinear Image Processing // Academic Press, 2000.

64. Абдуллоев А.А., Апальков И.В., Голубев M.H. Исследовательская среда PicLab: обзор возможностей // Докл. 9-й Междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2007). М., 2007. Т. 2. С. 309-311.

65. PicLab Picture Laboratory official web page (www.piclab.ru).

66. Василенко Г.И., Тараторин A.M. Восстановление изображений. M.: Радио и связь, 1986.

67. Бейтс Р., Мак-Донелл М. Восстановление и реконструкция изображений. М.: Мир, 1989.

68. Реконструкция изображений / Под редакцией Старка Г. М.: Мир, 1992.

69. ITU-R Recommendation BT.500-11. Methodology for the subjective assessment of the quality of television pictures. ITU-T, 2002.

70. Бухтояров C.C., Арляпов C.A., Саутов Е.Ю., Хрящев В.В. Модифицированный критерий оценки качества восстановленных изображений // Докл. 8-й межд. конф. «Цифровая обработка сигналов и ее применение», М., 2006. Т. 2, С. 413-416.

71. Donoho D. De-noising by soft-thresholding // IEEE Transactions on Information Theory. 1995. V. 41. P. 613-627.

72. Lindenbaum M, Fischer M, Bruckstein A.M. On Gabor Contribution To Image Enhancement// Pattern Recognition, 1997. V. 27. P. 1-8.

73. Malgouyres F. A noise selection approach of image restoration // Applications in signal and image processing IX, 2001. V. 4478. P. 34-41.

74. Ordentlich E., Seroussi G., Verdu S., Weinberger M., Weissman Т. A discrete universal denoiser and its application to binary images // Proc. IEEE ICIP, 2003. V. 1. P. 117-120.

75. Rudin L. Osher S. Nonlinear total variation based noise removal algorithms // Physica D, 1992. V. 60. P. 259-268.

76. Кравченко В.Ф., Рвачев B.A. "Wavelet" системы и их применение в обработке сигналов // Зарубежная радиоэлектроника. 1996. № 4. С. 3-20.

77. Добеши И. Десять лекций по вейвлетам. Ижевск: НИЦ «Регулярная и хаотическая динамика», 2001.

78. Малла С. Вейвлеты в обработке сигналов: Пер. с англ. М.: Мир, 2005.

79. Chambolle A., De Vore R., Lee N., Lucier B. Nonlinear wavelet image processing: variational problems, compression, and noise removal through wavelet shrinkage //IEEE Tran. Image Proc.,1998. V. 7, № 3. P. 319-333.

80. Coifman R., Sowa A. Combining the calculus of variations and wavelets for image enhancement II Applied and Computational harmonic analysis, 2000. V. 9, № 1. P. 1-18.

81. Hatode P., Tchobanou M. Image denoising with contourlet transform // Труды Междунар. конгресса Академии информатизации ITS-2004 / МЭИ (ТУ). Т. 3. М.: СТАНКИН, 2004. С. 34-37.

82. Starck J., Candues Е., Donoho D. The curvelet transform for image denoising // IEEE Transactions on image processing, 2000. V. 11. P. 670684.

83. Starck J., Candues E., Donoho D. Very high quality image restoration by combining wavelets and curvelets // Wavelet and applications in signal and image processing IX, 2001. V. 4478. P. 9-19.

84. Vrankic M., Egiazarian K., Gotchev A. Image denoising by combined quincunx and separable wavelet-domain wiener filtering // Proceedings of the 6th Nordic Signal Processing Symposium, NORSIG 2004, Finland, June 2004, P. 113-116.

85. Nikolaev N., Gotchev A. ECG Signal Denoising Using Wavelet Domain Wiener Filtering, In: Gabbouj, M. & Kuosmanen, P. (eds). Signal Processing X, Theories and Applications, Volume IV, EUSIPCO 2000, Tampere, Finland, P. 51-54.

86. Serra J. Image Analysis and Mathematical Morphology // New York: Academic Press, 1982.

87. Dougherty E. An Introduction to Morphological Image Processing // Wash.: SPIE Press, Bellingham, 1992.

88. Нейрокомпьютеры в системах обработки изображений. / Общая редакция Галушкина А.И. М.: Радиотехника, 2003.

89. Нейрокомпьютеры в системах обработки сигналов / Под ред. Гуляева Ю.В., Галушкина А.И. М.: Радиотехника, 2003.

90. Нейрокомпьютеры в прикладных задачах обработки изображений / Под ред. Балухто А.Н., Галушкина А.И. М.: Радиотехника, 2007.

91. Yin L., Astola J., Neuvo Y. A New Class of Nonlinear Filters — Neural Filters // IEEE Trans, on Signal Processing, 1999. V. 41, № 3. P. 12011222.

92. Карлин A.K., Короткин A.A., Стрелков H.A. Клеточная нейронная сеть в задаче фильтрации двумерного сигнала // Моделирование и анализ информационных систем Ярославль: ЯрГУ, 2000. Т.7, №2. С. 38-43.

93. Дейвид Г. Порядковые статистики. М.: Наука, 1979.

94. Tukey J. Exploratory data analysis. Reading // MA: Addison-Wesley, 1977.

95. Justusson B. "Median filtering: statistical properties", in Two-dimensional digital signal processing II // Springer Verlag, 1981.

96. Tyan G. "Median filtering deterministic properties", in Two-dimensionaldigital signal processing II // Springer Verlag, 1981.155

97. Huang Т., Yang G., Tang G. A Fast Two-Dimensional Median Filtering Algorithm // IEEE Trans. Acoustics, Speech, and Signal processing, ASSP-27,1, February 1979. P. 13-18.

98. Nodes Т., Gallagher N. Median filters: some modifications and their properties / IEEE Trans, acoustics, speech, signal processing. 1982. V. 30, № 5. P. 739-746.

99. Chan R., Но С., Nikolova М. Salt-and-pepper noise removal by median-type noise detectors and detail-preserving regularization // IEEE Trans, on Image Processing. 2005. V. 14, № 10. P. 1479-1485.

100. Arce G., McLoughlin M. Theoretical analysis of max/median filters // IEEE Trans. Acoustics, Speech, Signal Processing, 1987. V. 35, № 1. P. 60-69.

101. Колкер А.Б. Взвешенные и рекурсивные алгоритмы векторной медианной фильтрации // Сб. науч. тр. НГТУ. Новосибирск: НГТУ, -Вып. 5(22), 2000. С. 8-12.

102. Мушкаев С.В. Реализация ранжирующих и медианных фильтров на процессоре NM6403 // Цифровая обработка сигналов, 2004. №4, С. 4446.

103. Brownrigg D. The weighted median filter // Comm. ACM, 1984. V. 27. P. 807-818.

104. Ко S., Lee Y. Center weighted median filters and their applications to image enhancement // IEEE Trans, on Circuits and Systems, 1991. V. 38, № 9. P. 984-993.

105. Yin L., Yang R., Gabbouj M., Neuvo Y. Weighted median filters: a tutorial // IEEE Trans. Circuits Systems, 1996. V. 43, № 3. P. 157-192.

106. Hwang H., Haddad R. Adaptive median filters: new algorithms and results // IEEE Trans, on Image Processing. 1995. V. 4, № 4. P. 499-502.

107. Abreu E., Lightstone M., Mitra S., Arakawa K. A new efficient approach for the removal of impulse noise from highly corrupted images // IEEE Trans, on Image Processing. 1996. V. 5, № 6, P. 1012-1025.

108. Wang Z., Zhang D. Progressive switching median filter for the removal of impulse noise from highly corrupted images // IEEE Trans. Circuits Systems II. 1999. V. 46, № 1, P. 78-80.

109. Zhang D., Wang Z. Impulse noise detection and removal using fuzzy techniques // Electron, lett. 1994. V. 33, P. 378-379.

110. Kong H., Guan L. A neural network adaptive filter for the removal of impulse noise in digital images // Neural networks. 1996. V. 9, № 3, P. 373-378.

111. Nikolova M. A variational approach to remove outliers and impulse noise // Journal of Mathematical Imaging and Vision, 2004. V. 20, №. 1-2. P. 99120.

112. Chan R., Ho C., Nikolova M. Convergence of Newton's Method for a Minimization Problem in Impulse Noise Removal // J. Comput. Math., 2004.V. 2, P.168-177.

113. Бухтояров С.С., Апальков И.В., Соколенко Е.А, Хрящев В.В. Предварительная обработка изображений в задаче контроля качества алмазных порошков // Докл. 6-й межд. конф. «Цифровая обработка сигналов и ее применение», М., 2004. Т. 2, С. 103-105.

114. Бухтояров С.С., Апальков И.В., Куйкин Д.К. Алгоритм обработки цифрового изображения алмазного порошка для контроля качества // Тез. 57-й науч.-техн. конф. студентов и магистрантов. Ярославль, 2004. С. 99.

115. Schulte S., Nachtegael M., De Witte V., Van der Weken D., Kerre E. A fuzzy impulse noise detection and reduction method // IEEE Trans, on image processing. 2006. V. 15, № 5. P. 1153 1162.

116. Sliskovic M. Impulse noise detection algorithms for multicarrier communication systems performance analysis // Proc. of the 2nd International Symposium on image and signal processing and analysis (ISPA 2001). 2001. P. 496 - 501.

117. Xiaowei H., Junsheng L., Yanping L., Xinhe X. A selective and adaptive image filtering approach based on impulse noise detection // Fifth World Congress on intelligent control and automation (WCICA 2004). 2004. V. 5, P. 4156-4159.

118. Chung-Bin W., Bin-Da L., Jar-Ferr Y. A fuzzy-based impulse noise detection and cancellation for real-time processing in video receivers // IEEE Trans, on instrumentation and measurement. 2003. V. 52, № 3. P. 780-784.

119. Russo F. Impulse noise detection and filtering using fuzzy models // Proc. of the 17th IEEE Instrumentation and Measurement Technology Conference (IMTC 2000), 2000. V. 2, P. 1041 1044.

120. Kong H., Guan L. An adaptive approach for removing impulsive noise in digital images // Proc. of IEEE International Conference on acoustics, speech, and signal processing (ICASSP-96), 1996. V. 4, P. 2287 2290.

121. Luo W. An efficient detail-preserving approach for removing impulse noise in images // IEEE Signal Processing Letters, 2006. V. 13, № 7. P. 413 -416.

122. Singh K., Bora P., Mahanta A. Features preserving filters using fuzzy Kohonen clustering network in detection of impulse noise // Proc. of IEEE

123. Region 10 Int. Conf. on electrical and electronic technology (TENCON 2001), 2001. V. 1,P. 420-423.

124. Kong H., Guan L. Detection and removal of impulse noise by a neural network guided adaptive median filter // Proc. of IEEE Int. Conf. on neural networks (ICNN 1995), 1995. V. 2, P. 845 849.

125. Shuqun Z. Impulse noise detection using Laplacian operators and fuzzy logic // 6th International Conference on signal processing, 2002. V. l.P. 845-848.

126. Yuksel M., Besdok E. A simple neuro-fuzzy impulse detector for efficient blur reduction of impulse noise removal operators for digital images // IEEE Trans, on Fuzzy Systems, 2004. V. 12, № 6. P. 854 865.

127. Nian C., Jian C., Jie Y. Applying a wavelet neural network to impulse noise removal // International Conference on neural networks and brain (ICNN&B '05), 2005. V. 2. P. 7 783.

128. Crnojevic V., Senk V., Trpovski, Z. Advanced impulse detection based on pixel-wise MAD // IEEE Signal Processing Letters, 2004. V. 11, № 7. P. 589-592.

129. Xiaokui X., Shaofa L. Detail-preserving approach for impulse noise removal from images // The 4th International Conference on computer and information technology (CIT '04), 2004. P. 28 32.

130. Mei Yu, Gangyi Jiang, Bokang Yu. Noise detection based impulse noise removal for color image // The 2000 IEEE Asia-Pacific Conference on circuits and systems (APCCAS 2000), 2000. P. 453 456.

131. Thou-Ho Chen, Chao-Yu Chen, Tsong-Yi Chen, Ming-Kun Wu. An intelligent restoration method for impulse noise highly-corrupted images // IEEE Conference on cybernetics and intelligent systems (ICCIS 2006), 2006. P. 1-6.

132. Luo W. Efficient removal of impulse noise from digital images // IEEE Trans, on consumer electronics, 2006. V. 52, № 2. P. 523 527.

133. Abreu E., Lightstone M., Mitra S.K., Arakawa К. A new efficient approach for the removal of impulse noise from highly corrupted images // IEEE Trans, on image processing, 1996. V. 5, № 6. P. 1012 1025.

134. Ze-Feng D., Zhou-Ping Y., You-Lun X. High probability impulse noise-removing algorithm based on mathematical morphology // IEEE Signal Processing Letters, 2007. V. 14, № 1. P. 31 34.

135. Xiaoyin Xu, Miller E., Dongbin C., Sarhadi M. Adaptive two-pass rank order filter to remove impulse noise in highly corrupted images // IEEE Trans, on image processing, 2004. V. 13, № 2. P. 238 247.

136. Shih-Mao Lu, Her-Chang Pu, Chin-Teng Lin. A HVS-directed neural-network-based approach for impulse-noise removal from highly corrupted images // Proc. of IEEE Int. Conf. on systems, man and cybernetics, 2003. V. 1,P. 72-77.

137. Cheikh F., Hamila R., Gabbouj M., Astola J. Impulse noise removal in highly corrupted color images // Proc. of International Conference on image processing, 1996. V. 1. P. 997 1000.

138. Pei-Eng Ng, Kai-Kuang Ma. A switching median filter with boundary discriminative noise detection for extremely corrupted images // IEEE Transactions on image processing, 2006. V. 15, № 6. P. 1506 1516.

139. How-Lung Eng, Kai-Kuang Ma. Noise adaptive soft-switching median filter // IEEE Tran. on image processing, 2001. V. 10, № 2. P. 242 251.

140. Shuqun Z., Karim M. A new impulse detector for switching median filters // IEEE Signal Processing Letters, 2002. V. 9, № 11. P. 360 363.

141. Frosio I., Borghese N. A new switching median filter for digital radiography // IEEE Nuclear Science Symposium Conference Record, 2004. V. 6. P. 3604-3606.

142. Suetake N. Self-organizing maps based impulse detector for switching median filters // Proc. of International Conferences on info-tech and info-net, 2001. V. 4. P. 20 25.

143. Apalkov I., Zvonarev P., Khryashchev V. Neural network adaptive switching median filter for image denoising // The International Conference on computer as a tool (EUROCON'05), 2005. V. 2. P. 959 962.

144. Nallaperumal K., Varghese J., Saudia S., Annam S., Kumar P. Iterative adaptive switching median filter // IEEE 1st Conference on industrial electronics and applications, 2006. P. 1 6.

145. Khryashchev V., Zvonarev P., Sokolenko E., Kuykin D. Improved Progressive Switching Median Filter for Impulse Noise Removal //iL

146. Proceedings of the 8 International Conference on Pattern Recognition and Information Processing (PRIP-2005), Minsk, 2005. P. 38-41.

147. Apalkov I., Khryashchev V., Priorov A., Zvonarev P. Image denoising using adaptive swithching median filter // Proc. IEEE Int. Conf. on Image Processing (ICIP'05), Genoa. Italy. 2005. V. 1, P. 117-120.

148. Apalkov I., Khryashchev V., Priorov A., Zvonarev P. Adaptive switching median filter with neural network impulse detection step // LNCS 3696, Springer-Verlag, P. 537-542.

149. Zvonarev P., Apalkov I., Khryashchev V., Reznikova I. Neural Network Adaptive Switching Median Filter for the Restoration of Impulse Noise Corrupted Images // LNCS 3656, Springer-Verlag, P. 223-230.

150. Бухтояров C.C., Приоров А.Л., Апальков И.В., Хрящев В.В. Применение переключающихся медианных фильтров для восстановления зашумленных изображений // Вопросы радиоэлектроники: серия общетехническая. 2006. Вып. 2. С. 137-147.

151. Бухтояров С.С, Апальков И.В., Агеев Н.Ю., Куйкин Д.К., Хрящев В.В. Нейросетевая модификация переключающегося медианного фильтра // Докл. 8-й межд. конф. «Цифровая обработка сигналов и ее применение», М., 2006. Т. 2, С. 660-662.

152. Бухтояров С.С., Апальков И.В., Куйкин Д.К., Саутов Е.Ю., Хрящев В.В. Нейросетевой алгоритм восстановления сильно зашумленных изображений // Сб. тр. 61-й науч. сессии, посвященной Дню Радио. М.,2006. С. 98-100.

153. Бухтояров С.С., Приоров A.JL, Апальков И.В., Хрящев В.В. Переключающийся медианный фильтр с блоком предварительного детектирования // Цифровая обработка сигналов. 2006. № 4. С. 2-8.

154. Бухтояров С.С. Фильтрация сильнозашумленных изображений нейросетевым медианным фильтром // Сб. докл. юбил. науч.-техн. конф. «Инновации в радиотехнических информационно-телекоммуникационных технологиях», М., 2006. Ч. 2. С. 186-194.

155. Kondo К., Haseyama М., Kitajima Н. Efficient fixed-valued and random-valued impulse detection for accurate image restoration // Proc.of the 3rd International Symposium on image and signal processing and analysis (ISPA'03), 2003. V. 2. P. 1009 1012.

156. Yamashita N., Ogura M., Jianming Lu, Sekiya H., Yahagi T. A random-valued impulse noise detector using level detection // IEEE International Symposium on circuits and systems (ISCAS'05), 2005. V. 6. P. 6292 -6295.

157. Chan R., Ни C., Nikolova M. An Iterative Procedure for Removing Random-Valued Impulse Noise // IEEE Signal Processing Letters, 2004. V. 11, P. 921-924.

158. Dong Y., Xu S. A new directional weighted median filter for removal of random-valued impulse noise // IEEE Signal Processing Letters, 2006. V 14. №3. P. 193-196.

159. Ни C., Lui S. Variational approach for restoring random-valued impulse noise // LNCS, 2005. V. 3401. P. 312-319.

160. Schulte S., De Witte V., Nachtegael M., Van der Weken D„ Kerre E. Fuzzy random impulse noise reduction method // Fuzzy Sets and Systems,2007. V. 158. № 3. P. 270-283.

161. Abreu E., Mitra S. A signal-dependent rank ordered mean (SD-ROM) filter-a new approach for removal of impulses from highly corrupted images // International Conference on acoustics, speech, and signal processing (ICASSP'95), 1995. V. 4. P. 2371 -2374.

162. Chandra C., Moore M., Mitra S. An efficient method for the removal of impulse noise from speech and audio signals // Proc. of the 1998 IEEE International Symposium on circuits and systems (ISCAS '98), 1998. V. 4. P. 206-208.

163. Lightstone M., Abreu E., Mitra S.K., Arakawa K. State-conditioned rank-ordered filtering for removing impulse noise in images // IEEE International Symposium on circuits and systems (ISCAS '95), 1995. V. 2. P. 957-960.

164. Hasan M., Marvasti E. Efficient rank-ordered mean (ROM) techniques for the recovery of isolated losses in highly corrupted images // IEEE Communications Letters, 2000. V. 4, № 10. P. 321 322.

165. Moore M., Mitra S. Statistical threshold design for the two-state signal-dependent rank order mean filter // Proc. International Conference on image processing, 2000. V. 1. P. 904 907.

166. Tao Chen, Hong Ren Wu. A new class of median based impulse rejecting filters // Proc. of the 2000 International Conference on image processing, 2000. V. 1. P. 916-919.

167. Бухтояров C.C., Хрящев B.B. Усовершенствование алгоритмов медианной фильтрации изображения // Физический вестник ЯрГУ им. П.Г. Демидова: сб. науч. тр., Ярославль, 2006. С. 118-125.

168. Бухтояров С.С., Приоров A.JL, Сладков М.В., Хрящев В.В. Улучшение качества ультразвуковых медицинских изображений // Сб. докл. 7-й межд. науч.-техн. конф. «Физика и радиоэлектроника в медицине и экологии ФРЭМЭ 2006», Владимир, 2006. С. 192-195.

169. Kotropoulos С., Pitas I. Constrained adaptive LMS L-filters //Signal Processing, 1992. V. 26, P. 335-358.

170. Haykin S., Adaptive Filter Theory. Englewood Cliffs, NJ: Prentice-Hall, 1991.

171. Palmieri F. Adaptive recursive order statistic filters // Proc. Int. Conf. Acoust. Speech and Signal Processing, Albuquerque, NM, 1990, V. 3, P. 1229-1232.

172. Oshino-Ortiz J., Kawamata M. A 2-D filtering structure with neural networks for Gaussian noise cancellation and edge preservation in images // The 2002 45th Midwest Symposium on circuits and systems (MWSCAS'02), 2002. V. 3. P. 61-64.

173. Russo F. A method for estimation and filtering of Gaussian noise in images // IEEE Trans, on instrumentation and measurement, 2003. V. 52, № 4. P. 1148-1154.

174. Russo F., Lazzari A. Color edge detection in presence of Gaussian noise using nonlinear prefiltering // IEEE Transactions on instrumentation and measurement, 2005. V. 54, № 1. P. 352-358.

175. Dongzhu F., Jie Y., Panfeng H. Novel de-noise method based on the grey relational analysis // IEEE International Conference on information acquisition, 2006. P. 1385-1389.

176. Ling W., Jianming L., Yeqiu L., Yahagi T. Multiwavelet-domain filtering for degraded images with Gaussian noise // IEEE International Conference on industrial technology (ICIT'05), 2005. P. 28-32.

177. Rank K., Unbehauen R. An adaptive recursive 2-D filter for removal of Gaussian noise in images // IEEE Trans, on image processing, 1992. V. 1, № 3. P. 431-436.

178. Ortiz F., Torres F., Gil P. Gaussian noise elimination in color images by vector-connected filters // Proc. of the 17th International Conference on pattern recognition (ICPR'04), 2004. V. 4. P. 807-810.

179. Shaomin P., Lucke L. Fuzzy filtering for mixed noise removal during image processing // IEEE World Congress on computational intelligence.

180. Proc. of the Third IEEE Conference on fuzzy systems, 1994. V. 1. P. 8993.

181. Rui L., Yu-Jin Z. A hybrid filter for the cancellation of mixed Gaussian noise and impulse noise // Proc. of the Fourth International Conference on information, communications and signal processing (ICICS 2003). 2003. V. 1,P. 508-512.

182. Cai J-F., R. Chan, Nikolova M. Two-phase methods for deblurring images corrupted by impulse plus Gaussian noise // CMLA Reports, 2007.

183. Perona P., Malik J. Scale-space and edge detection using anisotropic diffusion // IEEE Trans. Pattern Anal. Mach. Intell., 1990. V. 12, № 5. P. 629-639.

184. You Y., Xu W., Tannenbaum A., Kaveh M. Behavioral analysis of anisotropic diffusion in image processing // IEEE Trans. Image Processing, 1996. V. 5, P. 1539-1553.

185. Perona P. Orientation diffusion // IEEE Trans. Image Processing, 1998. V. 7, P. 457^67.

186. Black M., Sapiro G., Marimont D., Heeger D. Robust anisotropic diffusion // IEEE Trans. Image Processing, 1998. V. 7. P. 577-685.

187. Weickert J., Romeny M., Viergever M. Efficient and reliable schemes for nonlinear diffusion filtering // IEEE Trans. Image Processing, 1998. V. 7, P. 398-410.

188. Weickert J. Anisotropic diffusion in image processing. Stuttgart, Germany: Teubner-Verlag, 1998.

189. Elad M. On the origin of the bilateral filter and ways to improve it // IEEE Trans, on image processing, 2002. V. 11, № 10. P. 1141-1151.

190. Weber M., Milch M., Myszkowski K., Dmitriev K., Rokita P., Seidel H. Spatio-temporal photon density estimation using bilateral filtering // Proc. of Computer Graphics International. 2004. P. 120-127.

191. Guarnieri G., Marsi S., Rampony G. Fast bilateral filter for edge-preserving smoothing // Elecronics Letters. 2006. V. 42, № 7. P. 396-397.166

192. Yang S., Hong K. Bilateral interpolation filters for image size conversion // Proc. of IEEE Int. Conf. on Image Processing. 2005. V. 2. P. 986-989.

193. Lee K., Wang W. Feature-preserving mesh denoising via bilateral normal filtering // Proc. of 9th Int. Conf. Computer Aided Design and Computer Graphics. 2005.

194. Pham Т., van Vliet L. Separable bilateral filtering for fast video preprocessing // IEEE International Conference on multimedia and expo (ICME'05). 2005.

195. Elad M. Analysis of the bilateral filter // Conference Record of the Thirty-Sixth Asilomar Conference on signals, systems and computers, 2002. V. 1. P. 483-487.

196. Tomasi C., Manduchi R. Bilateral filtering for gray and color images // Sixth International Conference on computer vision, 1998. P. 839 846.

197. Hamarneh G., Hradsky J. Bilateral filtering of diffusion tensor MR images // IEEE International Symposium on signal processing and information technology, 2006. P. 507 512.

198. Jihong P., Zongqing L., Weixin X. A method for IR point target detection based on spatial-temporal bilateral filter // 18th International Conference on pattern recognition, 2006. P. 846 849.

199. Wang C. Bilateral recovering of sharp edges on feature-insensitive sampled meshes // IEEE Tran. on visualization and computer graphics, 2006. V. 12, №4. P. 629-639.

200. Barash D. Fundamental relationship between bilateral filtering, adaptive smoothing, and the nonlinear diffusion equation // IEEE Tran. on pattern analysis and machine intelligence. 2002. V. 24, № 6. P. 844 847.

201. Safonov I., Rychagov M., KiMin Kang, Sang Ho Kim. Automatic correction of exposure problems in photo printer // IEEE Tenth International Symposium on consumer electronics (ISCE '06), 2006. P. 1-6.

202. Бухтояров С.С., Герасимов Н.Б., Павлов Е.А., Хрящев В.В. Анализ нелинейных алгоритмов удаления шума из изображений // Докл. 9-й межд. конф. «Цифровая обработка сигналов и ее применение», М., 2007. Т. 2, С. 378-381.

www.dissercat.com

2 трилатеральная постфильтрация карт глубины 1 1

Д. С. Ватолин (к.ф.-м.н.)1, А. А. Воронов (студент)1, М. А. Смирнов (к.т.н.)2

ТРИЛАТЕРАЛЬНАЯ ПОСТФИЛЬТРАЦИЯ КАРТ ГЛУБИНЫ 1

1МГУ им. Ломоносова, факультет Вычислительной Математики и Кибернетики,

Лаборатория Компьютерной Графики и Мультимедиа;

2ЗАО «ЮВсофт»

Аннотация

В этой статье предложен новый подход для пространственной фильтрации карт глубины, полученных на основе оптического потока по видео с движением камеры. На исходной карте глубины, в связи с недостаточной точностью получения информации о движении возникают ошибки. Задача состоит в том, чтобы сделать карту глубины однородной в гладких областях, избежав размывания краёв объектов. Для решения этой задачи предлагается использовать трилатеральную фильтрацию, ядро свёртки которой состоит из следующих компонент: геометрической, фотометрической по исходному кадру и фотометрической по глубине. Видео, построенное с применением данного метода, показало большую стабильность как в пространстве кадра, так и во времени. Также в статье приводится сравнение предложенного метода с обычной билатеральной фильтрацией.

Введение

Одним из распространённых способов создания трёхмерного видео является изменение параллакса изображения с использованием карты глубины. Для этих целей необходима информация о расстоянии от камеры до объектов в сцене. Карта глубины – это визуализация расстояния до объектов в каждой точке изображения: чем дальше объект, тем более тёмным цветом он отображается. Создание карт глубины – достаточно трудоёмкий процесс. В общем случае задача создания карты глубины по изображению алгоритмически неразрешима, и до недавнего времени на практике активно использовался подход ручного построения карт глубины с привлечением специально обученных художников, что достаточно долго и неоправданно дорого с финансовой точки зрения. Однако для некоторых случаев возможно создание карт глубины по информации из сцены. Есть работы с применением методов машинного обучения, где эта информация извлекается из достаточно большой базы тестовых изображений в разном масштабе [1]. Также в [2] был предложен метод, использующий то свойство, что объекты переднего плана обычно находятся в фокусе и имеют чёткие границы, а с удалением от камеры границы объектов становятся всё менее резкими. Хорошо известен также подход, предложенный в [3], согласно которому можно строить глубину на основе геометрических свойств сцены, например, с учётом точки схождения перспективы, положения линии горизонта и т. п. Кроме того, для сцен, в которых есть движение камеры, можно построить карту глубины, исходя из перемещения объектов в сцене, используя построение оптического потока сцены. В случае панорамной съёмки смещение объекта в одном кадре относительно другого зависит от того, насколько близко этот объект находился к камере. Данный поход достаточно детально описан в [4] и [5].

Описание решаемой проблемы

Наиболее качественным способом получения информации о движении в сцене является использование алгоритма оптического потока. Однако результаты работы этого алгоритма на данном этапе не могут быть идеальны в силу нескольких причин. Первая причина заключается в том, что невозможно построить точный оптический поток для двух кадров для областей открытия или закрытия, возникающих при движении объектов. В подобных областях глубина не может быть корректно определена. Другая причина заключается в том, что часто на практике невозможно точного определить движение на гладких областях, в особенности на зашумлённом видео. И, наконец, в силу высокой вычислительной сложности на данном этапе в целях ускорения работы системы приходится жертвовать качеством работы алгоритма оптического потока, что сказывается на конечном результате. Поэтому часто полученная карта глубины нуждается в обработке с целью уменьшения ошибок алгоритма, либо уменьшения их заметности на конечном результате.

Для фильтрации применяют как простое гауссово сглаживание [6] с разными вариациями, так и более сложные методы фильтрации, например, билатеральный [7]. Также активно развиваются подходы, которые сводятся к оптимизации энергии по всему изображению кадра, что является достаточно затратным по времени обработки, однако позволяет повысить качество итоговых результатов алгоритма [8].

Предложенный метод

Для устранения артефактов предлагается использовать трилатеральную фильтрацию. Для фильтрации используется как сам кадр, так и его карта глубины. Ядро свёртки строится для каждого пикселя и состоит из трёх компонент: гауссова ядра с заданным радиусом G, матрицы фотометрической разности по исходному изображению для текущего пикселя по сравнению с соседними и аналогичной матрицы , построенной для текущего пикселя по карте глубины.

Элементы матрицы вычисляются на основании суммы по всем цветовым компонентам пикселя модуля разности между текущим пикселям и его соседями, и линейно зависят от полученного значения.

,

где

r, g и b здесь – это значения по каждой цветовой компоненте, а значение порога thresholdcolor выбирается в завимости от обрабатываемых данных.

Для вычисления элементов этой матрицы мы использовали зависимость, основанную на логистической функции:

, где

,

t – величина, которая отвечает за силу влияния разности по глубине на итоговый вклад пикселя и которая выбирается в зависимости от обрабатываемых данных, z(x,y) – значения с исходной карты глубины.

Затем вычисляется итоговое ядро свёртки K(x,y)для пикселя с координатами (x,y), элементы которого являются поэлементным произведением G, I(x,y) и D(x,y):

.

И вычисляется итоговое значение пикселя r(x,y), которое записывается в результат:

.

Далее в результатах приведен пример работы трилатеральной фильтрации и её сравнение с разными вариантами билатеральной фильтрации: в одном случае мы исключаем составляющую I(x,y), в другом – D(x,y). Как видно, при исключении из построения ядра карты глубины, мы получаем «затекания» глубины на соседние объекты, похожие по цвету. А если не брать в расчёт исходное изображение, то качество краёв объектов заметно уступает.

Дальнейшая работа

В ближайших планах у авторов более тесное объединение алгоритма с данными, получаемыми из оптического потока, что позволит повысить качество восстановления небольших деталей, а также построение меры надёжности данных для каждого пикселя. С использованием этой меры можно будет оценить вероятность появления артефактов в некоторой области, что позволит получать лучший результат.

Другим направлением развития алгоритма является использование данных во времени, извлекаемых из оптического потока, построенного в предыдущий и следующий кадры. Данный подход при достаточно ощутимых затратах времени позволит качественно повысить уровень восстановления карты глубины, а также существенно увеличит стабильность результатов во времени.

Также планируется на основе информации, извлекаемой с исходного изображения, карты глубины и поля оптического потока, научиться выделять отдельные объекты как структурные единицы для того, чтобы более точно обрабатывать края объектов.

Результаты

Приведены результаты работы алгоритма в сравнении с исходной картой глубины, а также результатами билатеральной фильтрации по глубине и по исходному изображению.

(a)

(b) (c)

(d) (e)

Рис. 1. Приведен кадр последовательности olymp (a), исходная карта глубины (b), результат билатеральной фильтрации по глубине (c), результат билатеральной фильтрации по изображению (d), результат трилатеральной фильтрации (e).

(a)

(b)

(c)

(d)

Рис. 2. Приведен кадр последовательности carousel (a), исходная карта глубины (b), результат билатеральной фильтрации по изображению (c), результат трилатеральной фильтрации (d).

  1. (b)

(c) (d)

Рис. 3. Трёмерная визуализация кадра из последовательности olymp с исходной картой глубины (a, c) и с отфильтрованной предложенным методом (b, d)

Итоги

В данной статье был предложен метод трилатеральной постфильтрации карт глубины, полученных на основе движения камеры. Проведено сравнение с другими подходами, описаны и продемонстрированы преимущества алгоритма относительно этих подходов. Обозначены проблемы, которые возникают при использовании карт глубины для построения ядра свёртки, описаны способы их решения, а также направления дальнейшего развития алгоритма.

Список литературы.

1. Ashutosh Saxena, Sung H. Chung, Learning Depth from Single Monocular Images, Advances in Neural Information Processing Systems 18, p. 1161-1168, MIT Press, 2006.

2. Shaojie Zhuo, Terence Sim, On the Recovery of Depth from a Single Defocused Image, In proceedings of International Conference on Computer Analysis of Images and Patterns (CAIP), vol. 5702/2009, p. 889-897, 2009

3. S. Battiatoa, S. Curtib, M. La Casciac, M. Tortorac, Depth-Map Generation by Image Classification, in proceedings of SPIE, vol. 5302, 95, 2004

4. Mahsa T. Pourazad, Panos Nasiopoulos, Rabab K.Ward, Generating the DepthMap from the Motion Information of H.264-Encoded 2D Video Sequence, EURASIP Journal on Image and Video Processing Volume 2010

5. Donghyun Kim, Dongbo Min, Kwanghoon Sohn, Stereoscopic Video Generation Method Using Motion Analysis, In Proc. of the 3DTV Conference, p. 1-4, 2007

6. Zhang, L., Tam, W. J., Stereoscopic Image Generation Based on Depth Images for 3D TV, IEEE Trans. on Broadcasting, vol. 51, pp. 191-199, Jun. 2005.

7. Chao-Chung Cheng, Chung-Te Li, Po-Sen Huang, Tsung-Kai Lin, Yi-Min Tsai, and Liang-Gee Chen, A Block-based 2D-to-3D Conversion System with Bilateral Filter, International Conference on Consumer Electronics (ICCE), p. 1-2, 2009

8. Zhang, G., Jia, J., Wong, T., Bao, H., Recovering Consistent Video Depth Maps via Bundle Optimization, Proceeding of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), p. 1-8, 2008

lib.znate.ru

trilateral — с английского на русский

  • trilatéral — trilatéral, ale, aux [ trilateral, o ] adj. • 1721; var. trilatère 1765; du bas lat. trilaterus; cf. tri et latère 1 ♦ Vx Qui a trois côtés. ⇒ triangulaire. 2 ♦ Mod. Qui engage trois parties. Accord trilatéral. ⇒ triparti. ● trilatéral,… …   Encyclopédie Universelle

  • trilateral — TRILATERÁL, Ă, trilaterali, e, adj. Cu trei laturi. – Din fr. trilatéral. Trimis de LauraGellner, 01.07.2004. Sursa: DEX 98  trilaterál adj. m., pl. trilateráli; f. sg. trilaterálă, pl. trila …   Dicționar Român

  • Trilateral — Tri*lat er*al, a.[L. trilaterus; tri (see {Tri }) + latus, lateris, side: cf. F. trilat[ e]ral. See {Lateral}.] (Geom.) Having three sides; being three sided; as, a trilateral triangle. {Tri*lat er*al*ly}, adv. {Tri*lat er*al*ness}, n. [1913… …   The Collaborative International Dictionary of English

  • trilateral — 1650s, from L. trilaterus “three sided;” see TRI (Cf. tri ) + LATERAL (Cf. lateral). The Trilateral Commission (representing Japan, the U.S., and Europe) was founded 1973 …   Etymology dictionary

  • Trilaterāl — (lat.), dreiseitig …   Meyers Großes Konversations-Lexikon

  • Trilateral — Trilaterāl (lat.), dreiseitig …   Kleines Konversations-Lexikon

  • Trilateral — Trilateral, Comisión …   Enciclopedia Universal

  • trilatéral — trilatéral, ale (tri la té ral, ra l ) adj. Qui a trois côtés. ÉTYMOLOGIE    Trilatère …   Dictionnaire de la Langue Française d'Émile Littré

  • trilateral — adj. 2 g. Que tem três lados …   Dicionário da Língua Portuguesa

  • trilateral — ► ADJECTIVE 1) shared by or involving three parties. 2) Geometry of, on, or with three sides. ► NOUN ▪ a triangle …   English terms dictionary

  • trilateral — [trī lat′ər əl] adj. [&LT; L trilaterus, three sided: see TRI & LATERAL] three sided trilaterally adv …   English World dictionary

  • translate.academic.ru

    Трилатеральная постфильтрация карт глубины

    Д. С. Ватолин (к.ф.-м.н.)1, А. А. Воронов (студент)1, М. А. Смирнов (к.т.н.)2

    ТРИЛАТЕРАЛЬНАЯ ПОСТФИЛЬТРАЦИЯ КАРТ ГЛУБИНЫ 1

    1МГУ им. Ломоносова, факультет Вычислительной Математики и Кибернетики,

    Лаборатория Компьютерной Графики и Мультимедиа;

    2ЗАО «ЮВсофт»

    Аннотация

    В этой статье предложен новый подход для пространственной фильтрации карт глубины, полученных на основе оптического потока по видео с движением камеры. На исходной карте глубины, в связи с недостаточной точностью получения информации о движении возникают ошибки. Задача состоит в том, чтобы сделать карту глубины однородной в гладких областях, избежав размывания краёв объектов. Для решения этой задачи предлагается использовать трилатеральную фильтрацию, ядро свёртки которой состоит из следующих компонент: геометрической, фотометрической по исходному кадру и фотометрической по глубине. Видео, построенное с применением данного метода, показало большую стабильность как в пространстве кадра, так и во времени. Также в статье приводится сравнение предложенного метода с обычной билатеральной фильтрацией.

    Введение

    Одним из распространённых способов создания трёхмерного видео является изменение параллакса изображения с использованием карты глубины. Для этих целей необходима информация о расстоянии от камеры до объектов в сцене. Карта глубины – это визуализация расстояния до объектов в каждой точке изображения: чем дальше объект, тем более тёмным цветом он отображается. Создание карт глубины – достаточно трудоёмкий процесс. В общем случае задача создания карты глубины по изображению алгоритмически неразрешима, и до недавнего времени на практике активно использовался подход ручного построения карт глубины с привлечением специально обученных художников, что достаточно долго и неоправданно дорого с финансовой точки зрения. Однако для некоторых случаев возможно создание карт глубины по информации из сцены. Есть работы с применением методов машинного обучения, где эта информация извлекается из достаточно большой базы тестовых изображений в разном масштабе [1]. Также в [2] был предложен метод, использующий то свойство, что объекты переднего плана обычно находятся в фокусе и имеют чёткие границы, а с удалением от камеры границы объектов становятся всё менее резкими. Хорошо известен также подход, предложенный в [3], согласно которому можно строить глубину на основе геометрических свойств сцены, например, с учётом точки схождения перспективы, положения линии горизонта и т. п. Кроме того, для сцен, в которых есть движение камеры, можно построить карту глубины, исходя из перемещения объектов в сцене, используя построение оптического потока сцены. В случае панорамной съёмки смещение объекта в одном кадре относительно другого зависит от того, насколько близко этот объект находился к камере. Данный поход достаточно детально описан в [4] и [5].

    Описание решаемой проблемы

    Наиболее качественным способом получения информации о движении в сцене является использование алгоритма оптического потока. Однако результаты работы этого алгоритма на данном этапе не могут быть идеальны в силу нескольких причин. Первая причина заключается в том, что невозможно построить точный оптический поток для двух кадров для областей открытия или закрытия, возникающих при движении объектов. В подобных областях глубина не может быть корректно определена. Другая причина заключается в том, что часто на практике невозможно точного определить движение на гладких областях, в особенности на зашумлённом видео. И, наконец, в силу высокой вычислительной сложности на данном этапе в целях ускорения работы системы приходится жертвовать качеством работы алгоритма оптического потока, что сказывается на конечном результате. Поэтому часто полученная карта глубины нуждается в обработке с целью уменьшения ошибок алгоритма, либо уменьшения их заметности на конечном результате.

    Для фильтрации применяют как простое гауссово сглаживание [6] с разными вариациями, так и более сложные методы фильтрации, например, билатеральный [7]. Также активно развиваются подходы, которые сводятся к оптимизации энергии по всему изображению кадра, что является достаточно затратным по времени обработки, однако позволяет повысить качество итоговых результатов алгоритма [8].

    Предложенный метод

    Для устранения артефактов предлагается использовать трилатеральную фильтрацию. Для фильтрации используется как сам кадр, так и его карта глубины. Ядро свёртки строится для каждого пикселя и состоит из трёх компонент: гауссова ядра с заданным радиусом G, матрицы фотометрической разности по исходному изображению для текущего пикселя по сравнению с соседними и аналогичной матрицы , построенной для текущего пикселя по карте глубины.

    Элементы матрицы вычисляются на основании суммы по всем цветовым компонентам пикселя модуля разности между текущим пикселям и его соседями, и линейно зависят от полученного значения.

    ,

    где

    r, g и b здесь – это значения по каждой цветовой компоненте, а значение порога thresholdcolor выбирается в завимости от обрабатываемых данных.

    Для вычисления элементов этой матрицы мы использовали зависимость, основанную на логистической функции:

    , где

    ,

    t – величина, которая отвечает за силу влияния разности по глубине на итоговый вклад пикселя и которая выбирается в зависимости от обрабатываемых данных, z(x,y) – значения с исходной карты глубины.

    Затем вычисляется итоговое ядро свёртки K(x,y)для пикселя с координатами (x,y), элементы которого являются поэлементным произведением G, I(x,y) и D(x,y):

    .

    И вычисляется итоговое значение пикселя r(x,y), которое записывается в результат:

    .

    Далее в результатах приведен пример работы трилатеральной фильтрации и её сравнение с разными вариантами билатеральной фильтрации: в одном случае мы исключаем составляющую I(x,y), в другом – D(x,y). Как видно, при исключении из построения ядра карты глубины, мы получаем «затекания» глубины на соседние объекты, похожие по цвету. А если не брать в расчёт исходное изображение, то качество краёв объектов заметно уступает.

    Дальнейшая работа

    В ближайших планах у авторов более тесное объединение алгоритма с данными, получаемыми из оптического потока, что позволит повысить качество восстановления небольших деталей, а также построение меры надёжности данных для каждого пикселя. С использованием этой меры можно будет оценить вероятность появления артефактов в некоторой области, что позволит получать лучший результат.

    Другим направлением развития алгоритма является использование данных во времени, извлекаемых из оптического потока, построенного в предыдущий и следующий кадры. Данный подход при достаточно ощутимых затратах времени позволит качественно повысить уровень восстановления карты глубины, а также существенно увеличит стабильность результатов во времени.

    Также планируется на основе информации, извлекаемой с исходного изображения, карты глубины и поля оптического потока, научиться выделять отдельные объекты как структурные единицы для того, чтобы более точно обрабатывать края объектов.

    Результаты

    Приведены результаты работы алгоритма в сравнении с исходной картой глубины, а также результатами билатеральной фильтрации по глубине и по исходному изображению.

    (a)

    (b) (c)

    (d) (e)

    Рис. 1. Приведен кадр последовательности olymp (a), исходная карта глубины (b), результат билатеральной фильтрации по глубине (c), результат билатеральной фильтрации по изображению (d), результат трилатеральной фильтрации (e).

    (a)

    (b)

    (c)

    (d)

    Рис. 2. Приведен кадр последовательности carousel (a), исходная карта глубины (b), результат билатеральной фильтрации по изображению (c), результат трилатеральной фильтрации (d).

    1. (b)

    (c) (d)

    Рис. 3. Трёмерная визуализация кадра из последовательности olymp с исходной картой глубины (a, c) и с отфильтрованной предложенным методом (b, d)

    Итоги

    В данной статье был предложен метод трилатеральной постфильтрации карт глубины, полученных на основе движения камеры. Проведено сравнение с другими подходами, описаны и продемонстрированы преимущества алгоритма относительно этих подходов. Обозначены проблемы, которые возникают при использовании карт глубины для построения ядра свёртки, описаны способы их решения, а также направления дальнейшего развития алгоритма.

    Список литературы.

    1. Ashutosh Saxena, Sung H. Chung, Learning Depth from Single Monocular Images, Advances in Neural Information Processing Systems 18, p. 1161-1168, MIT Press, 2006.

    2. Shaojie Zhuo, Terence Sim, On the Recovery of Depth from a Single Defocused Image, In proceedings of International Conference on Computer Analysis of Images and Patterns (CAIP), vol. 5702/2009, p. 889-897, 2009

    3. S. Battiatoa, S. Curtib, M. La Casciac, M. Tortorac, Depth-Map Generation by Image Classification, in proceedings of SPIE, vol. 5302, 95, 2004

    4. Mahsa T. Pourazad, Panos Nasiopoulos, Rabab K.Ward, Generating the DepthMap from the Motion Information of H.264-Encoded 2D Video Sequence, EURASIP Journal on Image and Video Processing Volume 2010

    5. Donghyun Kim, Dongbo Min, Kwanghoon Sohn, Stereoscopic Video Generation Method Using Motion Analysis, In Proc. of the 3DTV Conference, p. 1-4, 2007

    6. Zhang, L., Tam, W. J., Stereoscopic Image Generation Based on Depth Images for 3D TV, IEEE Trans. on Broadcasting, vol. 51, pp. 191-199, Jun. 2005.

    7. Chao-Chung Cheng, Chung-Te Li, Po-Sen Huang, Tsung-Kai Lin, Yi-Min Tsai, and Liang-Gee Chen, A Block-based 2D-to-3D Conversion System with Bilateral Filter, International Conference on Consumer Electronics (ICCE), p. 1-2, 2009

    8. Zhang, G., Jia, J., Wong, T., Bao, H., Recovering Consistent Video Depth Maps via Bundle Optimization, Proceeding of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), p. 1-8, 2008

    ru.convdocs.org