'

Семантическая сегментация

Понравилась презентация – покажи это...





Слайд 0

Семантическая сегментация Many slides adapted from Alexei Efros and Daniel Munoz CSEDays-2010


Слайд 1

Наивная классификация Нужно классифицировать каждый пиксель 1 МП на картинку! Что можно сказать про 1 пиксел? Классификация окрестности пиксела


Слайд 2

Наивная классификация Сегментируем картинку, затем классифицируем сегменты Классифицируем каждый пиксель по окрестности


Слайд 3

Пространственная поддержка 50x50 Patch 50x50 Patch По небольшой окрестности зачастую невозможно правильно определить метку Пространственная поддержка Необходимо каким-то образом задавать метки для всех пикселов в совокупности


Слайд 4

Построение решения Задача / Данные Элемент Пиксель Сегмент Классификация пикселов / регионов Признаки для классификации Метод классификации (бустинг, лес, SVM) Расширение пространственной поддержки Множественные сегментации Случайные поля


Слайд 5

Цель: 7 геометрических классов Земля Вертикальные стены Плоскости: смотрящие влево (?), Прямо ( ), Направо (?) Другоеr: Твердые (X), Дырявые (O) Небо ? Уличные изображения Hoiem et al 2005


Слайд 6

Размеченные данные 300 изображений из гугла


Слайд 7

Признаки Положение


Слайд 8

Сегментация изображений Использование нескольких вариантов сегментации (с разными параметрами) Решение, какие сегменты хорошие, откладывается на потом …


Слайд 9

Что мы хотим узнать: Хороший ли это сегмент? Если сегмент хороший, то какая у него метка? Обучаем модель по размеченным данным Бустинг на решающих деревьях Классификация областей P(good segment | data) P(label | good segment, data)


Слайд 10

Классификация … … Для каждого сегмента вычисляется: - P(good segment | data) P(label | good segment, data)


Слайд 11

Разметка изображений … Размеченные сегментации Размеченные пиксели


Слайд 12

Вероятностная разметка Support Vertical Sky V-Left V-Center V-Right V-Porous V-Solid


Слайд 13

Результат Вход Ручная разметка Результат алгоритма


Слайд 14

Изображения из помещений Вход Ручная разметка Результат


Слайд 15

Рисунки Вход Результат


Слайд 16

Приложение: Automatic Photo Pop-up (SIGGRAPH’05) Изображение Метки


Слайд 17

Automatic Photo Pop-up


Слайд 18

TextonBoost J. Shotton, J. Winn, C. Rother, A. Criminisi, TextonBoost: Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation, ECCV 2006


Слайд 19

Data and Classes Goal: assign every pixel to a label MSRC-21 database (“void” label ignored for training and testing)


Слайд 20

Марковские Случайные Поля Независимая классификация Применяем обычный метод классификации (SVM, бустинг и т.д.) Схема Марковских Случайных Полей (MRF) для совместной классификации Каждый пиксел – вершина неориентированного графа Связи между пикселами задаются ребрами графа Why?


Слайд 21

Условные случайные поля МСП для совместной оценки разметки случайных переменных (c), при условии всех данных (x) Модель совместного распределения ?(1) – модель локальной оценки качества метки ?(2)- - модель попарной оценки качества разметки Images from Szummer DAR’05


Слайд 22

Вывод (Inference) Вывод = поиск наилучшей совместной разметки NP-полная задача в общем случае Argmax-разметка Попарные потенциалы должны удовлетворять условию субмодулярности Разрезы графов (GraphCuts) Не-субмодулярные потенциалы Quadratic Pseudo-Boolean Optimization (QPBO) Разметка с оценкой достоверности Belief Propagation, TRW Приближенное решение при наличии циклов Сложность экспоненциально зависит от размера клики Поэтому в основном рассматриваются модели с кликой не выше 2 (попарные)


Слайд 23

Обзор метода Модель TextonBoost на основе CRF 4-х связанные окрестности Параметры обучаются независимо Вывод GraphCut VS


Слайд 24

Форма и текстура (Shape & Texture) Первая и главная компонента модели Текстоны Фильтруем изображение банком фильтров (17 фильтров) Каждый фильтр – вычисление определенной характеристики/статистики окрестности точки Получаем 17 признаков для каждого пиксела (вектор-признаки) Кластеризуем список всех вектор-признаков (400 кластеров) Каждые кластер – «текстон» Квантуем каждый пиксель к ближайшему текстону (карта текстонов)


Слайд 25

Моделирование формы Шаг 1: получили карту текстонов Шаг 2: Фильтры формы (Shape Filters) Для каждого текстона t Вход Карта текстонов (Прямоугольная маска r, текстон t) Положение пикселя i Выход Площадь в маске r, отвечающая t Результат – гистограмма откликов по окрестностям


Слайд 26

Фильтры формы Пара: Отклики v(i, r, t) Большие области обеспечивают большую пространственную поддержку Рассчет через интегральные изображения rectangle r texton t ( , ) v(i1, r, t) = a v(i2, r, t) = 0 v(i3, r, t) = a/2 appearance context up to 200 pixels Slides from Shotton’s ECCV talk


Слайд 27

feature response image v(i, r1, t1) feature response image v(i, r2, t2) Форма задается положением текстонов texton map ground truth texton map Slides from Shotton’s ECCV talk


Слайд 28

summed response images v(i, r1, t1) + v(i, r2, t2) Форма задается положением текстонов ( , ) (r1, t1) = ( , ) (r2, t2) = texton map ground truth texton map summed response images v(i, r1, t1) + v(i, r2, t2) texton map


Слайд 29

Обучение Используется бустинг Обычный бустинг Для каждого пикселя Для каждой возможной маски Для каждого текстона Считаем признак Ускоренная версия Для каждого пикселя в уменьшенном изображении Для 10 случайных масок Для каждого текстона (K=400) Считаем признаки 42 часа на 276 изображениях


Слайд 30

Первый результат Только форма и текстура: 69.6% shape-texture Точность попиксельной сегментации Slides from Shotton’s ECCV talk


Слайд 31

Уточняем разметку Добавляем границы Потенциал границ Используем попарные потенциалы для определения и подчеркивания границ Идея: Если метки одинаковые, разница пикселей должна быть маленькой Если метки разные, разница пикселей должна быть большой Модель Поттса, допускает разрезы графов


Слайд 32

Точность Форма-текстура: 69.6% + границы: 70.3% shape-texture + edge Точность Попиксельной сегментации Slides from Shotton’s ECCV talk


Слайд 33

Положение объектов Положение Нормализуем координаты по всем изображениям Посчитываем частоту появления объектов в данной точке изображения Ncow, = 1, N = 3 Think Naive Bayes Prevent overfit (tuned)


Слайд 34

Моделирование цвета Цвет Обучаем модель цвета только по изображению Идея Используем классификацию по другим признакам как исходные параметры Обучаем модель смеси гауссиан (кластеризация цветов) Каждый класс – свои веса смеси Обучаем веса итеративным EM-алгоритмом


Слайд 35

Общий результат Форма и текстура: 69.6% + границ: 70.3% + цвет: 72.0% + положение: 72.2% shape-texture + edge + colour & location Точность Попиксельной сегментации Slides from Shotton’s ECCV talk


Слайд 36

Результаты Successes


Слайд 37

Ошибки


Слайд 38

Завтра Сказ о том, как Алеша Ефрос жульничал и грубил в компьютерном зрении за счет Гугла, Яндекса и их пользователей, и на этом прославился


×

HTML:





Ссылка: