'

Банки фильтров, шумоподавление

Понравилась презентация – покажи это...





Слайд 0

Банки фильтров, шумоподавление «Введение в компьютерную графику» лекция 28.10.2010 Алексей Лукин lukin@graphics.cs.msu.ru


Слайд 1

План Банки фильтров, основанные на STFT Психоакустическая компрессия звука Слуховая маскировка Устройство алгоритма mp3 Подавление стационарных шумов Метод спектрального вычитания STFT как банк фильтров, полосовые гейты Проблема «музыкального шума» Частотно-временное разрешение Вейвлеты Подавление шума на изображениях


Слайд 2

Часть 1 Банки фильтров и их применения


Слайд 3

Банки фильтров, основанные на STFT Спектрограмма график зависимости амплитуды от частоты и от времени, показывает изменение спектра во времени отображается модуль Short Time Fourier Transform (STFT)


Слайд 4

Банки фильтров, основанные на STFT Частотно-временное разрешение Способность различать детали по частоте и по времени, «размытость» спектрограммы Для STFT определяется длиной весового окна (а также, отчасти, размером и шагом DFT по времени) Соотношение неопределенностей: разрешение по частоте обратно пропорционально разрешению по времени 6 ms 12 ms 24 ms 48 ms 96 ms размер окна


Слайд 5

Банки фильтров Банки фильтров – преобразования, разбивающие сигнал на несколько частотных полос в возможностью обратного синтеза Пример: дискретное вейвлет-преобразование Возможные свойства БФ: точное восстановление, избыточность


Слайд 6

Банки фильтров Применения: Раздельная обработка сигнала в разных частотных полосах Компрессия сигналов с независимым квантованием в разных частотных полосах Пример банка фильтров, основанного на STFT Декомпозиция: STFT с окном Хана (Hann), и с перекрытием между окнами 75% Синтез: обратное DFT от каждого блока, применение весовых окон Хана и сложение окон с наложением (OLA) Свойства: Точное восстановление Наличие избыточности


Слайд 7

Слуховая маскировка Абсолютный порог слышимости Как соотнести уровни в звуковом файле с абсолютными уровнями звука?


Слайд 8

Слуховая маскировка Сильные звуки (masker) маскируют более слабые (maskee) Одновременная маскировка Временная маскировка (прямая и обратная)


Слайд 9

Слуховая маскировка Маскировка тонами, шумами и общий порог маскировки Шаг квантования выбирается пропорциональным порогу маскировки


Слайд 10

Алгоритм mp3 Кодирование аудиоданных с потерями mp3-файл x[n] FFT Банк фильтров Q Huffman Психоакустический анализ Схема кодера mp3


Слайд 11

Пред-эхо Pre-echo (pre-ringing) Размытие ошибки квантования по времени на всю длину окна


Слайд 12

Пред-эхо Переключение размера окон в банке фильтров


Слайд 13

Шумоподавление Аддитивный шум Метод спектрального вычитания Шум предполагается стационарным, т.е. не меняющимся во времени (средняя мощность, спектр)


Слайд 14

Стационарные шумы Общий принцип подавления Преобразование, компактно локализующее энергию (energy compaction) Модификация коэффициентов преобразования (подавление коэффициентов, соответствующих шуму) Обратное преобразование (восстановление очищенного сигнала)


Слайд 15

Спектральное вычитание Спектральное вычитание для аудиосигналов STFT Оценка спектра шума по участку без полезного сигнала «Вычитание» спектра шума из спектра сигнала Обратное STFT Spectral Subtraction, Short-Time Spectral Attenuation Схема алгоритма спектрального вычитания


Слайд 16

Спектральное вычитание Требования к банку фильтров Точное (или почти точное) восстановление Отсутствие «эффекта блочности» (перекрытие, окна) Хорошая частотная локализация Не требуется: сохранение количества информации Выбираем банк фильтров, основанный на STFT


Слайд 17

Шумоподавление Многополосная интерпретация Пороги срабатывания гейтов зависят от уровня шума в каждой частотной полосе Гейт (gate) – устройство, подавляющее тихие сигналы (громкие пропускаются без изменения)


Слайд 18

Спектральное вычитание Конструкция гейтов Порог срабатывания зависит от шума > нужно знать параметры шума > обучение Мягкое или жесткое срабатывание Время срабатывания (attack/release time) Ограничение степени подавления Пример подавления: Здесь G – коэффициент усиления, W – оценка амплитуды шума, X – амплитуда сигнала.


Слайд 19

Шумоподавление Шум случаен > его спектр тоже случаен Пример спектра белого шума: приближенный фрагмент общая спектрограмма


Слайд 20

Шумоподавление После спектрального вычитания появляются случайно расположенные всплески энергии – артефакт «музыкальный шум» (musical noise) «музыкальный шум» общая спектрограмма


Слайд 21

Шумоподавление Музыкальный шум: методы борьбы Завышение порога (недостаток – теряем больше сигнала) Ограничение G(f, t) снизу (чтобы музыкальный шум маскировался естественным шумом) Увеличение времени срабатывания гейтов (при слишком сильном увеличении получается шумовое эхо и смазываются атаки в сигнале) Сглаживание G(f, t) по времени и/или по частоте зашумленный сигнал простое спектр. вычитание сглаживание по времени


Слайд 22

Спектральное вычитание Эффекты фиксированного частотно-временного разрешения Эффект Гиббса (размытие транзиентов) Недостаточное частотное разрешение Зашумленный сигнал Размер окна 50 мс Адаптивное разрешение


Слайд 23

Понятие вейвлета Вейвлеты – это сдвинутые и масштабированные копии ?a,b(t) («дочерние вейвлеты») некоторой быстро затухающей осциллирующей функции ?(t) («материнского вейвлета») Используются для изучения частотного состава функций в различных масштабах и для разложения/синтеза функций в компрессии и обработке сигналов


Слайд 24

Понятие вейвлета Обычно накладываемые условия на ?(t): Интегрируемость Нулевое среднее, нормировка Нулевые моменты (vanishing moments)


Слайд 25

Понятие вейвлета Примеры вейвлетов Meyer Mortlet Mexican hat


Слайд 26

Непрерывное вейвлет-преобразование (CWT) Скалярные произведения исследуемой функции f(t) с вейвлетами ?a,b(t)


Слайд 27

Дискретное вейвлет-преобразование (DWT) Используются лишь целочисленные сдвиги вейвлета и масштабирование в 2 раза Возможность построения ортогонального преобразования Дискретный вейвлет Последовательность чисел Ортогональна своим сдвигам на четное число точек Существует скейлинг-функция (НЧ-фильтр), ортогональная вейвлету


Слайд 28

Преобразование Хаара Простейший случай вейвлет-преобразования Дан входной сигнал x[n] Образуем от него последовательности полусумм и полуразностей: Легко видеть, что сигнал x[n] можно восстановить: Такое кодирование избыточно: из одной последовательности получаем две


Слайд 29

Преобразование Хаара Устранение избыточности Проредим полученные последовательности в 2 раза: Легко видеть, что справедлив алгоритм восстановления: (интерполяция нулями) (фильтрация) (суммирование)


Слайд 30

Дискретное вейвлет-преобразование Обобщение преобразования Хаара Свойство точного восстановления (PR): Количество информации не изменяется. Нужно найти хорошие фильтры, обеспечивающие точное восстановление.


Слайд 31

Пирамидальное представление Продолжаем вейвлет-разложение для НЧ-коэффициентов Двумерное вейвлет- преобразование на каждом шаге получаем 4 набора коэффициентов: НЧ («основные») и ВЧ («детализирующие») Частотный диапазон делится на октавы Одномерный случай


Слайд 32

Банки фильтров Как банки фильтров разбивают частотно-временную плоскость?


Слайд 33

Часть 2 Подавление шума на изображениях


Слайд 34

Виды и примеры шумов Шумы Стационарные Импульсные Смешанные Salt and pepper Помехи в видео Аддитивный белый Зерно пленки Белый шум – пиксели случайны, не коррелированны друг с другом. Гауссов/равномерный/треугольный шум – закон распределения амплитуд пикселей. Аддитивный шум – прибавляется к «чистому» изображению и не зависит от него. Шум + помехи в видео Salt and pepper AWGN


Слайд 35

Методы шумоподавления Шумы Стационарные Импульсные Смешанные Медианный фильтр Взвешенная медиана Ранговые фильтры Bilateral filter Non-Local Means Wavelet thresholding DCT, PCA, ICA Анизотропная диффузия Алгоритм BM3D Ранговые фильтры Комбинированные методы Salt and pepper AWGN


Слайд 36

Простейшие методы Простейшие методы Размытие изображения – вместе с шумом размывает детали Размытие в гладких областях – остается шум вблизи границ Медианная фильтрация – хорошо подавляет импульсный шум, но удаляет мелкие детали


Слайд 37

Bilateral filter Адаптивные алгоритмы Bilateral filter усреднение окружающих пикселей с весами фотометрическая близость пространственная близость


Слайд 38

Bilateral filter Bilateral filter: художественное применение (при слишком сильном действии)


Слайд 39

Non-Local Means Адаптивные алгоритмы Non-local means (NL-means) – веса зависят от близости целых блоков, а не отдельных пикселей ?(xi,j) – блок вокруг пикселя xi,j


Слайд 40

Non-Local Means Вычисление весов Способен сохранять текстуру изображения лучше, чем bilateral filter Иллюстрация из Buades et al 2005 Веса высоки для q1 и q2, но не для q3 +


Слайд 41

Non-Local Means Достоинства и недостатки: Высокое качество результирующего изображения В исходном варианте – очень высокая вычислительная сложность Ускоряющие расчет оптимизации: Использование команд MMX/SSE для сравнения блоков Разбиение изображения на блоки и усреднение целых блоков, а не отдельных пикселей Промежуточный вариант между усреднением блоков и усреднением пикселей: усреднение маленьких блоков + –


Слайд 42

Non-Local Means Применение к видео Область поиска блоков можно расширить на соседние кадры (сделать ее пространственно-временной) Для ускорения просчета можно применять сравнение блоков только по Y-каналу в цветовой модели YCrCb (YUV)


Слайд 43

Вейвлетный метод Вейвлетное шумоподавление для изображений DWT Оценка уровня и спектра шума Подавление вейвлет-коэффициентов (thresholding, shrinkage) Обратное DWT + Подавление шума различного масштаба – Отсутствие инвариантности к сдвигу Плохая локализация энергии для наклонных границ


×

HTML:





Ссылка: