optical flow Video Group CS - - PowerPoint PPT Presentation

▶
optical flow video group cs msu graphics media lab
SMART_READER_LITE
LIVE PREVIEW

optical flow Video Group CS - - PowerPoint PPT Presentation

May 08, 2023 108 likes •1.04k views

optical flow Video Group CS MSU Graphics & Media Lab

slide-1
SLIDE 1

Обзор некоторых современных алгоритмов

  • ptical flow

Илья Цветков

Video Group CS MSU Graphics & Media Lab

slide-2
SLIDE 2

CS MSU Graphics & Media Lab (Video Group)

Содержание

 Введение  Классические методы  Билатеральная фильтрация  Сегментация  Временная корреляция  Заключение

2

slide-3
SLIDE 3

CS MSU Graphics & Media Lab (Video Group)

Постановка задачи

Даны два последовательных изображения:

3

Необходимо найти векторное поле u(x), задающее соответствие точек изображений, например:

slide-4
SLIDE 4

CS MSU Graphics & Media Lab (Video Group)

Исходные изображения

Последовательность «Mequon»

4

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-5
SLIDE 5

CS MSU Graphics & Media Lab (Video Group)

Пример optical flow

Последовательность «Mequon»

5

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-6
SLIDE 6

CS MSU Graphics & Media Lab (Video Group)

Содержание

6

 Введение  Классические методы  Билатеральная фильтрация  Сегментация  Временная корреляция  Заключение

slide-7
SLIDE 7

CS MSU Graphics & Media Lab (Video Group)

Локальные методы

Gradient constraint equation:

7

  • J. Barron et al. Performance of optical flow techniques.

International Journal of Computer Vision, 1994.

Вектор смещения ищется в каждой точке независимо. Локальный метод Lucas & Kanade:

slide-8
SLIDE 8

CS MSU Graphics & Media Lab (Video Group)

Исходные изображения

Последовательность «Army»

8

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-9
SLIDE 9

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Army»

9

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-10
SLIDE 10

CS MSU Graphics & Media Lab (Video Group)

Результат метода L&K

Последовательность «Army»

10

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-11
SLIDE 11

CS MSU Graphics & Media Lab (Video Group)

Глобальные методы

11

  • J. Barron et al. Performance of optical flow techniques.

International Journal of Computer Vision, 1994.

Глобальный метод Hork & Schunck: Сглаживает поле независимо от структуры движения.

slide-12
SLIDE 12

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Army»

12

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-13
SLIDE 13

CS MSU Graphics & Media Lab (Video Group)

Результат метода H&S

Последовательность «Army»

13

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-14
SLIDE 14

CS MSU Graphics & Media Lab (Video Group)

Исходные изображения

Последовательность «Wooden»

14

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-15
SLIDE 15

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Wooden»

15

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-16
SLIDE 16

CS MSU Graphics & Media Lab (Video Group)

Результат метода H&S

Последовательность «Wooden»

16

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-17
SLIDE 17

CS MSU Graphics & Media Lab (Video Group)

Объективное сравнение

 Average endpoint error 17

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

 Средняя угловая ошибка (average angular error)

slide-18
SLIDE 18

CS MSU Graphics & Media Lab (Video Group)

Сравнение качества

18

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

ААЕ

Army Mequon Schefflera Wooden Yosemite Teddy Lucas & Kanade 13,9 24,1 20,9 22,2 6,41 25,6 Horn & Schunck 8,0 9,1 14,2 12,4 4,01 9,2

AEPE

Army Mequon Schefflera Wooden Yosemite Teddy Lucas & Kanade 0,39 1,67 1,50 1,57 0,30 3,80 Horn & Schunck 0,22 0,61 1,01 0,78 0,16 1,51

slide-19
SLIDE 19

CS MSU Graphics & Media Lab (Video Group)

Исходные изображения

Последовательность «Yosemite»

19

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-20
SLIDE 20

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Yosemite»

20

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-21
SLIDE 21

CS MSU Graphics & Media Lab (Video Group)

Результат метода L&K

Последовательность «Yosemite»

21

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-22
SLIDE 22

CS MSU Graphics & Media Lab (Video Group)

Результат метода H&S

Последовательность «Yosemite»

22

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-23
SLIDE 23

CS MSU Graphics & Media Lab (Video Group)

Требования к optical flow

 Определение сильного движения  Устойчивость к изменениям яркости  Корректная обработка разрывов  Отдельная обработка областей

наложения объектов

 Устойчивость к шуму  Стабильность во времени

23

slide-24
SLIDE 24

CS MSU Graphics & Media Lab (Video Group)

Содержание

24

 Введение  Классические методы  Билатеральная фильтрация  Сегментация  Временная корреляция  Заключение

slide-25
SLIDE 25

CS MSU Graphics & Media Lab (Video Group)

Основные идеи

 Анизотропное сглаживание поля  Особая обработка областей

наложения объектов

 Применение билатерального фильтра

для сглаживания поля

25

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.
slide-26
SLIDE 26

CS MSU Graphics & Media Lab (Video Group)

Основа метода

26

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.

Глобальный метод с анизотропным сглаживанием: Собственные значения:

slide-27
SLIDE 27

CS MSU Graphics & Media Lab (Video Group)

Минимизация

27

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.

Итеративная минимизация: Разбиение на два шага: Альтернативное представление второго шага:

slide-28
SLIDE 28

CS MSU Graphics & Media Lab (Video Group)

Анизотропное сглаживание

28

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.
slide-29
SLIDE 29

CS MSU Graphics & Media Lab (Video Group)

Определение наложений объектов

29

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.

Функция-индикатор наложения объектов: Гладкий аналог:

slide-30
SLIDE 30

CS MSU Graphics & Media Lab (Video Group)

Обработка наложений

30

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.

Особая обработка областей наложения: Условие гладкости одинаково для всех областей:

slide-31
SLIDE 31

CS MSU Graphics & Media Lab (Video Group)

Билатеральная фильтрация поля

31

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.

Билатеральный фильтр: Исходное размытие: Применение билатерального фильтра:

slide-32
SLIDE 32

CS MSU Graphics & Media Lab (Video Group)

Билатеральная фильтрация поля

32

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.
slide-33
SLIDE 33

CS MSU Graphics & Media Lab (Video Group)

Исходные кадры

33

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.
slide-34
SLIDE 34

CS MSU Graphics & Media Lab (Video Group)

Области наложения

34

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.
slide-35
SLIDE 35

CS MSU Graphics & Media Lab (Video Group)

Optical flow

35

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.
slide-36
SLIDE 36

CS MSU Graphics & Media Lab (Video Group)

Исходные кадры

Последовательность «Football»

36

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.
slide-37
SLIDE 37

CS MSU Graphics & Media Lab (Video Group)

Области наложения

Последовательность «Football»

37

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.
slide-38
SLIDE 38

CS MSU Graphics & Media Lab (Video Group)

Optical flow

Последовательность «Football»

38

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.
slide-39
SLIDE 39

CS MSU Graphics & Media Lab (Video Group)

Результат

Последовательность «Yosemite»

39

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.
slide-40
SLIDE 40

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Yosemite»

40

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.
slide-41
SLIDE 41

CS MSU Graphics & Media Lab (Video Group)

Результаты

41

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with occlusion
  • detection. ECCV, 2006.

ААЕ

Army Mequon Schefflera Wooden Yosemite Teddy Lucas & Kanade 13,9 24,1 20,9 22,2 6,41 25,6 Horn & Schunck 8,0 9,1 14,2 12,4 4,01 9,2 Bilateral — — — — 2,57 —

Производительность

Конфигурация Время на один кадр, с Bilateral CPU Intel Xeon 3,6 ГГц 4,0

slide-42
SLIDE 42

CS MSU Graphics & Media Lab (Video Group)

Содержание

42

 Введение  Классические методы  Билатеральная фильтрация  Сегментация  Временная корреляция  Заключение

slide-43
SLIDE 43

CS MSU Graphics & Media Lab (Video Group)

Основные идеи

 Использование цветовых компонент

при расчѐте optical flow

 Цветовая сегментация  Параметрическая модель для каждого

сегмента

 Уточнение на основе первого

приближения

43

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

slide-44
SLIDE 44

CS MSU Graphics & Media Lab (Video Group)

Схема метода

44

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

slide-45
SLIDE 45

CS MSU Graphics & Media Lab (Video Group)

Первое приближение

45

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

Используется глобальный метод:

slide-46
SLIDE 46

CS MSU Graphics & Media Lab (Video Group)

Первое приближение

Последовательность «Teddy»

46

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

slide-47
SLIDE 47

CS MSU Graphics & Media Lab (Video Group)

Сегментация

 Алгоритм Mean Shift  Два этапа:

1.

Цветовая сегментация

2.

Подразбиение на основе optical flow

47

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

slide-48
SLIDE 48

CS MSU Graphics & Media Lab (Video Group)

Параметрическая модель движения

48

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

Параметрическая модель движения для каждого сегмента: Суммарная энергия:

slide-49
SLIDE 49

CS MSU Graphics & Media Lab (Video Group)

Первое приближение

Последовательность «Teddy»

49

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

slide-50
SLIDE 50

CS MSU Graphics & Media Lab (Video Group)

Уточнение optical flow

Последовательность «Teddy»

50

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

slide-51
SLIDE 51

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Teddy»

51

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-52
SLIDE 52

CS MSU Graphics & Media Lab (Video Group)

Определение наложений объектов

52

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

Optical flow вычисляется от первого кадра ко второму и наоборот: На основе прямого и обратного полей вычисляется индикатор наложения объектов:

slide-53
SLIDE 53

CS MSU Graphics & Media Lab (Video Group)

Попиксельное доверие

53

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

Попиксельная функция доверия к optical flow:

slide-54
SLIDE 54

CS MSU Graphics & Media Lab (Video Group)

Посегментное доверие

54

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

Посегментная функция доверия к optical flow: Результирующая функция доверия к

  • ptical flow:
slide-55
SLIDE 55

CS MSU Graphics & Media Lab (Video Group)

Confidence map

Последовательность «Teddy»

55

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

slide-56
SLIDE 56

CS MSU Graphics & Media Lab (Video Group)

Исходные изображения

Последовательность «Schefflera»

56

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-57
SLIDE 57

CS MSU Graphics & Media Lab (Video Group)

Первое приближение

Последовательность «Schefflera»

57

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-58
SLIDE 58

CS MSU Graphics & Media Lab (Video Group)

Уточнение optical flow

Последовательность «Schefflera»

58

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-59
SLIDE 59

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Schefflera»

59

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-60
SLIDE 60

CS MSU Graphics & Media Lab (Video Group)

Confidence map

Последовательность «Schefflera»

60

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-61
SLIDE 61

CS MSU Graphics & Media Lab (Video Group)

Финальная модель

61

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

Финальный этап — минимизация энергии:

slide-62
SLIDE 62

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Teddy»

62

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-63
SLIDE 63

CS MSU Graphics & Media Lab (Video Group)

Результат

Последовательность «Teddy»

63

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-64
SLIDE 64

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Mequon»

64

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-65
SLIDE 65

CS MSU Graphics & Media Lab (Video Group)

Результат

Последовательность «Mequon»

65

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-66
SLIDE 66

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Schefflera»

70

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-67
SLIDE 67

CS MSU Graphics & Media Lab (Video Group)

Результат

Последовательность «Schefflera»

71

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-68
SLIDE 68

CS MSU Graphics & Media Lab (Video Group)

Результаты

72

  • L. Xu et al. A segmentation based variational model for accurate optical

flow estimation. ECCV, 2008.

ААЕ

Army Mequon Schefflera Wooden Yosemite Teddy Lucas & Kanade 13,9 24,1 20,9 22,2 6,41 25,6 Horn & Schunck 8,0 9,1 14,2 12,4 4,01 9,2 Bilateral — — — — 2,57 — Segmentation 5,8 7,4 8,5 6,5 1,6 3,7

AEPE

Army Mequon Schefflera Wooden Yosemite Teddy Lucas & Kanade 0,39 1,67 1,50 1,57 0,30 3,80 Horn & Schunck 0,22 0,61 1,01 0,78 0,16 1,51 Segmentation 0,15 0,57 0,68 0,32 0,08 0,70

Производительность

Конфигурация Время на один кадр, с Bilateral CPU Intel Xeon 3,6 ГГц 4,0 Segmentation CPU Intel Core 2 Duo 2,4 ГГц 15,0

slide-69
SLIDE 69

CS MSU Graphics & Media Lab (Video Group)

Содержание

73

 Введение  Классические методы  Билатеральная фильтрация  Сегментация  Временная корреляция  Заключение

slide-70
SLIDE 70

CS MSU Graphics & Media Lab (Video Group)

Основные идеи

74

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow.

BMVC 2009.

 Особая функция штрафа  Анизотропное сглаживание поля  Построение optical flow на основе трѐх

кадров

slide-71
SLIDE 71

CS MSU Graphics & Media Lab (Video Group)

Основа метода

75

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow.

BMVC 2009.

Глобальный метод с применением L1-нормы:

slide-72
SLIDE 72

CS MSU Graphics & Media Lab (Video Group)

Сглаживание

76

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow.

BMVC 2009.

Исходный вариант сглаживания: Анизотропия и изменѐнная функция штрафа:

slide-73
SLIDE 73

CS MSU Graphics & Media Lab (Video Group)

Минимизация

77

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow.

BMVC 2009.

Вводится вспомогательная переменная:

slide-74
SLIDE 74

CS MSU Graphics & Media Lab (Video Group)

Минимизация

 Шаг 1

78

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow.

BMVC 2009.

 Шаг 2

slide-75
SLIDE 75

CS MSU Graphics & Media Lab (Video Group)

Multi-frame optical flow

 Используются три последовательных кадра  Optical flow полагается симметричным

относительно центрального кадра

79

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow.

BMVC 2009.

slide-76
SLIDE 76

CS MSU Graphics & Media Lab (Video Group)

80

Исходная последовательность

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow.

BMVC 2009.

slide-77
SLIDE 77

CS MSU Graphics & Media Lab (Video Group)

81

Optical flow по двум кадрам

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow.

BMVC 2009.

slide-78
SLIDE 78

CS MSU Graphics & Media Lab (Video Group)

82

Optical flow по трѐм кадрам

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow.

BMVC 2009.

slide-79
SLIDE 79

CS MSU Graphics & Media Lab (Video Group)

83

Исходная последовательность

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow.

BMVC 2009.

slide-80
SLIDE 80

CS MSU Graphics & Media Lab (Video Group)

84

Optical flow по двум кадрам

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow.

BMVC 2009.

slide-81
SLIDE 81

CS MSU Graphics & Media Lab (Video Group)

85

Optical flow по трѐм кадрам

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow.

BMVC 2009.

slide-82
SLIDE 82

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Mequon»

88

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-83
SLIDE 83

CS MSU Graphics & Media Lab (Video Group)

Результат

Последовательность «Mequon»

89

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-84
SLIDE 84

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Army»

90

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-85
SLIDE 85

CS MSU Graphics & Media Lab (Video Group)

Результат

Последовательность «Army»

91

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-86
SLIDE 86

CS MSU Graphics & Media Lab (Video Group)

Ground truth

Последовательность «Schefflera»

94

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-87
SLIDE 87

CS MSU Graphics & Media Lab (Video Group)

Результат

Последовательность «Schefflera»

95

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

slide-88
SLIDE 88

CS MSU Graphics & Media Lab (Video Group)

Сравнение качества

96

  • S. Baker et al. A database and evaluation methodology for optical flow.

ICCV, 2007. http://vision.middlebury.edu/flow/

ААЕ

Army Mequon Schefflera Wooden Yosemite Teddy Horn & Schunck 8,0 9,1 14,2 12,4 4,01 9,2 Bilateral — — — — 2,57 — Segmentation 5,8 7,4 8,5 6,5 1,6 3,7 Aniso Huber-L1 3,7 4,4 6,9 3,5 3,4 3,2

AEPE

Army Mequon Schefflera Wooden Yosemite Teddy Horn & Schunck 0,22 0,61 1,01 0,78 0,16 1,51 Segmentation 0,15 0,57 0,68 0,32 0,08 0,70 Aniso Huber-L1 0,10 0,31 0,56 0,20 0,17 0,64

Производительность

Конфигурация Время на один кадр, с Bilateral CPU Intel Xeon 3,6 ГГц 4,0 Segmentation CPU Intel Core 2 Duo 2,4 ГГц 15,0 Aniso Huber-L1 GPU NVIDIA GTX 280 1,2

slide-89
SLIDE 89

CS MSU Graphics & Media Lab (Video Group)

Содержание

97

 Введение  Классические методы  Билатеральная фильтрация  Сегментация  Временная корреляция  Заключение

slide-90
SLIDE 90

CS MSU Graphics & Media Lab (Video Group)

Заключение

 Особенности современных методов

 Использование глобальной модели  Анизотропия  Низкая стабильность по времени

 Направления развития

 Использование сегментации  Многокадровый optical flow

98

slide-91
SLIDE 91

CS MSU Graphics & Media Lab (Video Group)

Список литературы

1.

  • S. Baker et al. A database and evaluation methodology for optical
  • flow. ICCV, 2007. http://vision.middlebury.edu/flow/

2.

  • J. Barron et al. Performance of optical flow techniques. International

Journal of Computer Vision, 1994. 3.

  • J. Xiao et al. Bilateral filtering-based optical flow estimation with
  • cclusion detection. ECCV, 2006.

4.

  • L. Xu et al. A segmentation based variational model for accurate
  • ptical flow estimation. ECCV, 2008.

5.

  • M. Werlberger et al. Anisotropic Huber-L1 optical flow. BMVC 2009.

99

slide-92
SLIDE 92

CS MSU Graphics & Media Lab (Video Group)

Вопросы

?

100