Применение сглаживающих фильтров в IP камерах

Уважаемые коллеги,

Многие производители IP камер используют сглаживающие фильтры для улучшения качества картинки при недостаточной освещённости объекта (для снижение зашумлённости изображения). Между тем использование этих фильтров может сделать камеры непригодными как для аналитических приложений, работающих в режиме реального времени (распознавание лиц и номеров автомобилей), так и при анализе данных из записанного архива, когда необходимо восстановить ход событий и выявить мелкие детали. Не всегда наличие этих фильтров прописано в технической документации.

Какие критерии использования сглаживающих фильтров – хотелось бы это обсудить, так как информации по практике применения очень мало.

Правильно все таки не "сглаживающие фильтры" а системы шумоподавления. Включаются они, как правило, лишь при недостатке освещения, так что на разрешение картинки полученной при нормальном освещении не влияют.

Есть разные математические алгоритмы подавления шума цифровых изображений, информации в сети на эту тему много. При шумном изображении шумоподавление несколько снижает разрешение, может искажать мелкие детали, но визуально улучшает картинку и сильно уменьшает размер "шумной" цифровой картинки, то есть сетевой трафик и требуемую емкость жестких дисков. В этом главный плюс шумоподавления в CCTV.
Есть еще так называемое "3D шумоподавление", когда обрабатываются не только соседние пиксели одного кадра, но и последовательных кадров. Влияние "3D шумоподавления" в чем то похоже на влияние увеличенного времени экспозиции.
При увеличенном времени экспозиции статические предметы получаются с хорошим качеством, а движущиеся размываются.
При 3D шумоподавлении статические предметы получаются менее шумными, а движущиеся - шумными (или с пониженным разрешением, если автоматически обрабатываются еще и обычным шумоподавлением). 3D шумоподавление может также отслеживать перемещение групп пикселей.

Интересно заметить, что эффект "3D шумоподавления" получается автоматически, когда мы смотрим на живое видео с достаточно большой частотой кадров. Глаз интегририрует последовательные кадры в результате шумность "живого" видео визуально меньше шумности каждого отдельного кадра. Но когда для просмотра движущегося объекта мы выделяем отдельные кадры - удается увидеть этот объект только с большими шумами.

Для корректного измерения чувствителности с использованием отношения сигнал/шум в качестве критерия качества, все системы шумоподавления должны быть отключены!

Оправдана ли такая экономия дискового пространства? Ведь 99% информации пишется на диск и извлекается оттуда только при крайней необходимости – тогда и понадобится то самое зашумленное изображение, из которого уже серьёзными методами обработки и можно будет извлечь факты (лицо, номер и пр.). Для этого есть серьёзный математический аппарат. Из сглаженной картинки вряд ли можно что-либо извлечь. Получается, что борясь за уменьшение стоимости хранилища, мы значительно теряем в потребительских свойствах продукта. Ведь преступления совершаются в основном под покровом ночной темноты и эта часть записи окажется наименее эффективна. Поэтому использование подобных фильтров должно быть только для оператора, а в архив надо писать исходную картинку как она есть.

Думаю что в большинстве случаев такая экономия оправдана. Если хочется писать шумы, то надо проверить эту возможность, заложить запасы на пропускную способность и размеры накопителей.
Если запись осуществляется с переменным битрейтом, то шумное изображение поднимает битрейт на максимум, независимо от наличия движения в кадре. То есть все преимущества межкадровой компрессии будут сведены на нет.
При этом ограничения в ширине канала или скорости обработки/записи (а они обязательно есть) приведут к пропуску кадров или дополнительным искажениям движущихся объектов.

Если же битрейт постоянен, то шумы заполнят его, вытесняя полезную информацию.

Покадровая компрессия даст максимальный размер каждого отдельного кадра.

Джон Хонович предлагал ограничивать битрейт, но ограничение битрейта - это намного более сильное ограничение качества, чем шумоподавление.