Show content

Форум MACROSCOP

Форум Системы безопасности / Форум Видеонаблюдение /

30.12.2014 21:48:11

slyfox, судя по Вашему описанию потребление памяти вполне вписывается в мои предположения.

Мне немного удалось проянить причину высокого потребления памяти.

Я проанализировал работу одного сервера, с которым ранее не наблюдалось никаких проблем, но в один прекрасный момент на нём Macroscop начал потреблять всю доступную оперативную память. Детальное изучение логов программы показало, что при старте очень долго инициализируется функционал работы с архивом. При использовании полностью заполненного массива из 12-ти 3 Тб дисков серверная часть тратила порядка 17 минут при старте на анализ данных архива. В лог-файле удалось обнаружить информацию о том, что на одном из дисков анализ данных длился порядка 14 минут. Исключение диска из массива, и перезапуск серверной части показали, что время запуска сократилось до 3-х минут, а потребление оперативной памяти вернулось на прежние значения. Диагностика же исключённого диска показала хорошие значения SMART, но очень низкое чтение и запись многих секторов.

Таким образом можно сделать вывод о том, что снижение производительности дисковой подсистемы или её неполадки, могут привести к повышению потребления серверной частью Macroscop оперативной памяти, что объясняется неспособностью системы с нормальной скоростью записать на дисковую систему данные, которые продолжают накапливаться в оперативной памяти.

по-моему для архива лучше DAS с нормальным Raid контроллером.

08.01.2015 21:47:27

В конфигураторе Macroscop в настройках системы интеллектуального анализа при выборе экспертного режима работы детектора движения можно настроить зоны детектирования, для каждой из которых можно задать ограничение на размер объекта срабатывания детектора: минимальную ширину и высоту в процентах от соответственно ширины и высоты кадра. Эти значения можно задать как вручную, так и интерактивно в пределах от 0 до 50 %. При использовании ручного варианта при помощи трекбара можно выбрать необходимое значение, но после сохранения конфигурации с выбранным значением может оказаться так, что оно будет отличаться от заданного на один процент. Например, минимальная высота объекта от высоты кадра по трекбару может отображаться равной 4 %, а в интерактивном режиме это значение может быть равно 5 %.

P.S. Попробуйте интерактивно задать квадрат 3 на 3 % и посмотрите, что отображается при этом на трекбаре.

12.01.2015 11:31:20

Коллеги, добрый день.

По моим наблюдениям в версии 1.11.112 по сравнению с 1.9.73 заметно повысилось потребление оперативной памяти

Нами были протестированы версии 1.9.72 и 1.11.112. i7 (8 ядер) 4 GB W7 x64. Условия: 20 камер разрешения 1920x1080, 2 камеры 1280х720. Тестировалось при различных настройках детектора движения. Самый большой разрыв потребления памяти - при стандартных настройках. При них используемая память возросла на 23%, а загрузка ЦП снизилась на 42% (с 33 до 19).По поводу архива - да, если дисковая система не позволяет записать все кадры на жесткий диск, они начинают накапливатся до определенного предела в оперативной памяти. Как Вы верно и заметили, и приводит к тому использованию памяти, который у Вас наблюдается.

12.01.2015 13:36:15

Коллеги, добрый день.

По моим наблюдениям в версии 1.11.112 по сравнению с 1.9.73 заметно повысилось потребление оперативной памяти

Самый большой разрыв потребления памяти - при стандартных настройках.

А какие НЕ стандартные настройки с требуемым потоком уменьшат потребление?

Как измеряли потребление ОЗУ?

У нас через монитор ресурсов загрузка дисков стабильно 6-9 МБайт/сек, при этом сам Macroscop занимает 4Гб и весь(!) остальной объем ОЗУ (28Гб) добивает кеш-данными. Дропов в ОЗУ и дисках нет.

12.01.2015 23:58:57

Нами были протестированы версии 1.9.72 и 1.11.112. i7 (8 ядер) 4 GB W7 x64. Условия: 20 камер разрешения 1920x1080, 2 камеры 1280х720. Тестировалось при различных настройках детектора движения. Самый большой разрыв потребления памяти - при стандартных настройках. При них используемая память возросла на 23%, а загрузка ЦП снизилась на 42% (с 33 до 19).По поводу архива - да, если дисковая система не позволяет записать все кадры на жесткий диск, они начинают накапливатся до определенного предела в оперативной памяти. Как Вы верно и заметили, и приводит к тому использованию памяти, который у Вас наблюдается.

Прежде всего благодарю за проведённое Вами тестирование.

С какой заполненностью у Вас был архив на системе с версией 1.9.72 и 1.11.112?

Как отразится на потреблении оперативной памяти сервера Macroscop для старого и нового типа архива тестируемых версий, если в системе будет архив с полностью заполненным дисковым массивом 12 x 3 Тб?

Как сильно влияет выбранное время предзаписи на потребление оперативной памяти?

14.01.2015 13:56:20

1) А какие НЕ стандартные настройки с требуемым потоком уменьшат потребление?Под нестандартными настройками имелись в виду любые настройки, отличающиеся от настроек по умолчанию. При них отличие или не наблюдалось, или было минимальным. В настройках же по умолчанию (настройка "детектирование с оптимальной частотой детектора движения") с версии 1.10 используется другой режим. До 1.10 был режим детектирования по опорным кадрам, после - режим частичного декодирования H.264.При заданных же пользователем настройках всегда используется указанный алгоритм детектирования, поэтому отличия в потреблении ресурсов и нет.2) Как измеряли потребление ОЗУ?Потребление ОЗУ измерялось диспетчером задач.3) У нас через монитор ресурсов загрузка дисков стабильно 6-9 МБайт/сек, при этом сам Macroscop занимает 4Гб и весь(!) остальной объем ОЗУ (28Гб) добивает кеш-данными. Дропов в ОЗУ и дисках нет.Правильно мы понимаем, что имеется ввиду кеш ОС? В таком случае, она самостоятельно определяет, как оптимально использовать доступную оперативную память, чтобы минимизировать доступ к жесткому диску.4) С какой заполненностью у Вас был архив на системе с версией 1.9.72 и 1.11.112?Была использована "чистая" виртуальная машина , то есть архив заполнялся в момент тестирования.5) Как отразится на потреблении оперативной памяти сервера Macroscop для старого и нового типа архива тестируемых версий, если в системе будет архив с полностью заполненным дисковым массивом 12 x 3 Тб?Под архивные индексы, которые мы храним в оперативной памяти, отводится заранее определенный размер, зависящий от доступной оперативной памяти, но не более 1ГБ. Влияет так: если индексов не будет в памяти, то они будут подгружаться с жесткого диска, и операция чтения из архива будет чуть дольше.6) Как сильно влияет выбранное время предзаписи на потребление оперативной памяти?Точный размер требуемой памяти Вы можете найти, просто умножив время предзаписи на поток с камеры. Дополнительная оперативная память для этой функции не используется.

16.01.2015 00:41:17

Уважаемые разработчики!Какое событие происходит в версии Macroscop Server 1.11.112 между последним событием обработки и сортировкой архивных файлов, которое по времени занимает целых 30 минут!?Если посмотреть в этот момент в Process Explorer, то видно что сервер усиленно что-то делает на одном месте в основном потоке.Вот содержимое стека в этот момент:Archive.dll!alv.c+0x335 <- 30 минут упорного труда здесьArchive.dll!afy.b+0x17Archive.dll!cqw.a+0x78Archive.dll!cqw.a+0x243Archive.dll!cgs.g+0x4a9Archive.dll!act.a+0xf3Archive.dll!a6t.a+0x630Archive.dll!cb9.a+0x4a5MacroscopServer.exe!b0y.ae+0x827MacroscopServer.exe!b0y.w+0xba3MacroscopServer.exe!b0y.a6+0x235MacroscopServer.exe!b0y.bb+0x154MacroscopServer.exe!cgg.c+0xe7...Сортировка же занимает не более 6 секунд, после чего начинается работа с сетью и всё остальное.Потребление ресурсов Macroscop в этот момент.Date/Time CPU,% Ntw,% Prv,Mb Vrt,Mb GC,Mb Thrds16.01.2015 0:16:48 0 0 3175 17923 2452 3516.01.2015 0:17:48 0 0 3239 17923 2516 3516.01.2015 0:18:48 0 0 3293 17923 2576 3516.01.2015 0:19:48 0 0 3353 17923 2641 3516.01.2015 0:20:48 0 0 3417 17915 2707 3316.01.2015 0:21:48 0 0 3472 17915 2762 3316.01.2015 0:22:48 0 0 3478 17919 2473 3416.01.2015 0:23:48 0 0 3478 17915 2535 3316.01.2015 0:24:48 0 0 3478 17915 2592 3316.01.2015 0:25:48 0 0 3486 17915 2650 3316.01.2015 0:26:48 0 0 3486 17915 2702 3316.01.2015 0:27:48 0 0 3489 17915 2754 3316.01.2015 0:28:48 0 0 3502 17915 2803 3316.01.2015 0:29:48 0 0 3528 17915 2852 3316.01.2015 0:30:48 0 0 3569 17915 2907 3316.01.2015 0:31:48 0 0 3601 17915 2954 3316.01.2015 0:32:48 0 0 3641 17915 3006 3316.01.2015 0:33:48 0 0 3689 17915 3055 3316.01.2015 0:34:48 0 0 3730 17915 3098 3316.01.2015 0:35:48 0 0 3777 17915 3147 3316.01.2015 0:36:48 0 0 3823 17914 2659 3316.01.2015 0:37:48 0 0 3863 17914 2703 3316.01.2015 0:38:48 0 0 3902 17914 2743 3316.01.2015 0:39:48 0 0 3941 17914 2783 3316.01.2015 0:40:48 0 0 3981 17914 2825 3316.01.2015 0:41:48 0 0 4032 17914 2879 3316.01.2015 0:42:48 0 0 4110 17914 2960 3316.01.2015 0:43:48 0 0 4160 17914 3010 3316.01.2015 0:44:48 0 0 4230 17914 3080 3316.01.2015 0:46:31 0 0 4272 17914 3131 3316.01.2015 0:47:31 0 0 4320 17914 3169 3316.01.2015 0:48:31 0 0 4397 17914 3247 3316.01.2015 0:49:31 0 0 5386 18861 2714 016.01.2015 0:50:33 89 0 8701 22849 2895 165

16.01.2015 00:42:58

Уважаемые разработчики!

Какое событие происходит между последним событием обработки и сортировкой архивных файлов, которое по времени занимает целых 30 минут!?

Если посмотреть в этот момент в Process Explorer, то видно что сервер усиленно что-то делает на одном месте в основном потоке.

Вот содержимое стека в этот момент:

Archive.dll!alv.c+0x335 <- 30 минут упорного труда здесь

Archive.dll!afy.b+0x17

Archive.dll!cqw.a+0x78

Archive.dll!cqw.a+0x243

Archive.dll!cgs.g+0x4a9

Archive.dll!act.a+0xf3

Archive.dll!a6t.a+0x630

Archive.dll!cb9.a+0x4a5

MacroscopServer.exe!b0y.ae+0x827

MacroscopServer.exe!b0y.w+0xba3

MacroscopServer.exe!b0y.a6+0x235

MacroscopServer.exe!b0y.bb+0x154

MacroscopServer.exe!cgg.c+0xe7

...

Сортировка же занимает не более 6 секунд, после чего начинается работа с сетью и всё остальное.

P.S. Мои извинения за сообщение выше. Редактор сообщений не блещет при вставке из буфера обмена.

27.01.2015 14:31:07

yurasek , то, что Вы наблюдаете - это этап загрузки индексной информации из архива в оперативную память. В некоторых случаях этот этап мог затягиваться при количестве архивных файлов порядка миллиона и больше. На сайте сейчас выложена версия 1.11.161, в которой эта оптимизация произведена.

03.02.2015 09:51:25

Здравствуйте разработчики macroscop. Нам очень важно ловить multicast с потока камер вроде такая функция реализована на вашем ПО, но как мы не пытались multicast он не льет версия по на сегодняшний день последняя. установленна отдельная сетевая карта для multicasta выставлены соответствующие приоритеты меняли формат потоков. с сервера multicast так и не льется, а если вещать multicast VLC плеером с этого же сервака он спокойно вещается! но не с вашего ПО в чем может быть проблема? версия по 1.11.112. заранее благодарен.