Project

General

Profile

Самопроизвольная перезагрузка Flussonic

Added by Александр Драгой 12 months ago

Раз в неделю, происходит самопроизвольная перезагрузка системы, как по расписанию. В системных логах ничего, как будто просто по питанию дернули. Версия 4.6.3, до перехода на новую версию была версия 4.6.1, там такая же ситуация была, раз в неделю Flussonic просто отказывался работать и приходилось перезагружать систему вручную. Во время сбоев теряются видеозаписи, обычно за предыдущие 2 дня. Более старые записи остаются и автоматически уже не удаляются, приходится удалять вручную. Запись пишется в расшаренные папки NFS. Логи флюссоника уже затерлись, после следующего сбоя скину.
Система:
ОС: CentOS 7.2
Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz x2
128 Г/байт оперативной памяти


Replies (5)

RE: Самопроизвольная перезагрузка Flussonic - Added by Александр Драгой 10 months ago

Проблема пока не исчезла, заметили что много памяти уходит под кэш, в кроне поменяли выполнение sync && echo 1 > /proc/sys/vm/drop_caches с 10 до 5 минут, помогло на 3 недели, потом опять все началось, бывает перезагрузка раз в 5 дней, а бывает 3 раза в день, в логах ничего, сейчас поставили очистку кэша раз в минуту, заметил, что за эту минуту может накопиться 20 гигов кэша. Предполагаю, что падения происходят из-за этого. Можно ли, что то сделать что бы флюссоник меньше потреблял оперативы? или сервак уже просто не вывозит нагрузку? сейчас на серваке пишется 215 камер и 40 тв каналов.

RE: Самопроизвольная перезагрузка Flussonic - Added by Александр Драгой 10 months ago

Видимо все же не в сервере проблема, сегодня опять упал флюссоник, но сам сервак не перезагрузился. Выкладываю архив с crash.log, флюссоник упал ориентировочно в 14:10 - 14:15, в других логах (access.log, flussonic.log) после 14:01 пусто.

crash.rar (1.5 MB)

RE: Самопроизвольная перезагрузка Flussonic - Added by Sergey M 10 months ago

20 гигов кэша это больше 300 мегаБайт в секунду. Вы уверенны что ваши диски способны записывать/считывать с такой скоростью? Какая у вас загрузка IO? Вы меняли sysctl vm.min_free_kbytes как описанно в документации?

RE: Самопроизвольная перезагрузка Flussonic - Added by Александр Драгой 10 months ago

Камеры пишутся на 28 дисков, вряд ли дело в них, sysctl vm.min_free_kbytes как в документации, не знаю есть ли связь, но неделю назад обновил до версии 4.6.5, uptime пока неделя, за последний месяц это рекорд.

RE: Самопроизвольная перезагрузка Flussonic - Added by Sergey M 10 months ago

Камеры пишутся на 28 дисков

Даже в среднем это 11 Мегабайт в секунду на каждый диск, что для обычного диска не мало. Это очень легко проверить. Запустите iostat -dx 1 и посмотрите IO загрузку дисков.

    (1-5/5)