Понимание системы и ее ограничений Представьте себе систему с камерами на поворотном устройстве, предназначенную для отслеживания быстро движущихся объектов. Видеосигнал должен быть обработан в течение 250 миллисекунд; в противном случае объект выйдет за пределы кадра. Это включает в себя получение видеоданных, их анализ на предмет движения объекта и обратную отправку управляющих сигналов для регулировки ракурсов камеры.
Выявление проблем с периодическим зависанием Операторы иногда замечают, что их клиентские компьютеры зависают — видео перестает обновляться, а команды игнорируются. Задача состоит в том, чтобы выявить эту ошибку, используя доступные ресурсы, такие как журналы или инструменты аппаратного анализа, без немедленного успеха в выявлении какой-либо конкретной проблемы.
Анализ аппаратных ресурсов Команда проверяет, достаточно ли памяти или места на диске, но не обнаруживает никаких проблем: много оперативной памяти свободно, а использование диска минимально во время зависания работы. Журналы также не показывают ничего необычного до возникновения этих инцидентов.
Анализ сети "Wireshark" Показывает отсутствие передачи данных с Сервера во время зависания Сетевой анализатор Wireshark подтверждает, что при зависании экранов на стороне клиента пакеты данных с сервера вообще не отправляются - явный признак того, что что—то идет не так на стороне сервера, а не с отдельными клиентами.
Выявление проблем с пространством ядра Система зависает из-за проблем с пространством в ядре, выявленных при анализе трассировки стека и системных вызовов. Большое количество ошибок в определенном системном вызове указывает на потенциальные проблемы с синхронизацией полей или барьерами памяти.
Диагностика проблем синхронизации В процессе отображаются два потока: один из них находится в режиме ожидания на неопределенный срок в futex, что указывает на проблемы с синхронизацией. Это говорит о том, что жесткие блокировки, связанные с программированием, возможно, связаны с тем, что будущие задачи не управляются должным образом.
Процесс обнаружения ошибок в ядре При дальнейшем исследовании с использованием таких инструментов, как gdb и strace, было обнаружено, что проблема была вызвана ошибкой в ядре операционной системы. Ошибка была связана с неправильной обработкой барьеров памяти, что привело к проблемам с видимостью между потоками.