Вопрос: Средняя средняя загрузка из-за высокой загрузки системного процессора (% sys)


У нас есть сервер с веб-сайтом с высоким трафиком. Недавно мы перешли от

2 x 4 основных сервера (8 ядер в / proc / cpuinfo), 32 ГБ оперативной памяти, работает CentOS 5.x, до

2 x 4 основных сервера (16 ядер в / proc / cpuinfo), 32 ГБ оперативной памяти, работает CentOS 6.3

Сервер запускает nginx в качестве прокси-сервера, сервера mysql и sphinx-search.

Трафик высок, но базы данных mysql и sphinx-поиска относительно малы, и обычно все работает быстро.

Сегодня сервер испытывает нагрузку в среднем 100 ++. Посмотрев сверху и сэр, мы заметили, что (% sys) очень высок - от 50 до 70%. Использование диска было менее 1%. Мы попытались перезагрузиться, но проблема возникла после перезагрузки. В любой момент у сервера было не менее 3-4 ГБ свободной памяти.

Только сообщение, показанное dmesg, было «возможным наводнением SYN на порт 80. Отправка файлов cookie».

Вот фрагмент сэра

11:00:01        CPU     %user     %nice   %system   %iowait    %steal     %idle
11:10:01        all     21.60      0.00     66.38      0.03      0.00     11.99

Мы знаем, что это проблема с трафиком, но мы не знаем, как продолжить будущее и где проверить решение.

Есть ли способ найти, где именно используются те, что «66.38%».

Мы ценим любые предложения.


Обновить: Сегодня средняя загрузка - «нормальная», а «sys%» - тоже ~ 4%. Однако сегодняшнее движение на 20-30% меньше, чем вчера. Это заставляет меня думать, что вчерашняя проблема связана с некоторыми настройками ядра для TCP.


5
2017-11-10 21:11


Источник


Какие сетевые интерфейсы вы используете? Что сообщает «ethtool -k <iface>»? - wazoox
ethtool -k em1 Параметры выгрузки для em1: rx-checksumming: on tx-checksumming: on-sort-gather: on tcp-segmentation-offload: on udp-фрагментация-выгрузка: off generic-segmentation-offload: on generic-receive-offload : при большой выгрузке: выкл. - Nick
В вашей нынешней системе, по-видимому, включена гиперпоточность, а у старой - нет. Это может быть преступником; Иногда производительность HT может быть сложной. Я бы попробовал отключить HT (в BIOS) и посмотреть, не имеет ли это существенного отличия. - wazoox
потому что у нас нет физического доступа, мы поговорим с интернет-провайдером и попробуем завтра утром. - Nick
от 2 дней мы находимся в процессе тестирования с гиперпотоком. до сих пор все работает очень хорошо. мы узнаем наверняка в субботу, когда начнется большой трафик. Если вы хотите, чтобы ваш комментарий был нормальным, я могу принять его завтра вечером. Большое спасибо. - Nick


Ответы:


Я бы установил поверх репозитория EPEL. Atop должен помочь вам показать, что вызывает активность% sys.

Atop также имеет функцию atop -r, которая позволит вам переходить через журналы назад и вперед во времени с помощью кнопок t / T.

Также просмотрите / proc / interrupts и через / var / log / httpd / logs и отсортируйте их по ip, чтобы узнать, есть ли подозрительный IP-адрес, вызывающий аномальные количества трафика httpd.

Я хотел бы сделать cat / proc / interrupts в файле журнала. Ищите высокие дельта в перерывах.


1
2017-12-05 00:56