Kill -9

Segmentation fault именно чтобы было необязательно для тестирования настройки Core file

Спасибо! Файл не появился (накосячил видимо), но будем знать!
(Roel как-то через запросы умудрился это сделать на видео. А у нас как раз падение было при обычном SELECT, очень я удивился, т.к. повторить не удалось...)

@kislik1 kill -6 чтобы упал с абортом или kill -11 чтобы с segfault. или kill -SIGABRT kill -SIGSEGV. Если ненравятся цифирки, то можно pkill -SIGSEGV -xn mysqld (убить по segfault последний запущенный процесс mysqld)

Блин, вот я тупой... Это же сигнал, номер даже был... Ступил... Спасибо =)

День добрый уважаемые,
Есть странная проблема.
Есть два сервера в двух разных датацентрах.
Это необходимость миграции.
Между ними row-bassed ssl репликация.
Ежедневно в myisam таблицу загружаются примерно 30Гб данных.
Эти данные передаются во второй датацентр и там мускуль виснет.
Мускуль Percona mysql 5.7.22.
Виснет на столько, что к нему нельзя даже локально приконектиться по сокету.
Помогает только убийство процесса.  
Поменять структуру или тип таблицы пока нет возможности.
Такое падение может происходить спонтанно.
Иногда три раза в неделю, а иногда раз в месяц.
В логах мускуля и центоси пусто.
В чем может заключаться проблема?
В каком направление копать? Может кто-то сталкивался с подобным?

что в dmesg и pt-pmp?

dmesg не писался с 2018го.
pt-pmp не использовал. Сейчас гляну, что это.

надо установить gdb и debuginfo пакет для точно такой же версии как стоит PS 5.7.22. Когда всё зависнет (или просто для теста и в норме можно бахнуть), можно запустить pt-pmp и посмотреть для каждого треда в каких функциях исходного кода mysql сейчас этот тред находится

потом посмотреть в исходном коде что происходит

если там всё постоянно меняется, то кроме pt-pmp ещё полезно собрать perf и сгенерить flamegraph

Понял, спасибо большое.
Буду ждать зависания.
Причем странно то, что у каждого из мастеров есть еще по слейву и на них таких проблем не встречается.
Что-то происходит когда репликация идем между датацентрами.

Разберусь с тулами и соберу данные.
Может натокнусь на корень проблемы.
Еще раз спасибо.

лучше заранее или в песочнице попробовать

Дело в том, что повторить проблему не получается. :(

я имею в виду: взять вагрант с виртуалбоксом запустить там такую же версию mysql и попробовать сделать нагрузку (while sleep 1; do mysql -e 'insert into ...' ; done ) и поглядеть pt-pmp, flamegraph, pt-stalk

не воспроизведения ради, а чтобы быть готовым

Понял, хорошо, это не сложно. Спасибо.

у меня есть автоматика для vagrant+ansible чтобы подымать PS, PXC, mongo, PG, репликации. Ещё есть dbdeployer - это чтобы поднять локально несколько процессов mysql (замена mysqlsandbox), ещё есть deploy_lxc из percona support snippets.

ну и просто на лишнем серваке или ec2 можно погонять тесты