NI
круть, спасибо!
Size: a a a
2020 May 28
YK
Добрый день, при каких обстоятельствах можно получить такую ошибку: Got error 28 from storage engine, Error_code: 1030? помимо нехватки места
YK
Возникает на реплике при записи
NI
мб в /tmp места нехватает и надо tmpdir унести на обычный диск? @astrix8989
YK
Он на обычном как раз находится, там еще 151гб доступно
NI
может джойн како-нибудь огромадный забивает диск на пару минут? потенциально можно bpftrace запулить, который будет ждать errno == 28. Но я пока не умею его скрипты писать.
YK
Точно нет, к тем таблицам, на которые ругается даже обращений не может ни каких быть
YK
Только с бинлога данные заливаются в них
YK
Есть второй сервер, с точно такой-же конфигурацией по железу, он является мастером, но там таких ошибок не возникает
YK
Потом что еще, мониторинг сервера есть, если бы заканчивалось место на массиве, это отображалось бы
V
кстати да, я помоему ловил такое когда иноды кончались
YK
ext4
V
df -i
YK
Файловая система Iнодов IИспользовано IСвободно IИспользовано% Cмонтировано в
udev 8240151 377 8239774 1% /dev
tmpfs 8242933 632 8242301 1% /run
/dev/sda1 14090240 57761 14032479 1% /
tmpfs 8242933 1 8242932 1% /dev/shm
tmpfs 8242933 2 8242931 1% /run/lock
tmpfs 8242933 15 8242918 1% /sys/fs/cgroup
/dev/sdc 54910976 560 54910416 1% /mnt2
/dev/sdb 146210816 185621 146025195 1% /mnt
tmpfs 8242933 11 8242922 1% /run/user/0
M
если там всё постоянно меняется, то кроме pt-pmp ещё полезно собрать perf и сгенерить flamegraph
Здравствуйте,
Сервер снова перестал отвечать.
Данные с pt-pmp и perf я собрал.
Вот топ 3 из pt-pmp:
Thu May 28 13:14:31 BST 2020
494 __lll_lock_wait(libpthread.so.0),_L_lock_1022(libpthread.so.0),pthread_mutex_lock(libpthread.so.0),native_mutex_lock(thr_mutex.h:84),my_mutex_lock(thr_mutex.h:84),inline_mysql_mutex_lock(thr_mutex.h:84),THD::init(thr_mutex.h:84),THD::THD(sql_class.cc:1308),Channel_info::create_thd(channel_info.cc:32),Channel_info_tcpip_socket::create_thd(socket_connection.cc:222),init_new_thd(connection_handler_per_thread.cc:177),handle_connection(connection_handler_per_thread.cc:177),pfs_spawn_thread(pfs.cc:2190),start_thread(libpthread.so.0),clone(libc.so.6)
277 __lll_lock_wait(libpthread.so.0),_L_lock_1022(libpthread.so.0),pthread_mutex_lock(libpthread.so.0),native_mutex_lock(thr_mutex.h:84),my_mutex_lock(thr_mutex.h:84),inline_mysql_mutex_lock(thr_mutex.h:84),THD::init(thr_mutex.h:84),THD::THD(sql_class.cc:1308),Channel_info::create_thd(channel_info.cc:32),Channel_info_local_socket::create_thd(socket_connection.cc:169),init_new_thd(connection_handler_per_thread.cc:177),handle_connection(connection_handler_per_thread.cc:177),pfs_spawn_thread(pfs.cc:2190),start_thread(libpthread.so.0),clone(libc.so.6)
14 __io_getevents_0_4(libaio.so.1),LinuxAIOHandler::collect(os0file.cc:2526),LinuxAIOHandler::poll(os0file.cc:2672),os_aio_linux_handler(os0file.cc:2728),os_aio_handler(os0file.cc:2728),fil_aio_wait(fil0fil.cc:5912),io_handler_thread(srv0start.cc:333),start_thread(libpthread.so.0),clone(libc.so.6)
А вот топ 3 из perf:
Samples: 886 of event 'cpu-clock', Event count (approx.): 221500000
Overhead Command Shared Object Symbol
27.88% mysqld libz.so.1.2.7 [.] crc32
4.63% mysqld [kernel.kallsyms] [k] copy_user_enhanced_fast_string
3.50% mysqld libc-2.17.so [.] __memcpy_ssse3_back
Это что-то вам говорит?
Сервер снова перестал отвечать.
Данные с pt-pmp и perf я собрал.
Вот топ 3 из pt-pmp:
Thu May 28 13:14:31 BST 2020
494 __lll_lock_wait(libpthread.so.0),_L_lock_1022(libpthread.so.0),pthread_mutex_lock(libpthread.so.0),native_mutex_lock(thr_mutex.h:84),my_mutex_lock(thr_mutex.h:84),inline_mysql_mutex_lock(thr_mutex.h:84),THD::init(thr_mutex.h:84),THD::THD(sql_class.cc:1308),Channel_info::create_thd(channel_info.cc:32),Channel_info_tcpip_socket::create_thd(socket_connection.cc:222),init_new_thd(connection_handler_per_thread.cc:177),handle_connection(connection_handler_per_thread.cc:177),pfs_spawn_thread(pfs.cc:2190),start_thread(libpthread.so.0),clone(libc.so.6)
277 __lll_lock_wait(libpthread.so.0),_L_lock_1022(libpthread.so.0),pthread_mutex_lock(libpthread.so.0),native_mutex_lock(thr_mutex.h:84),my_mutex_lock(thr_mutex.h:84),inline_mysql_mutex_lock(thr_mutex.h:84),THD::init(thr_mutex.h:84),THD::THD(sql_class.cc:1308),Channel_info::create_thd(channel_info.cc:32),Channel_info_local_socket::create_thd(socket_connection.cc:169),init_new_thd(connection_handler_per_thread.cc:177),handle_connection(connection_handler_per_thread.cc:177),pfs_spawn_thread(pfs.cc:2190),start_thread(libpthread.so.0),clone(libc.so.6)
14 __io_getevents_0_4(libaio.so.1),LinuxAIOHandler::collect(os0file.cc:2526),LinuxAIOHandler::poll(os0file.cc:2672),os_aio_linux_handler(os0file.cc:2728),os_aio_handler(os0file.cc:2728),fil_aio_wait(fil0fil.cc:5912),io_handler_thread(srv0start.cc:333),start_thread(libpthread.so.0),clone(libc.so.6)
А вот топ 3 из perf:
Samples: 886 of event 'cpu-clock', Event count (approx.): 221500000
Overhead Command Shared Object Symbol
27.88% mysqld libz.so.1.2.7 [.] crc32
4.63% mysqld [kernel.kallsyms] [k] copy_user_enhanced_fast_string
3.50% mysqld libc-2.17.so [.] __memcpy_ssse3_back
Это что-то вам говорит?
NI
мне бы полностью pmp
NI
в тексте, тут перекорёживает
