AP
это плохо
Size: a a a
2020 April 26
AP
смотри, левой кнопкой мышки кликаешь по ошибке в сентри и смотришь дебаг лог
M
Подскажите пожалуйста, можно как-то ускорить работу?
Я обрабатываю файл 10к строк. Построчно читаю и вставляю в БД для проверки уникальности строки и увеличиваю счетчик в случае успеха.
В итоге я выполняю 10к запросов ~1-2минуты. Можно этот процесс ускорить? Я бы сделал вставку 1 запросом, но тогда не смогу подсчитать уникальные строки.
Я обрабатываю файл 10к строк. Построчно читаю и вставляю в БД для проверки уникальности строки и увеличиваю счетчик в случае успеха.
В итоге я выполняю 10к запросов ~1-2минуты. Можно этот процесс ускорить? Я бы сделал вставку 1 запросом, но тогда не смогу подсчитать уникальные строки.
можно попробовать подтюнить mysql
innodb_flush_log_at_trx_commit=0 , innodb_buffer_pool_size так, чтобы вся БД влезала, innodb_log_file_size побольше (только его так просто не увеличить в ini , надо удалять старые ib_logfile в datadir базы)
innodb_flush_log_at_trx_commit=0 , innodb_buffer_pool_size так, чтобы вся БД влезала, innodb_log_file_size побольше (только его так просто не увеличить в ini , надо удалять старые ib_logfile в datadir базы)
S
Michael
можно попробовать подтюнить mysql
innodb_flush_log_at_trx_commit=0 , innodb_buffer_pool_size так, чтобы вся БД влезала, innodb_log_file_size побольше (только его так просто не увеличить в ini , надо удалять старые ib_logfile в datadir базы)
innodb_flush_log_at_trx_commit=0 , innodb_buffer_pool_size так, чтобы вся БД влезала, innodb_log_file_size побольше (только его так просто не увеличить в ini , надо удалять старые ib_logfile в datadir базы)
Это касательно одновременной вставки 10к записей?
Моя проблема не в этом, а в учёте уникальных строк. Уникальность определяется методом вставки в БД (поле уникальное), по этому приходится делать 1 запрос = 1 строка
Моя проблема не в этом, а в учёте уникальных строк. Уникальность определяется методом вставки в БД (поле уникальное), по этому приходится делать 1 запрос = 1 строка
M
ну это вообще.
если у тебя innodb и innodb_flush_log_at_trx_commit=1 то mysql после каждой вставки пишет данные на диск. А с 0 она будет делать это в памяти в innodb_buffer_pool_size, а на диск сбрасывать когда будет свободное время
если у тебя innodb и innodb_flush_log_at_trx_commit=1 то mysql после каждой вставки пишет данные на диск. А с 0 она будет делать это в памяти в innodb_buffer_pool_size, а на диск сбрасывать когда будет свободное время
M
Индекс на поле, по которому ищешь, надеюсь, есть ?
F
Ребят привет, кто то логирует ошибки в JavaScript c помощью сентри? Подскажите что за дичь?) С чем такие ошибки могут быть связаны?
Ребят кто спец тут по сентри? Готов заплатить чтобы кто помог решить эту ошибку, или хотябы понять почему она возникает! Я уже каждый Events смотрю, и там ошибка часто ступорятся на одном запросе [0] а дальше идет Network Error
D
Ребят кто спец тут по сентри? Готов заплатить чтобы кто помог решить эту ошибку, или хотябы понять почему она возникает! Я уже каждый Events смотрю, и там ошибка часто ступорятся на одном запросе [0] а дальше идет Network Error
а сам эту ошибку ловил?
F
а сам эту ошибку ловил?
нет (
D
может дергаешь 0 элемент массива, если он ещё не пришел с бэка?
ИЛ
Ребят кто спец тут по сентри? Готов заплатить чтобы кто помог решить эту ошибку, или хотябы понять почему она возникает! Я уже каждый Events смотрю, и там ошибка часто ступорятся на одном запросе [0] а дальше идет Network Error
У тебя универсальное решение проблем во время кода
ИЛ
У тебя универсальное решение проблем во время кода
ИЛ
У тебя универсальное решение проблем во время кода
ИЛ
У тебя универсальное решение проблем во время кода
D
У тебя универсальное решение проблем во время кода
:D
D
правда вряд ли кто-то будет копать чужой код за такую денюжку
F
может дергаешь 0 элемент массива, если он ещё не пришел с бэка?
Да вроде нет, я JS в функцио обернул) И вроде как не прийдет ответ дальше код не должен был бы идти, да и ошибка была бы дргуая
PL
В чём ваша проблема? Я помог Максиму решить несколько проблем. Адекватный парень. А вы только критиковать горазды.
ИЛ
правда вряд ли кто-то будет копать чужой код за такую денюжку
Я конечно понимаю, есть траблы над которыми несколько дней мучаешься
ИЛ
Но там выше проблема даже инфа о ошибке есть