Size: a a a

DBA - русскоговорящее сообщество

2020 December 18

I

Igor in DBA - русскоговорящее сообщество
Ilia Zviagin
Так а в чем вообще проблема, я не понял...
скорость запись в БД всего лишь 50 000 строк в час. Очень медленно
источник

IZ

Ilia Zviagin in DBA - русскоговорящее сообщество
Igor
Здравствуйте!  Для записи данных в Mysql использую скрипт на языке R.  Средняя скорость записи примерно 50 тысяч строк в час. Таблицу в 500 000 загружает всю ночь и иногда отваливается соединение.

Пообщался с админом БД, пробовали отследить запись 1000 строк - ничего не получилось. На стороне R происходит какая-то подготовка данных (а может и не на R) и потом он ее моментально записывает в БД. Даже по логам не смогли отследить. Т.е. R записывает быстро, но делает какую-то подготовку.

В момент подготовки БД не видит действий со стороны пользователя. Ту же самую таблицу БД записывает за полсекунды.
R скрипт проверили, там нет проблем. Такой же скрипт у других отрабатывает на отлично.

Может быть БД принимает данные и пытается поменять кодировку?  В чем может быть проблема? Вот настройки БД
https://pastenow.ru/7093b1a78e978e5cdb53604ddadb8d4a
Тебе не нравится что медленно данные загружаться?
источник

I

Igor in DBA - русскоговорящее сообщество
Ilia Zviagin
Тебе не нравится что медленно данные загружаться?
да
источник

E

Etki in DBA - русскоговорящее сообщество
Igor
Здравствуйте!  Для записи данных в Mysql использую скрипт на языке R.  Средняя скорость записи примерно 50 тысяч строк в час. Таблицу в 500 000 загружает всю ночь и иногда отваливается соединение.

Пообщался с админом БД, пробовали отследить запись 1000 строк - ничего не получилось. На стороне R происходит какая-то подготовка данных (а может и не на R) и потом он ее моментально записывает в БД. Даже по логам не смогли отследить. Т.е. R записывает быстро, но делает какую-то подготовку.

В момент подготовки БД не видит действий со стороны пользователя. Ту же самую таблицу БД записывает за полсекунды.
R скрипт проверили, там нет проблем. Такой же скрипт у других отрабатывает на отлично.

Может быть БД принимает данные и пытается поменять кодировку?  В чем может быть проблема? Вот настройки БД
https://pastenow.ru/7093b1a78e978e5cdb53604ddadb8d4a
Что такое "скрипт проверили"?
источник

IZ

Ilia Zviagin in DBA - русскоговорящее сообщество
Igor
скорость запись в БД всего лишь 50 000 строк в час. Очень медленно
Вместо заливки в бд напрямую Подготовь данные в текстовом виде, в CSV или в виде одного большого insert, и выполняй напрямую через ,скажем, утилиту mysql
источник

E

Etki in DBA - русскоговорящее сообщество
Писос абсолютный конечно. Вы там хоть время в stdout выводите, когда процессинг начался, когда начал записывать, когда кончил
источник

E

Etki in DBA - русскоговорящее сообщество
И сколько записей за раз
источник

IZ

Ilia Zviagin in DBA - русскоговорящее сообщество
Etki
Писос абсолютный конечно. Вы там хоть время в stdout выводите, когда процессинг начался, когда начал записывать, когда кончил
Да это не важно. Ясно что R тормозит. Интерпретатор же
источник

E

Etki in DBA - русскоговорящее сообщество
Да скорее по одной записи суют
источник

E

Etki in DBA - русскоговорящее сообщество
И каждую готовят по паре секунд
источник

E

Etki in DBA - русскоговорящее сообщество
Не удивлюсь ещё если там кэш файловой системы начинает вытясняться и все файлы читаются заново
источник

IZ

Ilia Zviagin in DBA - русскоговорящее сообщество
Etki
Да скорее по одной записи суют
Безусловно
источник

V

Viktor in DBA - русскоговорящее сообщество
Здравствуйте! Мы, команда школьников, создаём проект по профессиям в IT-сфере. Нам необходимо провести несколько интервью с работниками данной индустрии(всё анонимно). Тех, кто может помочь с этим, прошу отписаться в ЛС.
источник

A

Anton in DBA - русскоговорящее сообщество
Всем добрый день! пытаюсь заполнить свою базу данных через консоль.
источник

A

Anton in DBA - русскоговорящее сообщество
mysql -h hostname -uroot -default_character_set utf8 -p social_network < C:\Users\Anton\Documents\SocialNetwork\main\src\main\resources\sql\fill_in.sql
источник

A

Anton in DBA - русскоговорящее сообщество
вот так не хочет ставить utf 8
источник

A

Anton in DBA - русскоговорящее сообщество
mysql -uroot -p social_network < C:\Users\Anton\Documents\SocialNetwork\main\src\main\resources\sql\fill_in.sql
источник

A

Anton in DBA - русскоговорящее сообщество
а так заполняет, но вместо русских символов абракадабра
источник

A

Anton in DBA - русскоговорящее сообщество
подскажите как решить проблему
источник

A

Anton in DBA - русскоговорящее сообщество
╨п ╤Г╤Б╤В╨░╨ выводит вот такое вместо русских символов
источник