Size: a a a

2021 January 22

DD

Dima Denisov in symfony
Данные лежат в plain-text + int, нужно осуществлять выборки по 200-800 строк по 30-50 разным "item_id". СЕйчас простой SELECT *** WHERE item_id IN (X1,X2....). 100kk = 100_000_000
источник

ВУ

Валентин Удальцов... in symfony
Dima Denisov
Посоветуйте, что полезно почитать по работе/настройке SQL-DB (в моем случае MySQL) c 100kk+ строк. Без посещения ДБ в память. Нужно делать множественные SELECT, и все медленнее и медленнее работает.
Иногда решением может быть использовать другую БД для конкретных частей системы
источник

ВУ

Валентин Удальцов... in symfony
Ну и, естественно, бд другого типа.
источник

ВУ

Валентин Удальцов... in symfony
Например, elastic для текстов,  clickhouse для аналитики
источник

DD

Dima Denisov in symfony
Валентин Удальцов
Например, elastic для текстов,  clickhouse для аналитики
А clickhouse действительно хорошее решение (само по себе) , мне казалось что это яндексовая поделка, а яндекса я не фанат
источник

D

Dmitry in symfony
А какой обьем данных этих 100 Лямов записей ?
источник

ВУ

Валентин Удальцов... in symfony
Dima Denisov
А clickhouse действительно хорошее решение (само по себе) , мне казалось что это яндексовая поделка, а яндекса я не фанат
ну по бенчмаркам он очень хорош в сравнении с другими аналитическими бд. я слышал много положительных отзывов.
сами мы до него не добрались. как минимум, у него крутая документация, много зарубежных статей и сообщество в телеграме
источник

ВУ

Валентин Удальцов... in symfony
мне кажется, отношение к компании странно переносить на их технические поделки
источник

DD

Dima Denisov in symfony
Dmitry
А какой обьем данных этих 100 Лямов записей ?
Всегда считал что около 200Мб за 1 млн
источник

ВУ

Валентин Удальцов... in symfony
ибо это вообще никак не связано, учитывая, что clickhouse продукт с открытым исходным кодом
источник

ВУ

Валентин Удальцов... in symfony
чтобы эффеткивно работать с лямами записей нужны колоночные бд, реляционки в такое не умеют
источник

D

Dmitry in symfony
Т.е всего 20 гиг ? Закиньте все в память
источник

DD

Dima Denisov in symfony
Валентин Удальцов
ибо это вообще никак не связано, учитывая, что clickhouse продукт с открытым исходным кодом
Я не изучал этот продукт, просто слышал о нем давным давно
источник

ВУ

Валентин Удальцов... in symfony
Dima Denisov
Я не изучал этот продукт, просто слышал о нем давным давно
сделай новый заход, с тех пор там многое изменилось, я уверен)
источник

DD

Dima Denisov in symfony
Dmitry
Т.е всего 20 гиг ? Закиньте все в память
Вот этого и не хочется пока не испробовали все иные варианты
источник

D

Dmitry in symfony
Быстрее чем из памяти ничего не работает.
источник

DD

Dima Denisov in symfony
Валентин Удальцов
сделай новый заход, с тех пор там многое изменилось, я уверен)
Спасибо, так и сделаю. Потом результатами поделюсь
источник

DD

Dima Denisov in symfony
Dmitry
Быстрее чем из памяти ничего не работает.
Тогда надо выбрать самое быстрое решение, которое на SDD а затем уже пихать его в память
источник

D

Dmitry in symfony
Зачем ? Купите сервер 128 гиг. Вот и решение. Зачем тащить с винта если можно чтобы мускл держал в памяти
источник

D

Dmitry in symfony
Ndb кластер возьмите может. Там много минусов но может вам пойдёт
источник