DD
Данные лежат в plain-text + int, нужно осуществлять выборки по 200-800 строк по 30-50 разным "item_id". СЕйчас простой SELECT *** WHERE item_id IN (X1,X2....). 100kk = 100_000_000
Size: a a a
2021 January 22
ВУ
Посоветуйте, что полезно почитать по работе/настройке SQL-DB (в моем случае MySQL) c 100kk+ строк. Без посещения ДБ в память. Нужно делать множественные SELECT, и все медленнее и медленнее работает.
Иногда решением может быть использовать другую БД для конкретных частей системы
ВУ
Ну и, естественно, бд другого типа.
ВУ
Например, elastic для текстов, clickhouse для аналитики
DD
Например, elastic для текстов, clickhouse для аналитики
А clickhouse действительно хорошее решение (само по себе) , мне казалось что это яндексовая поделка, а яндекса я не фанат
ВУ
А clickhouse действительно хорошее решение (само по себе) , мне казалось что это яндексовая поделка, а яндекса я не фанат
ну по бенчмаркам он очень хорош в сравнении с другими аналитическими бд. я слышал много положительных отзывов.
сами мы до него не добрались. как минимум, у него крутая документация, много зарубежных статей и сообщество в телеграме
сами мы до него не добрались. как минимум, у него крутая документация, много зарубежных статей и сообщество в телеграме
ВУ
мне кажется, отношение к компании странно переносить на их технические поделки
DD
А какой обьем данных этих 100 Лямов записей ?
Всегда считал что около 200Мб за 1 млн
ВУ
ибо это вообще никак не связано, учитывая, что clickhouse продукт с открытым исходным кодом
ВУ
чтобы эффеткивно работать с лямами записей нужны колоночные бд, реляционки в такое не умеют
DD
ибо это вообще никак не связано, учитывая, что clickhouse продукт с открытым исходным кодом
Я не изучал этот продукт, просто слышал о нем давным давно
ВУ
Я не изучал этот продукт, просто слышал о нем давным давно
сделай новый заход, с тех пор там многое изменилось, я уверен)
DD
Т.е всего 20 гиг ? Закиньте все в память
Вот этого и не хочется пока не испробовали все иные варианты
DD
сделай новый заход, с тех пор там многое изменилось, я уверен)
Спасибо, так и сделаю. Потом результатами поделюсь
DD
Быстрее чем из памяти ничего не работает.
Тогда надо выбрать самое быстрое решение, которое на SDD а затем уже пихать его в память