KK
А перемещать записи по файликам можно?
Size: a a a
2020 June 06
KK
Если да, то сортани прост все нафиг
KK
И доставай бинпоиском
KK
+ у тнбя там записи макс в 2 разных файликах будут
DZ
Нельзя - файлики ридонли и чужие
KK
Полную задачу скажи
DZ
Полная задача - есть куча пользователей нарезанные по файликам. Файлики ридонли. Периодически приходят запросы вида "нам надо сделать выборку по этим ~5 тысячам пользователей. Скажите какие файлики нам для этого надо просканировать."
KK
Какое допустимое время на запрос?
KK
Максимальная возможная опер память?
KK
Доступный объем hdd/ssd
KK
Можно ли использовать gpu
KK
Сколько ядер проца доступно?
KK
Есть ли доступ к этим ридонли файликам постоянно, или они на удаленном серваке хранятся?
DZ
Всё лежит далеко и по сети
DZ
Памяти - гигов 16 есть - это обычный сервер (можно 64 поставить или 128), но он ещё и другие запросы должен обрабатывать
DZ
Ядер - 8 минимум 64 максимум - это можно поменять
DZ
HDD ssd есть, но лучше не использовать, потому что сервер stateless
DZ
Gpu нет
h
100 лярдов, чувак
Медленно будет?
DZ
Можно какие-то файлы построить - те же фильтры Блума или этот blooming filter, который возможно не подходит или b+ дерево, которое довольно жирным может получиться и положить их рядом с файлами с данными и пытаться лениво кешировать