ОЗУ? Эластик же не in-memory, зачем, когда на SSD мы ничего не теряем, не возможно обрабатывать ещё быстрее данные, чем IO

Про шарды, как я понял из вашего обсуждения, что всё зависит от кол-во данных для хранения. Как же тогда создаются индексы и хэши/деревья, они хранятся по шардам или в едином месте?

*не IO, а как раз обработка данных (процессорным временем) к скорости IO

Общие рекомендации - от планируемого количества узлов и из расчета не больше 32 гб / шард

В памяти много чего хранится для ускорения

Про 32 гб на шард хз на самом деле, потому что шард не будет располагаться в памяти в размере 1:1

Я почему заинтересовался, т.к. у меня нет больших объёмов, у меня всех данных гигов 20. Но при этом эластик у меня основное хранилище.
Так вот, я сейчас как раз задался вопросом пересоздания индексов и изучаю как вообще данные распределяются по репликам и шардам, чтобы понять как правильно их хранить.
Сейчас у меня есть некая версионность данных, каждый индекс имеет префикс версии через алиасы типа users_v3 -> users, так же данные распределены по типам users_v3/abonents, users_v3/engineers, users_v3/operators и т.п.
И вот у меня возник вопрос, как они разносятся по шардам, каждый тип в разном шарде или всё в перемешку с указателями

А меня переход на эластик останавливает проблема перестройки индексов в основном. Щас ведь на лайве маппинг не поменять?

Не поменять

Бизнес требования раз в месяц меняет, я с эластиком как основной базой сдохну )

От использования в качестве хранилища лучше отказаться

Там с самого начала нужно реиндексы настраивать для апдейта мапптнга

Чтобы при каждом деплое при смене версии ротировался индекс :/

только оставшуюся память люсен сожрёт под свои нужды и под memory-mapped files

Это дикий геморрой, но в пятерке сделали спец ручку для этого

https://www.elastic.co/guide/en/elasticsearch/reference/master/docs-reindex.html вот вроде (я как всегда с телефона)

у каждого индекса свои шарды, не связанные с шардами других индексов

а распределение типов в индексе по шардам?

именно поэтому у меня версионность, поддержка сделана один раз на уровне приложения

нигде не описано. в каждом шарде могут быть свои типы. AFAIK, тип - это просто строковое поле в объекте