AD
Если ОЧЕНЬ надо
Size: a a a
2020 August 28
Oℕ
вот как я кинул в групбай можно ограничить количество подстримов в памяти
RO
В любом случае, выглядит как неизбежность создания точки где заканчивается стрим №1 и начинается стрим №2 по обновленным данным
Oℕ
ничего не понял
Oℕ
что за стримы №1 и №2
RO
Условно делим склеивание как стрим 1, где мы кидаем данные в тот же редис, который сам считает сумму. И стрим два который потом достает эти данные и обрабатывает их дальше
Oℕ
непонятно
Oℕ
если у вас хватит оперативки на редис
Oℕ
то почему не хватит на фолдлефт
RO
Пошел тестить
Oℕ
если и кидать - то либо в субд, которая умеет на диске большую часть данных хранить, либо в шардированную
Oℕ
тогда хотя бы понятно, зачем субд
Oℕ
можете взять TrieMap - это lock free мутабельная конкурентная мапка
Oℕ
и кидать туда
GL
чет смотрю и не понимаю
groupBy + reduce решают задачу с картинки
что еще надо?
groupBy + reduce решают задачу с картинки
что еще надо?
GL
особенно если количество id приемлемое (не терабайты)
Oℕ
чет смотрю и не понимаю
groupBy + reduce решают задачу с картинки
что еще надо?
groupBy + reduce решают задачу с картинки
что еще надо?
так это и было предложено в первую очередь
GL
везде где есть группировка - есть проблема ООМ, обычно решаемое окном в котором происходит группировка (неявный способ получить признак для evict)
GL
так это и было предложено в первую очередь
а, прочитал ссылки)
GL
sql фор зе вин если надо надежно
если мало данных - то проще память (упомянуто выше)
если мало данных - то проще память (упомянуто выше)