KS
А 3 таблицы вы ещё дджойните в табло?
Size: a a a
2018 October 01
Д
Вот она бигдата в реальности.
KS
скорее в сторону python
KS
Может попробовпть больше вычислений перенести в бд
KS
2. Поработайте с требованиями:вам правда нужна такая грянулярность в представлении в табло? Что вы там с ней делаете?
MM
Может попробовпть больше вычислений перенести в бд
все что можно перенесли
MM
2. Поработайте с требованиями:вам правда нужна такая грянулярность в представлении в табло? Что вы там с ней делаете?
похоже что используем инструмент не по назначению )
но нас вынудили
но нас вынудили
KS
R/Python переваривает 100 млн, если оперативы хватит
KS
Так что же вы там считаете в табло? Табло для показывания данных, не для какой-то логики, моделирования и oltp задач
KS
@phyx00 сама БД нормально обрабатывает результаты? можно в качестве эксперимента попробовать power bi у них есть direct query коннектор для DB2, но думаю тоже результат будет не супер
MM
сейчас на вертике хотим потестировать
KS
Я в r закачивал таблицу с 15 млрд записей. Весила она всего 4-8 гб, а мой рабочий ноут имел 32.работать можно было
KS
На вертике мы 8 тб легко крутили, с млрд строк
MM
Так что же вы там считаете в табло? Табло для показывания данных, не для какой-то логики, моделирования и oltp задач
много геоданных, много атрибутов
проблема в том что в любом случае квантуется все до тех уникальных ключей, которых овер 5кк
проблема в том что в любом случае квантуется все до тех уникальных ключей, которых овер 5кк
KS
А от табло вы что хотите? Функионал операций над гео данными?
MM
визуализация и фильтрация
KS
Пользователю же нужны агрегаты по геоданным. Мало вероятно, что ему нужна детализация на том уровне, что есть в базе
KS
Сгруппировать значения по штату имея координаты можно питоном
KS
Или по району
KS
Только сегодня для спб разбирался, как по округам геоданные разбить