Телеграмм чат группы hadoopusers страница 2650

16:14пожаловаться #1

Куду хз, как-то тут уже обсуждалось что непонятно что с проектом

В hbase блобы конечно можно, но зачем doc/xls туда пихать я не знаю, я бы только мета инфу где на s3 каком лежит

Несколько гигов в день, это вы на 1 тб памяти год можете прожить просто в память складывая

16:15пожаловаться #2

АК

Alex

Там есть отчеты до документам за день, которые должны выполняться за секунды)
Ну и опять же, на вырост.
И high availability, т.е. масштабируемость.

16:16пожаловаться #3

Любой nosql это сразу мы ищем что за запросы будут, после этого сидим и думаем с раскладной данных

16:17пожаловаться #4

Иначе быстро не будет

16:17пожаловаться #5

HA и масштабируемость ортогональны, это не синонимы

16:18пожаловаться #6

АК

Alex

HA и масштабируемость ортогональны, это не синонимы

Э... сорри, я имел в виду отказоустойчивость...)

16:19пожаловаться #7

АК

Масштабируемость точно нужна)

16:19пожаловаться #8

PallivalloO in Data Engineers

В сторону impala смотрели ?

16:20пожаловаться #9

У импалы обновлений нету

16:20пожаловаться #10

АК

Грубо говоря, хотелось бы oltp + архив на масштабируемых opensource компонентах )

16:20пожаловаться #11

Alexey Evdokimov in Data Engineers

oltp по чему именно?

16:21пожаловаться #12

Alexey Evdokimov in Data Engineers

вы контент документов планируете как-то процессить или что?

16:21пожаловаться #13

АК

PallivalloO

В сторону impala смотрели ?

У импалы oltp вроде как-то... Когда я это пробовал, у меня получалось много мелких файлов, это таким образом у нее транзакционность реализована?

16:21пожаловаться #14

Andrey Smirnov in Data Engineers

Анатолий Клюса

Нужна хорошая масштабируемость.
Или постгрес/гринплюм?..

почему бы и нет, есть еще Vitess

16:22пожаловаться #15

Ну на ваших объёмах я бы стартанул с обычной реляционки и потом когда данных будет реально много и видел как оно используется, то думал куда дальше, пока пару гб в день это не то из-за чего стоит городить велосипеды

16:22пожаловаться #16

АК

Alexey Evdokimov

oltp по чему именно?

Запись/корректировка документов, пока они не в архиве.

16:23пожаловаться #17

АК