AZ
или как вариант - кажому юзеру кластер и бюджет, если вылез - плати из кармана, тогда быстро все образуются
Size: a a a
2020 September 10
AZ
я второй вариант (в каком-то виде) все чаще встречаю
ME
или как вариант - кажому юзеру кластер и бюджет, если вылез - плати из кармана, тогда быстро все образуются
там не только бюджет, сколько именно секьюрити составляющая
AE
ну ежели при убийстве цеплин хотел что-то куда-то записать в фс, то без дескрипторов он не смог. и развалился.
AE
что логично
AZ
там не только бюджет, сколько именно секьюрити составляющая
если все на терраформе то секьюрити уже в infra as code, просто катить его не для группы, а для каждого пользователя
ME
ну ежели при убийстве цеплин хотел что-то куда-то записать в фс, то без дескрипторов он не смог. и развалился.
ну кстати новая сессия у него нормально работает, спарк интерпретатор запускается
AZ
персистентные многопользовательские EMR это антипаттерн, спросите любого
ME
а у ливи:
"io.netty.channel.ChannelException: Unable to create Channel from class class io.netty.channel.socket.nio.NioServerSocketChannel"
"java.lang.NullPointerException"
"java.lang.IllegalStateException: failed to create a child event loop"
AE
а, ну сокеты это такой же ресурс
AE
их то енадо освобождаить
2020 September 11
ПБ
Добрый день, коллеги! Такая фактура
есть сторонний сервис который пишет со скоростью 15 000 json в секунду
структура json город, его признаки, значение признака
летят туча дублей которые хочется фильтровать
выбираю между hbase или касандрой, но может я перезакладываюсь и можно попроще?
спасибо
есть сторонний сервис который пишет со скоростью 15 000 json в секунду
структура json город, его признаки, значение признака
летят туча дублей которые хочется фильтровать
выбираю между hbase или касандрой, но может я перезакладываюсь и можно попроще?
спасибо
A
json это обычно документы, а вы выбираете из column oriented db. Почему?
S
любой промежуточный дедупликатор может выдать дубль
ну и да, почему не редис?
ну и да, почему не редис?
ПБ
json это обычно документы, а вы выбираете из column oriented db. Почему?
по факту это таблица: уникальный ключ это город+атрибут, timestamp, значение.
Данные потому будут использоваться для аналитики
Данные потому будут использоваться для аналитики
A
тогда просто формируйте из этих атрибутов ключ и по нему каждый раз помещайте данные по мере их поступления в базу. Таким образом у вас всегда будут последние актуальные данные по этому ключу и фактически эмуляция дедубликации(при необходимости с версионностью). А саму базу уже подбирайте исходя из будущего удобства для аналитики
AZ
Добрый день, коллеги! Такая фактура
есть сторонний сервис который пишет со скоростью 15 000 json в секунду
структура json город, его признаки, значение признака
летят туча дублей которые хочется фильтровать
выбираю между hbase или касандрой, но может я перезакладываюсь и можно попроще?
спасибо
есть сторонний сервис который пишет со скоростью 15 000 json в секунду
структура json город, его признаки, значение признака
летят туча дублей которые хочется фильтровать
выбираю между hbase или касандрой, но может я перезакладываюсь и можно попроще?
спасибо
А на чем у вас, клауд какой или своё железо?
ПБ
А на чем у вас, клауд какой или своё железо?
свои виртуалки
AZ
свои виртуалки
А какие-то из этих баз умеете держать в продакшене?
ПБ
А какие-то из этих баз умеете держать в продакшене?
mssql JSON_VALUE не успевает прожевать и распарсить поток 15 000 json в секунду