Телеграмм чат группы hadoopusers страница 3054

Size: a a a

Data Engineers

2020 December 16

Все проще, Антон прав.

backend_build:
  stage: build
  only:
    changes:
      - "backend/**/*"

Вот тут подробно.
https://medium.com/swlh/on-monorepos-and-the-deployment-with-gitlab-ci-cd-bc080cfc6dce

Medium

On Monorepos and the Deployment With GitLab CI/CD

Advantages of monorepos for the development of the multi-service applications and their deployment with GitLab CI/CD and Docker

здорово
смогли наложить маску
осталось остальное :)

источник

15:58пожаловаться #1

Anton Zadorozhniy in Data Engineers

Stanislav

здорово
смогли наложить маску
осталось остальное :)

для не очень больших монореп вполне рабочий вариант, а дальше да, всякие базели с друзьями могут работать лучше (правда сам базель это то еще испытание)

источник

16:05пожаловаться #2

Mikhail Butalin in Data Engineers

Anton Zadorozhniy

А какие запросы? Агрегаты какие-то или просто строчки по сильно селективному ключу?

ага

источник

16:05пожаловаться #3

Anton Zadorozhniy in Data Engineers

Mikhail Butalin

ага

так какие? :)

источник

16:05пожаловаться #4

Mikhail Butalin in Data Engineers

все вперемешку

источник

16:05пожаловаться #5

Mikhail Butalin in Data Engineers

система архивная

источник

16:05пожаловаться #6

Mikhail Butalin in Data Engineers

старые проводки, операции с группировками джоинами итп

источник

16:06пожаловаться #7

Mikhail Butalin in Data Engineers

так что там все типы запросов есть

источник

16:06пожаловаться #8

Anton Zadorozhniy in Data Engineers

ну тогда это скорее аналитическая система, чем простой архив

источник

16:06пожаловаться #9

Mikhail Butalin in Data Engineers

в том и проблема.

источник

16:06пожаловаться #10

Anton Zadorozhniy in Data Engineers

импала или престо потенциально могут дать больше производительности, но в части оверхеда на запуск запросов, само чтение с дисков быстрее (или умнее) не станет

источник

16:07пожаловаться #11

Mikhail Butalin in Data Engineers

ее нельзя назвать однотипной. там пользователи долбят на всё подряд. От запроса с результатом на 2-3 строки по клиенту до оборотов за месяц/год итп

источник

16:07пожаловаться #12

Mikhail Butalin in Data Engineers

для RDBMS это не проблема. А вот то что это положили в хайв - IMHO проблема

источник

16:08пожаловаться #13

Anton Zadorozhniy in Data Engineers

(если вы на своем железе, он-прем) хадуп то что нужно, СУБД либо специализированная (а-ля кликхаус, со своими ограничениями по инструментам и языку), либо какие-то проприетарные опции вроде вертики, на петабайты может стоить дорого

источник

16:10пожаловаться #14

Anton Zadorozhniy in Data Engineers

Mikhail Butalin

для RDBMS это не проблема. А вот то что это положили в хайв - IMHO проблема

а в чем проблема конкретно, время отклика на конкретный запрос, или concurrency?

источник

16:11пожаловаться #15

Anton Zadorozhniy in Data Engineers

а, да, терадата еще отличная опция, она умеет и агрегаты, и индексный доступ, и колоночное хранение, и самый что ни на есть ANSI SQL)

источник

16:12пожаловаться #16

Anton Zadorozhniy in Data Engineers

(иногда забываю где работаю))

источник

16:13пожаловаться #17

Mikhail Butalin in Data Engineers

Anton Zadorozhniy

а в чем проблема конкретно, время отклика на конкретный запрос, или concurrency?

в моей картине мира реализация архивной БД, взятой из RDBMS и перенесенной на HIVE - так себе решение.

У нас уже жалуются пользователи на то что медленно выполняются запросы. Абыстрее то и не будет.

источник

16:14пожаловаться #18

Mikhail Butalin in Data Engineers

А задача ставится так что максимальное время выполнения запроса должно быть менее 1сек.

источник

16:15пожаловаться #19

Mikhail Butalin in Data Engineers

Ну бред же.

источник

16:15пожаловаться #20