В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2151 membersпожаловаться на группу
2020 December 16

MB

Mikhail Butalin in Data Engineers
у мсеня паркет
источник
15:34пожаловаться#1

UD

Uncel Duk in Data Engineers
ну или какой-нибудь кликхаус возьмите
источник
15:34пожаловаться#2

MB

Mikhail Butalin in Data Engineers
вопрос не в том что взять
источник
15:34пожаловаться#3

MB

Mikhail Butalin in Data Engineers
а как эфективнее использовать имеющееся
источник
15:34пожаловаться#4

S

Stanislav in Data Engineers
партиции удачно сделать - все что можно сделать
источник
15:34пожаловаться#5

MB

Mikhail Butalin in Data Engineers
там гора таблиц в паркете
источник
15:35пожаловаться#6

MB

Mikhail Butalin in Data Engineers
партиции - да, есть
источник
15:35пожаловаться#7

S

Stanislav in Data Engineers
ну вот вопрос
источник
15:35пожаловаться#8

MB

Mikhail Butalin in Data Engineers
но когда архив за несколько лет
источник
15:35пожаловаться#9

S

Stanislav in Data Engineers
их может быть слишком много
источник
15:35пожаловаться#10

S

Stanislav in Data Engineers
что породит слишком много файлов
источник
15:35пожаловаться#11

MB

Mikhail Butalin in Data Engineers
я почему и подумал что даже если партиции грамотные, но большие, то всёравно фулскан по партиции
источник
15:36пожаловаться#12

MB

Mikhail Butalin in Data Engineers
так?
источник
15:36пожаловаться#13

S

Stanislav in Data Engineers
тут вопрос - что такое большие )
какого размера паркеты внизу?
какого размера партиции?
ими вообще аналитики пользуются?
источник
15:38пожаловаться#14

S

Stanislav in Data Engineers
а то бывает
источник
15:38пожаловаться#15

MB

Mikhail Butalin in Data Engineers
большие - это 1 блок и более
источник
15:38пожаловаться#16

MB

Mikhail Butalin in Data Engineers
ну, т.е. партиций менее 256мб нет
источник
15:38пожаловаться#17

S

Stanislav in Data Engineers
похоже их слишком много
а файлы там какие?
что такое партиция то? стандартный 1 день?
источник
15:40пожаловаться#18

AZ

Anton Zadorozhniy in Data Engineers
Mikhail Butalin
я почему и подумал что даже если партиции грамотные, но большие, то всёравно фулскан по партиции
А какие запросы? Агрегаты какие-то или просто строчки по сильно селективному ключу?
источник
15:53пожаловаться#19

N

Nikita Blagodarnyy in Data Engineers
Stanislav
тогда по идее наложить маску на путь до модуля
не работал с таким мавеном, а вот в сбт с модулями вроде все так
вытащить путь до модуля, где произошли изменения и запустить там сбт тесты
непонятно, стоит ли прогонять такие штуки на обычные коммиты - жалко ресурсов
вот делать это на пул/мердж реквесты - да, а там как раз  появляются новые циферки в версиях
Все проще, Антон прав.

backend_build:
 stage: build
 only:
   changes:
     - "backend/**/*"

Вот тут подробно.
https://medium.com/swlh/on-monorepos-and-the-deployment-with-gitlab-ci-cd-bc080cfc6dce
Medium
On Monorepos and the Deployment With GitLab CI/CD
Advantages of monorepos for the development of the multi-service applications and their deployment with GitLab CI/CD and Docker
источник
15:54пожаловаться#20