В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2007 membersпожаловаться на группу
2020 October 16

R

Roman in Data Engineers
Andrey Smirnov
в 2020 как раз время думать о каких-то мегабайтах
Бывают кейсы, когда стоит думать. Например фат джар у вас весит 200+ мегабайт(что вообще реально), а вашего кода на сотни килобайт. Вы отлаживаете свой код. Но на кластер у вас супер урезанный канал(vpn, или перекладчик из лан в dmz, или ещё какая - то херня). И вот на доставку этих 200+ мегабайт может уходить десятки минут.
источник
15:19пожаловаться#1

ME

Max Efremov in Data Engineers
Alexey Evdokimov
чо за изврат тягать артефакт в авс извне?
разве сложно CI с артефактницей в ec2 засунуть?
мы качали терраформ снаружи при каждом запуске))) Делали кастомный имадж для кодбилда, так он чот вытягивал тот имадж дольше, чем качал терраформ с внешки...
источник
15:20пожаловаться#2

AE

Alexey Evdokimov in Data Engineers
собрал, выложил в с3 сразу, и юзай себе на здоровье
источник
15:20пожаловаться#3

AE

Alexey Evdokimov in Data Engineers
Max Efremov
мы качали терраформ снаружи при каждом запуске))) Делали кастомный имадж для кодбилда, так он чот вытягивал тот имадж дольше, чем качал терраформ с внешки...
ЗАЧЕМ?!!!111адынадын
источник
15:20пожаловаться#4

AS

Andrey Smirnov in Data Engineers
данные как в авс попадают-то? и теперь сравните эти объемы с жалкими мегабайтами фат
источник
15:20пожаловаться#5

ME

Max Efremov in Data Engineers
Alexey Evdokimov
ЗАЧЕМ?!!!111адынадын
с с3 что-то не подумали попробовать...
источник
15:20пожаловаться#6

ME

Max Efremov in Data Engineers
да, через cli просто выкачать, было бы быстрее
источник
15:21пожаловаться#7

AE

Alexey Evdokimov in Data Engineers
мы себе изначально тимсити запихнули в ес2, чтобы собирать артефакты, выкладывать в с3, и ранать кластеры на емр
источник
15:30пожаловаться#8

AE

Alexey Evdokimov in Data Engineers
у нас от 50 до 200 кластеров в неделю отрабатывает. если бы каждый раз приходилось ждать десятки минут, пока фатжар загрузится...
источник
15:31пожаловаться#9

AE

Alexey Evdokimov in Data Engineers
чисто для иллюстрации:
источник
15:32пожаловаться#10

AE

Alexey Evdokimov in Data Engineers
источник
15:32пожаловаться#11

AE

Alexey Evdokimov in Data Engineers
номер билда
источник
15:32пожаловаться#12

AE

Alexey Evdokimov in Data Engineers
и это только один из кучи процессов, у нас их с десятки сейчас
источник
15:33пожаловаться#13

AE

Alexey Evdokimov in Data Engineers
так что развернуть CI в облаке, если массово запускаешься в облаке — это первое, что надо сделать
источник
15:34пожаловаться#14

А

Алексей in Data Engineers
подскажите, если через spark.jdbc запущена долгая выгрузка в 1 сессию, то где можно посмотреть, сколько уже скачалось? Может в hdfs tmp целевой таблицы где то файл создается?
источник
16:15пожаловаться#15

A

Alex in Data Engineers
привет ! а с dbt кто-то дело имел ? Можете на пальцах рассказать когда его стоит использовать ?
источник
16:21пожаловаться#16

МА

Максим Аникин... in Data Engineers
Когда ETL на sql-скриптах и не юзаешь вертику.
источник
16:25пожаловаться#17

AK

Alex Krash in Data Engineers
Максим Аникин
Когда ETL на sql-скриптах и не юзаешь вертику.
а при чем тут вертика?
источник
16:25пожаловаться#18

МА

Максим Аникин... in Data Engineers
Нативно не умеет в вертику. Вроде...
источник
16:26пожаловаться#19

A

Alex in Data Engineers
они говорят что они только Т из ETL
источник
16:42пожаловаться#20