В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1925 membersпожаловаться на группу
2020 August 31

K

KrivdaTheTriewe in Data Engineers
а дальше уже на хдфс обработать паркет
источник
16:52пожаловаться#1

K

KrivdaTheTriewe in Data Engineers
Alex
где-то я слышал сказку про

> При этом можно было решить задачу в 50-100 строчек на питоне + bash / java / scala и радоваться жизни не имея проседания.

особенно про питон + баш
после этого проще выкинуть чем разбираться что там написано
мне не нравится ни питон, ни баш, но  если это вантайпер - то да , можно на нем
источник
16:52пожаловаться#2

AE

Alexey Evdokimov in Data Engineers
дистцп — тормознутое говно, написанное кем-то не сильно трезвым в тёмную октябрьскую ночь
источник
16:53пожаловаться#3

A

Alex in Data Engineers
плюсую =)
источник
16:53пожаловаться#4

AE

Alexey Evdokimov in Data Engineers
очень хреново написанное причём
источник
16:53пожаловаться#5

AE

Alexey Evdokimov in Data Engineers
если можно сделать лучше, зачем юзать эту гадость?
источник
16:53пожаловаться#6

K

KrivdaTheTriewe in Data Engineers
Alexey Evdokimov
если можно сделать лучше, зачем юзать эту гадость?
потому что код нужно поддерживать как то еще
источник
16:53пожаловаться#7

GP

Grigory Pomadchin in Data Engineers
KrivdaTheTriewe
мне не нравится ни питон, ни баш, но  если это вантайпер - то да , можно на нем
ну я тебе уже сказал
у вас бизнес цели разные
источник
16:54пожаловаться#8

GP

Grigory Pomadchin in Data Engineers
у тебя унификация
источник
16:54пожаловаться#9

K

KrivdaTheTriewe in Data Engineers
и не всегда можно оценить , насколько лучше сделал
источник
16:54пожаловаться#10

GP

Grigory Pomadchin in Data Engineers
тут вот видишь пеформанс
источник
16:54пожаловаться#11

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
тут вот видишь пеформанс
spark.read
источник
16:54пожаловаться#12

GP

Grigory Pomadchin in Data Engineers
прикинь бывают ситуации када рантайм джоба дороже чем поддержка
источник
16:54пожаловаться#13

AS

Andrey Smirnov in Data Engineers
Иван Калининский
-- conf spark.driver.maxResultSize=0, и на драйвере должно быть достаточно памяти
а зачем так много памяти, если все должно уйти на экзекуютеры
источник
16:54пожаловаться#14

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
прикинь бывают ситуации када рантайм джоба дороже чем поддержка
бывают
источник
16:54пожаловаться#15

GP

Grigory Pomadchin in Data Engineers
KrivdaTheTriewe
бывают
ну вот у Алексея похоже такое
источник
16:54пожаловаться#16

GP

Grigory Pomadchin in Data Engineers
и тип такого на самом деле очень много (у меня например)
источник
16:55пожаловаться#17

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
ну вот у Алексея похоже такое
ну можно обертку которая встраивается в существующие компоненты сделать
источник
16:55пожаловаться#18

K

KrivdaTheTriewe in Data Engineers
например, кастомный сорс
источник
16:55пожаловаться#19

GP

Grigory Pomadchin in Data Engineers
ну кастомный сорс аргумент да
источник
16:55пожаловаться#20