В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 November 12

E

Egor in Data Engineers
Есть кластер HDP-3.1, при работе с Livy через Zeppelin недоступен zeppelinContext, с ним все динамические формы ввода и выводы данных. Есть ли способы организовать формы ввода данных и импорты библиотек per-note (без ливи делалось через
%dep
z.load(“/…jar”)
) ?

Есть открытый тикет 2017 года https://issues.apache.org/jira/browse/ZEPPELIN-2307
источник
14:18пожаловаться#1

AM

Andrey Morozovsky in Data Engineers
Системный вызов. Зашивается дейттайм + sequenceId + nodeId (MAC). Иначе ось не может гарантировать уникальность
источник
14:26пожаловаться#2

AM

Andrey Morozovsky in Data Engineers
Она же не знает, генерил ли кто-нибудь уже uuid когда то раньше, в заданную дату
источник
14:27пожаловаться#3

AM

Andrey Morozovsky in Data Engineers
А так, считается, что время только вперёд идёт, так что все ок
источник
14:27пожаловаться#4

AM

Andrey Morozovsky in Data Engineers
Но если системные часы назад подвинуть руками, можно коллизий наполучать
источник
14:27пожаловаться#5

Y

Yevhen in Data Engineers
У вас не было serialize ексепшинов если вы запихали в traitы операции над rdd ?
источник
16:46пожаловаться#6

M

Mi in Data Engineers
Yevhen
У вас не было serialize ексепшинов если вы запихали в traitы операции над rdd ?
А инстансы у вас serializable?
источник
16:47пожаловаться#7

Y

Yevhen in Data Engineers
нет в кейс класы не добавлял Serializable
источник
16:48пожаловаться#8

Y

Yevhen in Data Engineers
нет проблема не в етом если операции производяться не в мейн класе над rdd, кидает Serialize exception, даже если оборачивать в условный Function1 и колать с мейн класа
источник
16:55пожаловаться#9

M

Mi in Data Engineers
Ну так RDD распределяются по кластеру, с помощью сериализации и десереализации происходит трансфер данных между нодами
источник
16:56пожаловаться#10

GP

Grigory Pomadchin in Data Engineers
Mi
Ну так RDD распределяются по кластеру, с помощью сериализации и десереализации происходит трансфер данных между нодами
кейс классы уже сериалайзбл, не в этом проблема; но вот трейты должны быть явно помечены сериалазаблами, если апкастится все до них
источник
16:57пожаловаться#11

GP

Grigory Pomadchin in Data Engineers
ну или другую сериализацию использовать
источник
16:57пожаловаться#12

M

Mi in Data Engineers
Ну или так, со скалой я пока на "вы"
источник
16:57пожаловаться#13
2019 November 13

PK

Pavel Klemenkov in Data Engineers
Всем привет! Отличные новости! Уже буквально через неделю Moscow Spark #9. Налетай https://moscowspark.timepad.ru/event/1117131/
источник
11:02пожаловаться#14

DM

Daniel Matveev in Data Engineers
добавил в пин
источник
11:43пожаловаться#15

P

Pavel in Data Engineers
разрабы, привет.
у кого был или есть опыт эксплуатации кафки, хдфс и прочего говна под кубом?
источник
11:47пожаловаться#16

AZ

Anton Zadorozhniy in Data Engineers
> разрабы ... эксплуатации
источник
11:47пожаловаться#17

P

Pavel in Data Engineers
Anton Zadorozhniy
> разрабы ... эксплуатации
я думаю, все поняли. не стоит этих инсинуаций)
источник
11:48пожаловаться#18

S

Stanislav in Data Engineers
жаркий конец ноября
и это еще на сдачу проектов отлично ложится 😂
источник
11:50пожаловаться#19

P

Pavel in Data Engineers
Stanislav
жаркий конец ноября
и это еще на сдачу проектов отлично ложится 😂
попахивает студентотой))
источник
11:50пожаловаться#20