В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 December 13

K

KrivdaTheTriewe in Data Engineers
Alexander
Бизнес требования.
Жалко, ну делаете инсерт оверрайт в партицию из самой себя  хайвом , и указываете что мерджить если файлы меньше такого то размера , в зависимости от движка разные опции, хайв видит что маленький файл и запускает дор редьючеры , которые мерджат их
источник
16:22пожаловаться#1

A

Alex in Data Engineers
Grigory Pomadchin
Сдаётся мне пошло это обсуждения после спарка на к8с
да, именно после него, так как в случае ярна и месоса всё просто
источник
16:22пожаловаться#2

K

KrivdaTheTriewe in Data Engineers
Но я рекомендую хранить в одноосном формате
источник
16:22пожаловаться#3

GP

Grigory Pomadchin in Data Engineers
Alex
да, именно после него, так как в случае ярна и месоса всё просто
но вот помню что в спарке 2.2фк8с мне прям понравилась идея шафл сервисов
источник
16:23пожаловаться#4

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
но вот помню что в спарке 2.2фк8с мне прям понравилась идея шафл сервисов
Можно сча сделать стартап прям
источник
16:23пожаловаться#5

K

KrivdaTheTriewe in Data Engineers
За деньги шафл сервис спарка продавать в облаке
источник
16:23пожаловаться#6

K

KrivdaTheTriewe in Data Engineers
sticker.webp
(24.4 Кб)
источник
16:23пожаловаться#7

A

Alex in Data Engineers
“2.2фк8с” это что?
источник
16:23пожаловаться#8

K

KrivdaTheTriewe in Data Engineers
Alex
“2.2фк8с” это что?
Форк спарка
источник
16:24пожаловаться#9

GP

Grigory Pomadchin in Data Engineers
Alex
“2.2фк8с” это что?
Spark 2.2-k8s
источник
16:24пожаловаться#10

GP

Grigory Pomadchin in Data Engineers
да когда он был форком
источник
16:24пожаловаться#11

A

Alex in Data Engineers
а, понял, до того как смержили в основной
источник
16:24пожаловаться#12

UD

Uncel Duk in Data Engineers
KrivdaTheTriewe
За деньги шафл сервис спарка продавать в облаке
weka.io же
источник
16:25пожаловаться#13

UD

Uncel Duk in Data Engineers
sticker.webp
(7.7 Кб)
источник
16:25пожаловаться#14

GP

Grigory Pomadchin in Data Engineers
Uncel Duk
weka.io же
@krivdathetriewe плакали наши денюжки
источник
16:26пожаловаться#15

AZ

Anton Zadorozhniy in Data Engineers
Alex
кстати спарководы, как вы относитесь к инициативе ?
https://issues.apache.org/jira/browse/SPARK-25299
это нужно кое-кому чтобы делать серверлесс спарк, то есть по сути аналог гугловых датафлоу шаффл / стриминг энджин
источник
16:26пожаловаться#16

K

KrivdaTheTriewe in Data Engineers
Grigory Pomadchin
@krivdathetriewe плакали наши денюжки
Давай другое
источник
16:28пожаловаться#17

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
это нужно кое-кому чтобы делать серверлесс спарк, то есть по сути аналог гугловых датафлоу шаффл / стриминг энджин
Кому?
источник
16:29пожаловаться#18

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
Кому?
ну кто делает серверлесс сервисы?
источник
16:30пожаловаться#19

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
это нужно кое-кому чтобы делать серверлесс спарк, то есть по сути аналог гугловых датафлоу шаффл / стриминг энджин
@pomadchin вот можно сделать
источник
16:30пожаловаться#20