Телеграмм чат группы hadoopusers страница 1891

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу

2019 December 13

A

Alex in Data Engineers

пиг тоже ведь в тот же map-reduce превращается
у него проще когда оперируешь потоками данных, но те же джойны иногда проще в hive sql делать было

по мне pig vs hive не имеет смысла, на некоторых задачах он реально рулил, простой скрипт вместо простынки sql

источник

16:14пожаловаться #1

AZ

Anton Zadorozhniy in Data Engineers

Нет у нас пига :(

это джарник, ему особенно ничего не нужно

источник

16:14пожаловаться #2

A

Alexander in Data Engineers

Anton Zadorozhniy

это джарник, ему особенно ничего не нужно

Там всё джарники :) кто мне даст их кинуть на прод кластер

источник

16:15пожаловаться #3

K

KrivdaTheTriewe in Data Engineers

Anton Zadorozhniy

я такие штуки больше всего люблю на пиге писать

Воувоу

источник

16:16пожаловаться #4

AZ

Anton Zadorozhniy in Data Engineers

Там всё джарники :) кто мне даст их кинуть на прод кластер

там не надо ничего на кластер)) ну ладно, я вас не убеждаю

источник

16:16пожаловаться #5

AZ

Anton Zadorozhniy in Data Engineers

пиг тоже ведь в тот же map-reduce превращается
у него проще когда оперируешь потоками данных, но те же джойны иногда проще в hive sql делать было

по мне pig vs hive не имеет смысла, на некоторых задачах он реально рулил, простой скрипт вместо простынки sql

я именно про укрупняторы / дедубликаторы, там джоинить не надо

источник

16:17пожаловаться #6

K

KrivdaTheTriewe in Data Engineers

А мне порадовал insert from select хайвоваскиц из партиции в партицию , очень резво работает на орке

источник

16:18пожаловаться #7

A

Alex in Data Engineers

кстати спарководы, как вы относитесь к инициативе ?
https://issues.apache.org/jira/browse/SPARK-25299

источник

16:19пожаловаться #8

GP

Grigory Pomadchin in Data Engineers

кстати спарководы, как вы относитесь к инициативе ?
https://issues.apache.org/jira/browse/SPARK-25299

Экстернал шафл сервисы разве не это же?

источник

16:19пожаловаться #9

A

Alexander in Data Engineers

KrivdaTheTriewe

А мне порадовал insert from select хайвоваскиц из партиции в партицию , очень резво работает на орке

Ну мне и надо это сделать по большому счёту. Только с авро. Можете поподробнее?

источник

16:19пожаловаться #10

K

KrivdaTheTriewe in Data Engineers

http://apache-spark-developers-list.1001551.n3.nabble.com/Enabling-fully-disaggregated-shuffle-on-Spark-td28329.html

Apache Spark Developers List - Enabling fully disaggregated shuffle on Spark

Enabling fully disaggregated shuffle on Spark. I would like to start a conversation about extending the Spark shuffle manager surface to support fully disaggregated shuffle implementations. This is...

источник

16:20пожаловаться #11

K

KrivdaTheTriewe in Data Engineers

Ну мне и надо это сделать по большому счёту. Только с авро. Можете поподробнее?

А почему вы в авро храните ?

источник

16:20пожаловаться #12

A

Alex in Data Engineers

Grigory Pomadchin

Экстернал шафл сервисы разве не это же?

ну почти, но не они
экстернал обычно на той же ноде и хранят на том же локал диске

а тут обсуждение чтобы шафл вывод в хдфс/с3 запихивать

источник

16:21пожаловаться #13

A

Alexander in Data Engineers

KrivdaTheTriewe

А почему вы в авро храните ?

Бизнес требования.

источник

16:21пожаловаться #14

UD

Uncel Duk in Data Engineers

кстати спарководы, как вы относитесь к инициативе ?
https://issues.apache.org/jira/browse/SPARK-25299

надеюсь смогут в многоуровневый шафл

источник

16:21пожаловаться #15

UD

Uncel Duk in Data Engineers

типа оперативка->nvdimm->nvme->hdd

источник

16:21пожаловаться #16

GP

Grigory Pomadchin in Data Engineers

ну почти, но не они
экстернал обычно на той же ноде и хранят на том же локал диске

а тут обсуждение чтобы шафл вывод в хдфс/с3 запихивать

Сдаётся мне пошло это обсуждения после спарка на к8с

источник

16:21пожаловаться #17

GP

Grigory Pomadchin in Data Engineers

Там жкстернал сервисы могли быть где угодно

источник

16:21пожаловаться #18

A

Alex in Data Engineers

KrivdaTheTriewe

http://apache-spark-developers-list.1001551.n3.nabble.com/Enabling-fully-disaggregated-shuffle-on-Spark-td28329.html

Apache Spark Developers List - Enabling fully disaggregated shuffle on Spark

Enabling fully disaggregated shuffle on Spark. I would like to start a conversation about extending the Spark shuffle manager surface to support fully disaggregated shuffle implementations. This is...

коско и тд имеют свои ограничения на размер ключей блоков и тд, причем насколько понял неплохо так патчат под это сам спарк

источник

16:22пожаловаться #19

GP

Grigory Pomadchin in Data Engineers

типа оперативка->nvdimm->nvme->hdd

+

источник

16:22пожаловаться #20