Телеграмм чат группы hadoopusers страница 2929

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2053 membersпожаловаться на группу

2020 November 05

R

Renarde in Data Engineers

честно сказать понятнее не стало от 2 ссылки. Понял, что zorder позволяет делать фильтрацию по нескольким колонкам, но тоже самое могут и блум фильтры. Делается ли repartition и сортировка при вызове zorder?

про наличие repartition сказать не могу - оригинальный код не видел, но если хочется совсем деталей имплементации - вот Delta VLDB Paper, Z-Ordering в параграфе 4.4 описан по действиям.

https://databricks.com/wp-content/uploads/2020/08/p975-armbrust.pdf

источник

20:52пожаловаться #1

AS

Andrey Smirnov in Data Engineers

про наличие repartition сказать не могу - оригинальный код не видел, но если хочется совсем деталей имплементации - вот Delta VLDB Paper, Z-Ordering в параграфе 4.4 описан по действиям.

https://databricks.com/wp-content/uploads/2020/08/p975-armbrust.pdf

интересно, то что касается z-ordering ссылается на статью 1966 года!
G. M. Morton. A computer oriented geodetic data base; and anew technique in file sequencing. IBM Technical Report,1966.

источник

20:58пожаловаться #2

R

Renarde in Data Engineers

интересно, то что касается z-ordering ссылается на статью 1966 года!
G. M. Morton. A computer oriented geodetic data base; and anew technique in file sequencing. IBM Technical Report,1966.

ничто не ново под луной 🤷

источник

20:59пожаловаться #3

R

Renarde in Data Engineers

а нейросети придумали Пирс и Маккалок в 1943 - тоже инновация!

источник

20:59пожаловаться #4

AS

Andrey Smirnov in Data Engineers

а нейросети придумали Пирс и Маккалок в 1943 - тоже инновация!

да, только как разрешить проблему xor придумали сильно позже

источник

21:00пожаловаться #5

AS

Andrey Smirnov in Data Engineers

ничто не ново под луной 🤷

нашел скан этой переплетенной работы, прямо интересно стало

источник

21:01пожаловаться #6

AT

Al T in Data Engineers

а alluxio для presto кто-нить пробовал под EMR запустить?

источник

21:01пожаловаться #7

AS

Andrey Smirnov in Data Engineers

про наличие repartition сказать не могу - оригинальный код не видел, но если хочется совсем деталей имплементации - вот Delta VLDB Paper, Z-Ordering в параграфе 4.4 описан по действиям.

https://databricks.com/wp-content/uploads/2020/08/p975-armbrust.pdf

спасибо за статью, теперь понятно почему называется Z-ordering, формулы вписанные руками в документ это так лампово :)

источник

21:05пожаловаться #8

R

Royko Andriy in Data Engineers

Добрый день, прошу прощения, что врываюсь в ваш чат сразу с нетехническим вопросом, если это сильно противоречит правилам сообщества удалите сообщение 😅
Хотел спросить кто проходил курсы от EPAM - Data Quality Engineering?
Хотел бы в лс поставить некоторые вопросы, всем спасибо, всем хорошего дня😉

источник

22:38пожаловаться #9

C

Combot in Data Engineers

Melania Torina has been banned! Reason: CAS ban.

источник

22:48пожаловаться #10

nn

nasdaq nice in Data Engineers

в pyspark (3.0.0) вообще возможно зарегать джавовый udaf?

источник

22:53пожаловаться #11

2020 November 06

SS

Sergey Sheremeta in Data Engineers

дяденьки, посоветуйте какую-нибудь библиотеку на Scala для Http-запросов с пуллингом соединений

источник

01:20пожаловаться #12

GP

Grigory Pomadchin in Data Engineers

Sergey Sheremeta

дяденьки, посоветуйте какую-нибудь библиотеку на Scala для Http-запросов с пуллингом соединений

sttp

источник

01:21пожаловаться #13

SS

Sergey Sheremeta in Data Engineers

спасибо!

источник

01:25пожаловаться #14

AS

Andrey Smirnov in Data Engineers

Grigory Pomadchin

sttp

а какой backend к ней посоветуете?

источник

10:39пожаловаться #15

GP

Grigory Pomadchin in Data Engineers

а какой backend к ней посоветуете?

ну это уже от стека который используется зависит https://github.com/softwaremill/sttp/blob/master/docs/backends/summary.md я бы хттп4с использовал - стриминг норм поддерживает и тп

softwaremill/sttp

The Scala HTTP client you always wanted! Contribute to softwaremill/sttp development by creating an account on GitHub.

источник

15:21пожаловаться #16

GP

Grigory Pomadchin in Data Engineers

ну или начал с него а потом понял почему он не нужен к примеру

источник

15:21пожаловаться #17

GP

Grigory Pomadchin in Data Engineers

если акка везде - то почему бы акковый не взять

источник

15:21пожаловаться #18

GP

Grigory Pomadchin in Data Engineers

и тп

источник

15:21пожаловаться #19

АА

Алексей Артамонов... in Data Engineers

всем привет! А кто подскажет в jupyterhub авторизуюсь через PAM получаю ошибку PAM Authentication failed
пользователь добавлен в группу jupyterhub

источник

15:22пожаловаться #20