Телеграмм чат группы hadoopusers страница 1820

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу

2019 November 27

VS

Vladimir Sennikov in Data Engineers

Когда вредно хешировать.

Есть важный набор случаев, когда, несмотря на надёжность хеш-функции, восстановление прообраза или даже исходного текста не представляет проблемы. Это случай, когда использовать хеш-функцию бессмысленно: http://amp.gs/sKyA

источник

09:20пожаловаться #1

K

KrivdaTheTriewe in Data Engineers

Nikita Blagodarnyy

Откуда такая уверенность? Какой-то законопроект готовят- разрешить на территории таможенного союза дистрибутивы только содержащие слово «арена» в названии? :)

И общаться на тему больших данных только в @hadoopusers

источник

10:28пожаловаться #2

t

tenKe in Data Engineers

и писать на спарке

источник

10:28пожаловаться #3

K

KrivdaTheTriewe in Data Engineers

и писать на спарке

На перле

источник

10:29пожаловаться #4

t

tenKe in Data Engineers

под винду

источник

10:29пожаловаться #5

t

tenKe in Data Engineers

источник

10:29пожаловаться #6

АЖ

Андрей Жуков in Data Engineers

AnimatedSticker.tgs

источник

10:32пожаловаться #7

A

Alex in Data Engineers

и само удивительно это реализуемо =)

источник

10:41пожаловаться #8

Ik

Ilia ksen in Data Engineers

Привет. df.count() работает очень медленно, с чем может быть связано и чем можно заменить?

источник

11:30пожаловаться #9

Ik

Ilia ksen in Data Engineers

Заранее спасибо)

источник

11:30пожаловаться #10

Ik

Ilia ksen in Data Engineers

Даже если запись в df всего одна

источник

11:30пожаловаться #11

A

Alex in Data Engineers

посмотреть в ui куда уходит, может вагон ошибок сразу падает и лишь после очередного retry возвращает ответ

источник

11:35пожаловаться #12

ME

Max Efremov in Data Engineers

Привет. df.count() работает очень медленно, с чем может быть связано и чем можно заменить?

Попробуй закэшировать

источник

12:21пожаловаться #13

ME

Max Efremov in Data Engineers

Он все трансформации выполняет до

источник

12:21пожаловаться #14

Ik

Ilia ksen in Data Engineers

Спасибо буду пробовать

источник

12:23пожаловаться #15

M

Mikhail in Data Engineers

Всем привет! Есть ли среди нас инженеры, кто использует Spark Streaming на AWS в проде? Что используете для сохранения чекпоинтов?

источник

12:30пожаловаться #16

R

Renarde in Data Engineers

Mikhail

Всем привет! Есть ли среди нас инженеры, кто использует Spark Streaming на AWS в проде? Что используете для сохранения чекпоинтов?

чекпоинты и так сохраняются на S3, как еще вы хотите их сохранять? 🙂

источник

12:35пожаловаться #17

R

Renarde in Data Engineers

ну как то так я имею в виду:

spark.readStream.load(“blah-blah”).foreachBatch(someFunc).option(“checkpointLocation”,”s3a://some-location”).start

источник

12:37пожаловаться #18

M

Mikhail in Data Engineers

При использовании S3 напрямую можно поиметь проблемы с консистентностью, т.к. обжект стор eventually consistent.

источник

12:39пожаловаться #19

R

Renarde in Data Engineers

Mikhail

При использовании S3 напрямую можно поиметь проблемы с консистентностью, т.к. обжект стор eventually consistent.

тут надо учитывать момент что Spark не постоянно сбрасывает checkpointData на диск - он еще его некоторое время держит в памяти

источник

12:41пожаловаться #20