Телеграмм чат группы hadoopusers страница 1889

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу

2019 December 13

AZ

Anton Zadorozhniy in Data Engineers

Ясно, просто оставлять включенным это надо будет во многих местах и либах код править... Вот и думал как минимизировать и насколько это опасно

а зачем вам вообще он включенный на кластере, если у вас все в паркете и спарк с импалой?

источник

13:08пожаловаться #1

A

Alex in Data Engineers

У нас клоудера старая и хайв 1.1 насколько помню и хадуп 2.6

Сейчас развернули новый кластер на хадупе 3.2 и хайв 3.1, с керберосом и остальным трешем, начинается миграция данных и утилит, потиху решаем вылазящие проблемы и вот стрикт мод одна из них

источник

13:17пожаловаться #2

OI

Oleg Ilinsky in Data Engineers

Так у аас там не дикт а структ

блэ, попробовал конвертнуть в map, data type mismatch: The given values of function map should all be the same type
там отличается тип в некоторых полях

источник

13:17пожаловаться #3

A

Alex in Data Engineers

До этого не было его :) поэтому и не парились, а сейчас появился и думаем насколько безопасно отключать, ведь дефолт поведение у него включено

источник

13:17пожаловаться #4

A

Alex in Data Engineers

Сам хайв малую часть занимает для етл, основное в спакретл, оттуда же и всякие даталинейж евенты шлем

источник

13:19пожаловаться #5

VS

Vadim Shatalov in Data Engineers

Всем привет, сори за возможно холиварный вопрос по Spark - когда и почему стоит использовать RDD взамен всего остального, именно на практике

источник

13:25пожаловаться #6

AZ

Anton Zadorozhniy in Data Engineers

Всем привет, сори за возможно холиварный вопрос по Spark - когда и почему стоит использовать RDD взамен всего остального, именно на практике

когда другие идеи закончились

источник

13:28пожаловаться #7

AZ

Anton Zadorozhniy in Data Engineers

Сам хайв малую часть занимает для етл, основное в спакретл, оттуда же и всякие даталинейж евенты шлем

если не секрет куда шлете? атлас?

источник

13:29пожаловаться #8

A

Alex in Data Engineers

Свое самописное, датамаркет

С показом откуда нужные колонки вылетели и куда потом уходят, местами даже с привязкой к ворклоадам которые это делают (узи джобам)

Сквозное между хадуп, вертикой и мсскл

Местами разрывы есть, но сделано более менее норм

источник

13:35пожаловаться #9

AZ

Anton Zadorozhniy in Data Engineers

Тут кстати с последними обновами AWS (managed Cassandra, EKS Fargate) держать Атлас на Амазоне не будет так больно и дорого

источник

13:35пожаловаться #10

AZ

Anton Zadorozhniy in Data Engineers

Свое самописное, датамаркет

С показом откуда нужные колонки вылетели и куда потом уходят, местами даже с привязкой к ворклоадам которые это делают (узи джобам)

Сквозное между хадуп, вертикой и мсскл

Местами разрывы есть, но сделано более менее норм

👍

источник

13:38пожаловаться #11

N

Nikita Blagodarnyy in Data Engineers

Всем привет, сори за возможно холиварный вопрос по Spark - когда и почему стоит использовать RDD взамен всего остального, именно на практике

Когда нет эффекта/смысла от действий оптимизатора spark-sql.

источник

13:58пожаловаться #12

M

Mi in Data Engineers

Nikita Blagodarnyy

Когда нет эффекта/смысла от действий оптимизатора spark-sql.

так оптимизатор spark-sql (Catalyst) вообще не будет участвовать

источник

14:00пожаловаться #13

VS

Vadim Shatalov in Data Engineers

Nikita Blagodarnyy

Когда нет эффекта/смысла от действий оптимизатора spark-sql.

Какие нибудь примеры в голову приходят?

источник

14:01пожаловаться #14

M

Mi in Data Engineers

но вообще думаю это будет выгоднее при работе с простым маппингом чего-нибудь во что-то, без особых сложностей алгоритма

источник

14:01пожаловаться #15

M

Mi in Data Engineers

базовый лоу-левел уровень

источник

14:01пожаловаться #16

M

Mi in Data Engineers

где от оптимизаций каталиста разницы особой нет

источник

14:02пожаловаться #17

AZ

Anton Zadorozhniy in Data Engineers

наверное где разницы нет имеет смысл оставить каталист, все-таки удобнее сопровождать.. а вот если каталист мешает, или не получается его заставить делать так как хочется - тогда велкам ту лоу-левел

источник

14:12пожаловаться #18

R

Roman in Data Engineers

Anton Zadorozhniy

наверное где разницы нет имеет смысл оставить каталист, все-таки удобнее сопровождать.. а вот если каталист мешает, или не получается его заставить делать так как хочется - тогда велкам ту лоу-левел

Согласен, если выхлоп от самописного и sql(спарк) разницы нет, то лучше самописное не тянуть. Лучше вообще код не писать, по - возможности)

источник

14:26пожаловаться #19

N

Nikita Blagodarnyy in Data Engineers

Какие нибудь примеры в голову приходят?

Свертка простого списка.

источник

15:19пожаловаться #20