Size: a a a

2019 November 06

OI

Oleg Ilinsky in Data Engineers
Пересоздал табличку в хайве и заработало. Но мне всё-таки интересно, что же такое произошло.
источник

A

Ako in Data Engineers
Ребят, а можете подсказать решение по подсчёту хеша в hadoop? И что почитать по данному вопросу. Спасибо заранее.
источник

AZ

Anton Zadorozhniy in Data Engineers
Ako
Ребят, а можете подсказать решение по подсчёту хеша в hadoop? И что почитать по данному вопросу. Спасибо заранее.
задайте конкретный вопрос
источник
2019 November 07

AZ

Anton Zadorozhniy in Data Engineers
кжтся я знаю где вы работаете 🙂 md5 это нативная функция в spark sql, а также есть в Hive, для Impala мб кто-то лучше подскажет, но в крайнем случае напишите UDF
источник

A

Ako in Data Engineers
Anton Zadorozhniy
кжтся я знаю где вы работаете 🙂 md5 это нативная функция в spark sql, а также есть в Hive, для Impala мб кто-то лучше подскажет, но в крайнем случае напишите UDF
Ой😊
Что значит подсчет?
источник

AZ

Anton Zadorozhniy in Data Engineers
Ako
Ой😊
Что значит подсчет?
wat?
источник

A

Ako in Data Engineers
Да само выражение подсчет хеша в hadoop не понятен до конца. Я так предполагаю, надо расчитать хеш-сумму строки или файла загружаемого в hadoop
источник

ME

Max Efremov in Data Engineers
Или биткоины майнить на кластере...
источник

AZ

Anton Zadorozhniy in Data Engineers
Ako
Да само выражение подсчет хеша в hadoop не понятен до конца. Я так предполагаю, надо расчитать хеш-сумму строки или файла загружаемого в hadoop
хэш используется часто как суррогатный ключ, для задач балансировки и других
источник

A

Ako in Data Engineers
Anton Zadorozhniy
хэш используется часто как суррогатный ключ, для задач балансировки и других
Спасибо за помощь
источник

N

Nika in Data Engineers
Openlap и freeipa реально вместе подружить ?
источник

СХ

Старый Хрыч in Data Engineers
Nika
Openlap и freeipa реально вместе подружить ?
мне кажется это лучше его разрабам задать
источник

СХ

Старый Хрыч in Data Engineers
поддержка ldap далеко не везде есть
источник

СХ

Старый Хрыч in Data Engineers
Nika
Openlap и freeipa реально вместе подружить ?
да и судя по гитхабу ничего с лдап там нет
источник

В

Вадим in Data Engineers
Ребят, есть у кого нибудь опыт миграции bigquery в хадуп?
источник

A

Alex in Data Engineers
все из хадупа в облака, а вы обратно?
источник

В

Вадим in Data Engineers
Alex
все из хадупа в облака, а вы обратно?
ага
источник

В

Вадим in Data Engineers
Alex
все из хадупа в облака, а вы обратно?
над придумать как проще
источник

AZ

Anton Zadorozhniy in Data Engineers
Вадим
над придумать как проще
будет больно и дорого (гугл не хочет чтобы вы съезжали), лучший способ который мне известен - экспорт в авро в GCS и уже забирать оттуда
источник

СХ

Старый Хрыч in Data Engineers
Alex
все из хадупа в облака, а вы обратно?
многие уже обратно едут
источник