В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2053 membersпожаловаться на группу
2020 November 08

ME

Max Efremov in Data Engineers
Gev
Да пускать пользователя к большим данным - это бяда. По хорошему пользователь должен работать в других изолированных системах с меньшим объёмом и большей доступностью а данные должны приходить в бигдата уже готовыми.
Мы импортируем данные в mysql для веб приложения, агрегируя где много. И юзеры уже свои отчёты на этом строят
источник
18:52пожаловаться#1

Д

Дмитрий in Data Engineers
Gev
Вот кстати еще вопрос. А кто как хранит и менеджит метаданные? Apache atlas, cloudera navigator?
Atlas пробуем
источник
18:59пожаловаться#2

G

Gev in Data Engineers
Дмитрий
Atlas пробуем
Ну и как? Или ещё нет пока ваечатлений?
источник
19:00пожаловаться#3

АА

Алексей Артамонов... in Data Engineers
Алексей Артамонов
У меня просто фейл. И пользователя я добавил в группу jupyterhub, а сам юпитерхаб запускаю от него же
PAM Authentication failed (asatest@::ffff:192.168.1.28): [PAM Error 7] Authentication failure

и все и не коннектится
источник
19:03пожаловаться#4

АЖ

Андрей Жуков... in Data Engineers
Gev
Ну и как? Или ещё нет пока ваечатлений?
если ВСЁ в хадупе, то можно пользоваться

иначе боль и напильник
источник
19:08пожаловаться#5

G

Gev in Data Engineers
Андрей Жуков
если ВСЁ в хадупе, то можно пользоваться

иначе боль и напильник
Postgresql?
источник
19:09пожаловаться#6

АЖ

Андрей Жуков... in Data Engineers
Gev
Postgresql?
он не в хадупе :)
источник
19:09пожаловаться#7

G

Gev in Data Engineers
Ясно
источник
19:10пожаловаться#8

АЖ

Андрей Жуков... in Data Engineers
тут все как в том анекдоте про блох
источник
19:10пожаловаться#9

Д

Дмитрий in Data Engineers
Если натягивать на какие то свои подделки/свои инструменты/legacy то долго и больно.
Если использовать его в новом проекте с hdp 3+ или cdp то взлетит чуть ли не из коробки.
впечатления - удобный и простой инструмент для метаданных в экоситеме Hadoop. Для другого я бы не использовал.
источник
19:10пожаловаться#10

АЖ

Андрей Жуков... in Data Engineers
если бы у рыбы была шерсть (если бы вы скупом все сливали из постгресов в хадуп)
источник
19:10пожаловаться#11

А

Алексей in Data Engineers
заливать через временный слой staging как раз лучший вариант, можно дополнительно делать постобработку типа сбора статистики, включения/отключения индексов
источник
19:11пожаловаться#12

АЖ

Андрей Жуков... in Data Engineers
Алексей
заливать через временный слой staging как раз лучший вариант, можно дополнительно делать постобработку типа сбора статистики, включения/отключения индексов
Надеюсь,  это не про метаданные
источник
19:12пожаловаться#13

G

Gev in Data Engineers
Алексей
заливать через временный слой staging как раз лучший вариант, можно дополнительно делать постобработку типа сбора статистики, включения/отключения индексов
Убедили :)
источник
19:12пожаловаться#14

АЖ

Андрей Жуков... in Data Engineers
sticker.webp
(57.48 Кб)
источник
19:12пожаловаться#15

G

Gev in Data Engineers
Андрей Жуков
Надеюсь,  это не про метаданные
Не. Это про то, как общаться с простгрей
источник
19:13пожаловаться#16

G

Gev in Data Engineers
Блин. Как бы все метаданные от всего поместить в одно место. И так чтобы аналитики могли смотреть крутить их и сразу брать актуальную версию в схему налету
источник
19:14пожаловаться#17

АЖ

Андрей Жуков... in Data Engineers
Ну уже чего-чего,  а решений по метаданным навалом даже в опенсорсе
источник
19:17пожаловаться#18

АЖ

Андрей Жуков... in Data Engineers
Они,  конечно,  так себе,  но хотя бы на попробовать можно брать
источник
19:17пожаловаться#19

AZ

Anton Zadorozhniy in Data Engineers
Gev
Блин. Как бы все метаданные от всего поместить в одно место. И так чтобы аналитики могли смотреть крутить их и сразу брать актуальную версию в схему налету
INSERT/UPDATE в эту единую базу? Не очень понятно в чем ваш вопрос
источник
20:02пожаловаться#20