В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1992 membersпожаловаться на группу
2020 October 01

N

Nikita Blagodarnyy in Data Engineers
Rodion
Всем ку.
Посоветуйте, какую бы вы выбрали бд для 1тб очень связанных данных (многие ко многим, некоторые таблички сильно иерархичны)
На что смотреть? Как выбирать?
Селф-хостед, без облака, есть небольшой бюджет на покупку платного решения. На место пофиг, прирост данных небольшой, важна скорость запросов (условно куча джоинов)
Оракл бери.
источник
16:30пожаловаться#1

AZ

Anton Zadorozhniy in Data Engineers
Rodion
Всем ку.
Посоветуйте, какую бы вы выбрали бд для 1тб очень связанных данных (многие ко многим, некоторые таблички сильно иерархичны)
На что смотреть? Как выбирать?
Селф-хостед, без облака, есть небольшой бюджет на покупку платного решения. На место пофиг, прирост данных небольшой, важна скорость запросов (условно куча джоинов)
начать с постгри, 1ТБ это немного
источник
16:31пожаловаться#2

N

Nikolay in Data Engineers
Ну я бы тоже постгресс посоветовал. Только скорость джойнов уже будет зависит от вашей схемы , способа партиционирования. Из одного показателя базы -1TB нельзя вывести скорость , если это не одна таблица .
источник
16:35пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
Nikita Blagodarnyy
df = teradandas.read.clickhouse(t) транслируется в select * from t
потом df = df.groupBy(x).select(y) транслируется в select y from (select * from t) group by x
потом filter в select * from (select y from (select * from t) group by x) where ololo=1111
потом приходит экшон и весь стек исполняет в КХ
такое, только для кликхауза?
источник
16:39пожаловаться#4

N

Nikita Blagodarnyy in Data Engineers
Anton Zadorozhniy
такое, только для кликхауза?
ну да. он может и прям это прожевать.
источник
16:46пожаловаться#5

N

Nikita Blagodarnyy in Data Engineers
Nikita Blagodarnyy
ну да. он может и прям это прожевать.
можно попробовать убрать кавычки в начале и конце и затолкать в sqlalchemy-clickhouse
источник
16:52пожаловаться#6

N

Nikita Blagodarnyy in Data Engineers
надо кстати призвать @fediq
источник
16:56пожаловаться#7

N

Nikita Blagodarnyy in Data Engineers
у них же как раз все на пехтоне и КХ, может уже и сваяли чего.
источник
16:56пожаловаться#8

AZ

Anton Zadorozhniy in Data Engineers
они не делятся обычно
источник
16:59пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
Nikita Blagodarnyy
можно попробовать убрать кавычки в начале и конце и затолкать в sqlalchemy-clickhouse
ну там помимо тупой генерации есть валидация по каталогу, всякие describe он генерирует в проприетарном синтаксисе, так что нельзя просто оторвать от терадаты и пересадить на другую базу
источник
17:00пожаловаться#10

GP

Grigory Pomadchin in Data Engineers
‼️Самое важное в Data Engineers Group‼️

🔹 Moscow Spark #10 быть (в онлайне); 10/1/2020 (сегодня); 18:30 МСК; для тех кто не успел записаться на митап ссылка на youtube трансляцию https://www.youtube.com/channel/UCb5cNv__wJLSbbc1k7iXXeQ  а также будет Spatial Chat афтерпати с напитками! Подробности в чате митапа https://t.me/moscowspark и на таймпаде https://moscowspark.timepad.ru/event/1440202/
🔹 DE or DIE #4  https://t.me/hadoopusers/65923
🔹 SmartData 2020 CFP https://smartdataconf.ru/callforpapers/ cc @asm0dey
источник
17:09пожаловаться#11

R

Rodion in Data Engineers
Nikita Blagodarnyy
Оракл бери.
Думали про него, ага.
Пока лежит все в Монге, но не нравится скорость запросов, аналитику сложно делать.
источник
17:51пожаловаться#12

R

Rodion in Data Engineers
Anton Zadorozhniy
начать с постгри, 1ТБ это немного
А что почитать посоветуете по оптимальной раскладке данных в бд?
источник
17:52пожаловаться#13

AZ

Anton Zadorozhniy in Data Engineers
Rodion
А что почитать посоветуете по оптимальной раскладке данных в бд?
Смотря что вы делаете, для витрин обычно денормализация и звезды/снежинки, для деталек датаволт и анкор, что там популярно сейчас..
источник
18:05пожаловаться#14

N

Nikita Blagodarnyy in Data Engineers
Anton Zadorozhniy
Смотря что вы делаете, для витрин обычно денормализация и звезды/снежинки, для деталек датаволт и анкор, что там популярно сейчас..
датамеш популярен
источник
18:05пожаловаться#15

AZ

Anton Zadorozhniy in Data Engineers
Nikita Blagodarnyy
датамеш популярен
Датамеш это мета штука, она разрешает все что было до (только пусть каждый в своём бизнес домене  будет себе хозяином)
источник
18:06пожаловаться#16

AZ

Anton Zadorozhniy in Data Engineers
Rodion
А что почитать посоветуете по оптимальной раскладке данных в бд?
Я бы начал с заливки того как в источнике, а дальше смотрел на задачи, мб вам пары независимых витрин хватит, ну или если много легаси источников надо делать большую интеграцию и историзацию данных (тогда всякие датаволты и анкоры)
источник
18:09пожаловаться#17

K

KrivdaTheTriewe in Data Engineers
https://www.youtube.com/watch?v=hQI-QYJXlVU начинаем трансляцию
YouTube
Moscow Spark #10
источник
18:31пожаловаться#18

K

KrivdaTheTriewe in Data Engineers
‼️Самое важное в Data Engineers Group‼️

🔹 Moscow Spark #10 трансляция началась https://www.youtube.com/watch?v=hQI-QYJXlVU
https://t.me/moscowspark
🔹 DE or DIE #4  https://t.me/hadoopusers/65923
🔹 SmartData 2020 CFP https://smartdataconf.ru/callforpapers/ cc @asm0dey
YouTube
Moscow Spark #10
источник
18:32пожаловаться#19

N

Nikita Blagodarnyy in Data Engineers
KrivdaTheTriewe
https://www.youtube.com/watch?v=hQI-QYJXlVU начинаем трансляцию
YouTube
Moscow Spark #10
ура, а то в соседнем рассказывают как хадуп скачать.
источник
18:33пожаловаться#20