В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2156 membersпожаловаться на группу
2020 December 16

AZ

Anton Zadorozhniy in Data Engineers
Mikhail Butalin
в моей картине мира реализация архивной БД, взятой из RDBMS и перенесенной на HIVE - так себе решение.

У нас уже жалуются пользователи на то что медленно выполняются запросы. Абыстрее то и не будет.
если у вас не Hive LLAP (а видимо нет), то у хайва довольно большой оверхед на запуск запроса, в виде запуска YARN приложения
источник
16:15пожаловаться#1

MB

Mikhail Butalin in Data Engineers
ога
источник
16:15пожаловаться#2

MB

Mikhail Butalin in Data Engineers
там вообще всё весело.
источник
16:16пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
менее 1 сек на большой процентили (95 например) это можно попробовать на престе или импале, но только на очень небольшом спектре запросов
источник
16:37пожаловаться#4

MB

Mikhail Butalin in Data Engineers
просто апофеоз дибильности
источник
16:43пожаловаться#5

AZ

Anton Zadorozhniy in Data Engineers
надо понять сколько пользователи готовы платить, уверен что микрофокус или наши бойцы сделают вам отличное предложение)
источник
16:43пожаловаться#6

MB

Mikhail Butalin in Data Engineers
Пользователи присоединяются к hive через jdbc из jasper
источник
16:52пожаловаться#7

AZ

Anton Zadorozhniy in Data Engineers
как раз обычная история, дешево и сердито
источник
16:53пожаловаться#8

e

er@essbase.ru in Data Engineers
оно ?
https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.5/performance-tuning/content/hive_monitor_llap_resources.html
Cloudera
Monitoring LLAP resources
As administrator, you can monitor a cluster to conserve resources when running low-latency analytical processing (LLAP). You can monitor the queries in real-time using the YARN ResourceManager Web UI or YARN command-line tools. You can view LLAP app information and HiveServer Interactive logs using the HiveServer2 Interactive UI.
источник
17:06пожаловаться#9

e

er@essbase.ru in Data Engineers
*коллеги очень сильно хвалят llap для *моментальных* запросов к статичным таблицам .
источник
17:13пожаловаться#10

AZ

Anton Zadorozhniy in Data Engineers
er@essbase.ru
*коллеги очень сильно хвалят llap для *моментальных* запросов к статичным таблицам .
я готов поставить sixpack пилзнера что эти коллеги не из эксплуатации
источник
17:14пожаловаться#11

R

Roman in Data Engineers
Mikhail Butalin
Я прото что не будет ли медленнее тот же самый запрос работать через HIVE нежели через Impala?
Смотря какой hive ещё. Если у вас древняя версия на движке map reduce, то да, будет ощутимо медленнее там, где джоины особенно.
источник
17:14пожаловаться#12

N

Nikita Blagodarnyy in Data Engineers
Mikhail Butalin
А задача ставится так что максимальное время  выполнения запроса должно быть менее 1сек.
В кх не полезет?
источник
17:22пожаловаться#13

S

Stanislav in Data Engineers
Roman
Смотря какой hive ещё. Если у вас древняя версия на движке map reduce, то да, будет ощутимо медленнее там, где джоины особенно.
Зато на сложных запросах на нормальном объёме данных оно просто работает, а не играет в ваньку-встаньку с оом как тез
источник
17:30пожаловаться#14

AZ

Anton Zadorozhniy in Data Engineers
Stanislav
Зато на сложных запросах на нормальном объёме данных оно просто работает, а не играет в ваньку-встаньку с оом как тез
причем ООМ выигрывает в этой игре очень часто :(
источник
17:30пожаловаться#15

S

Stanislav in Data Engineers
Anton Zadorozhniy
надо понять сколько пользователи готовы платить, уверен что микрофокус или наши бойцы сделают вам отличное предложение)
А какой порядок цифр стоимости для таких систем, 1 секунда на 95% запросов на 1 пб? Мне кажется, что все просто высасывают эту 1 секунду из головы, не представляя сложности систем
источник
17:35пожаловаться#16

R

Roman in Data Engineers
Stanislav
А какой порядок цифр стоимости для таких систем, 1 секунда на 95% запросов на 1 пб? Мне кажется, что все просто высасывают эту 1 секунду из головы, не представляя сложности систем
Тут ещё важный критерий это количество возможных параллельных запросов
источник
17:39пожаловаться#17

e

er@essbase.ru in Data Engineers
Stanislav
А какой порядок цифр стоимости для таких систем, 1 секунда на 95% запросов на 1 пб? Мне кажется, что все просто высасывают эту 1 секунду из головы, не представляя сложности систем
Отчётные витрины с дриллингом до деталей не принято строить в Бигдате ?
источник
17:47пожаловаться#18

AZ

Anton Zadorozhniy in Data Engineers
Stanislav
А какой порядок цифр стоимости для таких систем, 1 секунда на 95% запросов на 1 пб? Мне кажется, что все просто высасывают эту 1 секунду из головы, не представляя сложности систем
по деньгам я не скажу, но ситуация когда надо гарантировать время отклика для определенных классов запросов (например план такого вида где на входе таблицы  таких размеров, с такой селективностью по ключам работает за 500мс до 50 одновременных пользователей в этой ресурсной партиции)  - довольно частая, в разных СУБД есть всякие механизмы управления ресурсами для таких штук
источник
17:49пожаловаться#19

AZ

Anton Zadorozhniy in Data Engineers
(это я не про СУБД реального времени, это отдельный класс систем, я про обычные аналитические MPP СУБД)
источник
17:52пожаловаться#20