В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2007 membersпожаловаться на группу
2020 October 19

А

Алексей in Data Engineers
Alex
@Michaelikus официально нету, на практике некоторые запросы могут подтормаживать

схема у хайва в базе данных печальна и во многих местах где нужны индексы их нельзя построить =(
поэтому при большом количестве партиций может быть не очень хорошо

https://www.slideshare.net/Hadoop_Summit/oraclestore-a-highly-performant-rawstore-implementation-for-hive-metastore

там есть слайды с замерами
www.slideshare.net
OracleStore: A Highly Performant RawStore Implementation for Hive Met…
Today, Yahoo! uses Hive in many different spaces, from ETL pipelines to adhoc user queries. Increasingly, we are investigating the practicality of applying Hiv…
почему нельзя построить? из-за специфичности схемы? Там же обычная бд: mysql/pg или oracle
источник
11:47пожаловаться#1

A

Alex in Data Engineers
последний раз когда я туда смотрел там было пару таблиц в которых лежали по айди параметры вида

id, type, value

в сгенерированном запросе проверялся тип и потом делался каст, следом сравнение
что-то вроде

where ((type=1 and castint(value) = 1) or ((type=1 and castint(value) = 2) or ….. ))

в место многоточия поставте 200-500 элементов
источник
11:51пожаловаться#2

AV

Alexandr Vladimirovi... in Data Engineers
Всем привет, есть вопросик по фреймворкам таким как Flink/Spark
чем они принципиально друг от друга отличаются и какой сейчас лучше всего использовать для streaming ETL?
источник
14:41пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
Alexandr Vladimirovich
Всем привет, есть вопросик по фреймворкам таким как Flink/Spark
чем они принципиально друг от друга отличаются и какой сейчас лучше всего использовать для streaming ETL?
если у вас совсем ничего нет и задачки начального уровня - начните со спарка, там больше сообщество и momentum; если у вас что-то уже есть и чем-то не устраивает - напишите чем, тогда вам будет проще помочь
источник
14:52пожаловаться#4

AV

Alexandr Vladimirovi... in Data Engineers
Anton Zadorozhniy
если у вас совсем ничего нет и задачки начального уровня - начните со спарка, там больше сообщество и momentum; если у вас что-то уже есть и чем-то не устраивает - напишите чем, тогда вам будет проще помочь
пока ресерчим, задачи есть, ищем правильный инструмент для этого
источник
14:53пожаловаться#5

AZ

Anton Zadorozhniy in Data Engineers
Alexandr Vladimirovich
пока ресерчим, задачи есть, ищем правильный инструмент для этого
тогда точно спарк, с ним проще ресерчить и понять где жмет если что
источник
14:55пожаловаться#6

AV

Alexandr Vladimirovi... in Data Engineers
Anton Zadorozhniy
тогда точно спарк, с ним проще ресерчить и понять где жмет если что
А почему спарк проще ресерчить чем флинк?
источник
15:52пожаловаться#7

АЖ

Андрей Жуков... in Data Engineers
Alexandr Vladimirovich
А почему спарк проще ресерчить чем флинк?
потому что он лучше документирован и весь интернет обложен гайдами?
источник
15:53пожаловаться#8

АЖ

Андрей Жуков... in Data Engineers
хотя, наверное, китайский сегмент гайдами по флинку обложен не хуже
источник
15:54пожаловаться#9

РА

Рамиль Ахмадеев... in Data Engineers
если в спарке broadcast стримы не подвезли, то для стриминга по прежнему нет ни чего лучше Flink’а
источник
15:55пожаловаться#10

AS

Andrey Smirnov in Data Engineers
Alexandr Vladimirovich
Всем привет, есть вопросик по фреймворкам таким как Flink/Spark
чем они принципиально друг от друга отличаются и какой сейчас лучше всего использовать для streaming ETL?
зависит от ваших задач, например какая latency допустима?
источник
15:58пожаловаться#11

AV

Alexandr Vladimirovi... in Data Engineers
Рамиль Ахмадеев
если в спарке broadcast стримы не подвезли, то для стриминга по прежнему нет ни чего лучше Flink’а
а что за фича такая?
источник
15:59пожаловаться#12

AV

Alexandr Vladimirovi... in Data Engineers
Андрей Жуков
потому что он лучше документирован и весь интернет обложен гайдами?
обычно документацию и гайды читают в тот момент, когда перепробывали все)))
источник
16:00пожаловаться#13

АЖ

Андрей Жуков... in Data Engineers
Alexandr Vladimirovich
обычно документацию и гайды читают в тот момент, когда перепробывали все)))
???
источник
16:00пожаловаться#14

АЖ

Андрей Жуков... in Data Engineers
fuckup-driven architecture?
источник
16:00пожаловаться#15

AV

Alexandr Vladimirovi... in Data Engineers
Андрей Жуков
???
ну кто доку читает сразу, сначала делаем, ломаем, потом читаем)
источник
16:00пожаловаться#16

AV

Alexandr Vladimirovi... in Data Engineers
Andrey Smirnov
зависит от ваших задач, например какая latency допустима?
думаю бизнес будет рад задержкам в пределах секунды
источник
16:01пожаловаться#17

АЖ

Андрей Жуков... in Data Engineers
Alexandr Vladimirovich
думаю бизнес будет рад задержкам в пределах секунды
а нужна ли она ему?
источник
16:02пожаловаться#18

R

Roman in Data Engineers
Alexandr Vladimirovich
ну кто доку читает сразу, сначала делаем, ломаем, потом читаем)
Думаю, что многие...
источник
16:02пожаловаться#19

РА

Рамиль Ахмадеев... in Data Engineers
Alexandr Vladimirovich
а что за фича такая?
в спарке есть broad cast таблички (доступные на всех экзекьютерах), но что бы их обновлять нужно поплясать с бубном на сколько я знаю, а во флинке есть broad cast stream такой стрим реплицируется целиком на все экзекьютеры и понятное дело обновляется в риалтайме из коробки.
источник
16:02пожаловаться#20