В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 November 19

DM

Daniel Matveev in Data Engineers
Alex
и скейлить в докер кластере …. ручками придумыя шафлы или повторно перегоняя их через ту же кафка топик

в общем слишком много нюансов, для простых задач кафка стриминг пойдёт, но сложные пайплайны я бы в него не пихал
имхо скорее для простых кейсов, которые вот сейчас надо запустить асап
источник
10:27пожаловаться#1

DM

Daniel Matveev in Data Engineers
держать кучу стримов стремно
источник
10:27пожаловаться#2

DM

Daniel Matveev in Data Engineers
рестарт одного в рамках кучки и ребаланс по всем
источник
10:28пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
Alex
@dartov стейтфул отдельная тема для спарка, мы пару раз извращались пытаясь запихивать в статик контекст что-то, чтобы если попадём второй раз на этот воркер, то не пришлось с нуля всё инициализировать
да, я обычно пихаю в базу, но именно такие велосипеды имею в виду
источник
10:28пожаловаться#4

IP

Ilya Pribytkov in Data Engineers
ребята всем привет, пытаюсь протестировать метод FunSuite  тестом, но ассерт чет не хочет работать, может кто подскажет?
источник
10:29пожаловаться#5

IP

Ilya Pribytkov in Data Engineers
источник
10:29пожаловаться#6

IP

Ilya Pribytkov in Data Engineers
мож иплиситы какие надо?
источник
10:30пожаловаться#7

A

Alex in Data Engineers
Anton Zadorozhniy
да, я обычно пихаю в базу, но именно такие велосипеды имею в виду
база это когда чисто стейт, делали и такое

иногда это может быть кеш, который не хочется каждый раз ходить в базу, но он меняется достаточно редко чтобы можно было ту же hashmap положить в память и ходить в неё. пихали на инициализации в static поле какой guava cache и использовали

бродкатсить можно, но там свои нюансы начинаются
источник
10:30пожаловаться#8

IP

Ilya Pribytkov in Data Engineers
импортнуть
источник
10:30пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
Alex
база это когда чисто стейт, делали и такое

иногда это может быть кеш, который не хочется каждый раз ходить в базу, но он меняется достаточно редко чтобы можно было ту же hashmap положить в память и ходить в неё. пихали на инициализации в static поле какой guava cache и использовали

бродкатсить можно, но там свои нюансы начинаются
у нас на самой заре в меге была попытка использовать hazelcast над hbase, это было ужасно, мы остановились в итоге на read-only кластере redis
источник
10:31пожаловаться#10

AZ

Anton Zadorozhniy in Data Engineers
щас, насколько знаю, там все переписано на аккуратный flink и прямую работу с hbase
источник
10:34пожаловаться#11

DM

Daniel Matveev in Data Engineers
Ilya Pribytkov
небось типы не сходятся, col возращает какую то не типизированную хрень, а сравнение с числом

надо смотреть как получить нужный тип значения
источник
10:35пожаловаться#12

K

KrivdaTheTriewe in Data Engineers
Alex
база это когда чисто стейт, делали и такое

иногда это может быть кеш, который не хочется каждый раз ходить в базу, но он меняется достаточно редко чтобы можно было ту же hashmap положить в память и ходить в неё. пихали на инициализации в static поле какой guava cache и использовали

бродкатсить можно, но там свои нюансы начинаются
Transform?
источник
10:37пожаловаться#13

K

KrivdaTheTriewe in Data Engineers
В спарке
источник
10:37пожаловаться#14

A

Alex in Data Engineers
И как это решит проблему на стриминге когда ты не можешь гарантировать на каком воркере ты окажешься?
источник
10:40пожаловаться#15

A

Alex in Data Engineers
В этом плане флинк ближе к шторму: у тебя топологии задеплоена и работает постоянно, в указанный мэп влетают евенты

Спарк: где-то рдд размазано, давайте мы туда закинем код на выполнение очередного микробатча
источник
10:42пожаловаться#16

A

Alex in Data Engineers
@krivdathetriewe
https://databricks.com/blog/2018/03/20/low-latency-continuous-processing-mode-in-structured-streaming-in-apache-spark-2-3-0.html

flink это Continuous Processing в контексте спарка
только со своими плюшками которые этот statefull даёт
Databricks
Introducing Low-latency Continuous Processing Mode in Structured Streaming in Apache Spark 2.3 - The Databricks Blog
This blog discusses Structured Streaming’s low-latency, continuous processing mode in Apache Spark 2.3. Find out how to use continuous processing mode, its merits, and how developers can use it to write continuous streaming applications with low-level millisecond latency requirements on Databricks Unified Analytics Platform.
источник
10:48пожаловаться#17

A

Alex in Data Engineers
если смотреть как они делали Continuous Processing с ватермарками и прогрессом, то там как раз то и получается по дизайну как в dataflow/flink
источник
10:49пожаловаться#18

K

KrivdaTheTriewe in Data Engineers
Я чуть больше изучу вопрос и дам какой то ответ развёрнутый , а со стейтом, да нужно кешами обмазаться
источник
10:50пожаловаться#19

DM

Daniel Matveev in Data Engineers
Alex
если смотреть как они делали Continuous Processing с ватермарками и прогрессом, то там как раз то и получается по дизайну как в dataflow/flink
с вотермарками во флинке говорили не так все гладко, может продалбывать данные
источник
10:51пожаловаться#20