GP
как ты это на флинке делать будешь - не знаю)
Size: a a a
2019 November 19
GP
а так это уже вопрос другой - уверен можно
GP
удобство - одинакове при знании обоих апи
GP
если у тебя батч процессинг на спарке есть - то очевидно смысла тащить флинк не особо много
GP
если нет спарка - пробуй флинк, почему нет - удобно же и никаких проблем спарка нет, да?
A
Да банальные операции : поток на входе в кафке, минимум трансформации и впихнуть в hbase/elasticsearch/cassandra
И тут либо внутренний буфер во флинк на write, или спарком сразу нужного размера батч из кафки берёшь
И тут либо внутренний буфер во флинк на write, или спарком сразу нужного размера батч из кафки берёшь
GP
Да банальные операции : поток на входе в кафке, минимум трансформации и впихнуть в hbase/elasticsearch/cassandra
И тут либо внутренний буфер во флинк на write, или спарком сразу нужного размера батч из кафки берёшь
И тут либо внутренний буфер во флинк на write, или спарком сразу нужного размера батч из кафки берёшь
ну я вел к тому, что эти два инстурмента заменяемые при некоторых юзкейсах
а проблем распределенных систем и распределения ресурсов и там и там не решить
а проблем распределенных систем и распределения ресурсов и там и там не решить
DM
> в сообщениях картиночки размера не помещающиеся на одну машину но тебе хочется с ними делать операции сразу на нескольких в силу особенностей операций
не понял
не понял
GP
> в сообщениях картиночки размера не помещающиеся на одну машину но тебе хочется с ними делать операции сразу на нескольких в силу особенностей операций
не понял
не понял
ну у тя картинка весит 40 гигов (и таких мног); а ты хочешь что-то долгое сделать
тут честный стриминг не сработает - тебе тут батч какойто хочется
тут честный стриминг не сработает - тебе тут батч какойто хочется
GP
ну конечно сработает
GP
но это опять же вопрос удобства и как пользоваться
DM
ничем в данном случае батч отличаться от стрима не будет
A
ну я вел к тому, что эти два инстурмента заменяемые при некоторых юзкейсах
а проблем распределенных систем и распределения ресурсов и там и там не решить
а проблем распределенных систем и распределения ресурсов и там и там не решить
Да, в определённом роде заменяемы, но есть кейсы где каждый лучше показывает себя
Поэтому не понимаю спора :)
Поэтому не понимаю спора :)
DM
ну только если у тебя тачка не на 400ГБ и то хз как параллелить картинки таких размеров
S
Да банальные операции : поток на входе в кафке, минимум трансформации и впихнуть в hbase/elasticsearch/cassandra
И тут либо внутренний буфер во флинк на write, или спарком сразу нужного размера батч из кафки берёшь
И тут либо внутренний буфер во флинк на write, или спарком сразу нужного размера батч из кафки берёшь
именно
самое классное начинается, когда поток по настоящему большой
а если еще надо бы и с начала топика прочитать
да еще и успевать за ретеншном в кафке
самое классное начинается, когда поток по настоящему большой
а если еще надо бы и с начала топика прочитать
да еще и успевать за ретеншном в кафке
S
ну у тя картинка весит 40 гигов (и таких мног); а ты хочешь что-то долгое сделать
тут честный стриминг не сработает - тебе тут батч какойто хочется
тут честный стриминг не сработает - тебе тут батч какойто хочется
передача 40 гиговых картинок кафкой
GP
ну только если у тебя тачка не на 400ГБ и то хз как параллелить картинки таких размеров
порезал мету покускам; зашафлил; прочитал что надо
S
мне кажется, что там не в спарке дело )
GP
передача 40 гиговых картинок кафкой
(в ссобщениях можно ссылки передавать)