Size: a a a

2020 February 24

IP

Ivan Ponomarev in pro.kafka
Sergey Zhemzhitsky
разве тут в конечном итоге ценность результата обработки данных и обнаружения проблемы не выше?
не очень понимаю, поясните, "обнаружено" что?
источник

IP

Ivan Ponomarev in pro.kafka
Игорь
"гораздо успешно справляются стандартные RDBMS" наверное это вопрос типа данных, их обьема и запросов к ним. Не уверен что можно перелить старые данные из TSDB в RDBMS  и по-прежнему иметь все типы запросов к данным
согласен
источник

SZ

Sergey Zhemzhitsky in pro.kafka
Ivan Ponomarev
не очень понимаю, поясните, "обнаружено" что?
> Эммм... любая учётная система. Вы видели глаза бухгалтера, у которого  из баланса пропало две копейки, ... потому что соответствующая проводка была зафиксирована очень давно

обнаружена соотв. проводка.
чем быстрее она обнаружена и исправлена, тем большую ценность в конечном итоге это исправление приобретает для предприятия (хотя и не в контексте вашего случая)
источник

IP

Ivan Ponomarev in pro.kafka
Sergey Zhemzhitsky
> Эммм... любая учётная система. Вы видели глаза бухгалтера, у которого  из баланса пропало две копейки, ... потому что соответствующая проводка была зафиксирована очень давно

обнаружена соотв. проводка.
чем быстрее она обнаружена и исправлена, тем большую ценность в конечном итоге это исправление приобретает для предприятия (хотя и не в контексте вашего случая)
Я я не про обнаружение -- с обнаружением всё ясно, чем быстрее, тем лучше.

Я про потенциальную возможность потери. Когда мы имеем право загрубить старые данные, отбросить старые данные без потери ценности системы для бизнеса  -- то это хороший кейс для стримовых систем. Когда не имеем такого права -- всё становится гораздо сложнее.
источник

N

Nikolay in pro.kafka
Изначальный посыл непонятен.какой закон вы выводите?
источник

N

Nikolay in pro.kafka
Скалывается впечатление , что вы ищите закон применения стриминговых систем
источник

IP

Ivan Ponomarev in pro.kafka
Nikolay
Изначальный посыл непонятен.какой закон вы выводите?
Пытаюсь вывести критерий для ответа на вопрос: Тащить нам кафку/data streaming в наш зоопарк информационных систем или нет?
источник

IP

Ivan Ponomarev in pro.kafka
Nikolay
Скалывается впечатление , что вы ищите закон применения стриминговых систем
да
источник

N

Nikolay in pro.kafka
Но вы же ее для решения конкретной задачи , наверное хотите затащить.
источник

N

Nikolay in pro.kafka
Если например , решать задачу хранения бухгалтерских проводок , то Кафка явно не подходит.
источник

IP

Ivan Ponomarev in pro.kafka
Nikolay
Но вы же ее для решения конкретной задачи , наверное хотите затащить.
Та задача, которую я решаю в своём проекте, решается хорошо.
Меня попросили сделать обзорный доклад про data streaming для технически подкованных, но ещё не знакомых с этим людей.

Естественно, нужно дать какой-то критерий -- где границы применения этой штуки. Ведь я же не продаю "эликсир от всего"
источник

IP

Ivan Ponomarev in pro.kafka
Nikolay
Если например , решать задачу хранения бухгалтерских проводок , то Кафка явно не подходит.
О да, это я как раз понимаю, и пытаюсь обобщить
источник

N

Nikolay in pro.kafka
Если както формализовать эту непригодность , то а ней нету операции извелечения всех проводок по счету за приемлемое время
источник

IP

Ivan Ponomarev in pro.kafka
Nikolay
Если както формализовать эту непригодность , то а ней нету операции извелечения всех проводок по счету за приемлемое время
ещё раз, что? извлечения всех проводок по счёту?
источник

N

Nikolay in pro.kafka
Там где есть проводки.обысно нудно считать остаток на счёте. Вот вы храните в кафке все полупроводки. Как посчитать кредитовый и дебитовый остаток ? Это надо сделать full scan
источник

IP

Ivan Ponomarev in pro.kafka
Nikolay
Там где есть проводки.обысно нудно считать остаток на счёте. Вот вы храните в кафке все полупроводки. Как посчитать кредитовый и дебитовый остаток ? Это надо сделать full scan
даааа, а у нас ретеншн -- месяц
источник

IP

Ivan Ponomarev in pro.kafka
и часть уже улетела в архив
источник

N

Nikolay in pro.kafka
А клиентов сотни тысяч. Да же, если десятки тысяч. Все умрет. Кафка - это классический лог из системы баз данных.всего остального нет в ней
источник

IP

Ivan Ponomarev in pro.kafka
Nikolay
А клиентов сотни тысяч. Да же, если десятки тысяч. Все умрет. Кафка - это классический лог из системы баз данных.всего остального нет в ней
не-не-не, вот сейчас Вы не про то говорите. Мои 10000 клиентов будут не кафку фулл-сканить, мои 10000 пойдут и возьмут посчитанную сумму из кэша
источник

IP

Ivan Ponomarev in pro.kafka
вопрос в том, что когда я потеряют этот кэш, или когда я пойму, что считал кэш неправильно, что я буду делать?
источник