ST
Всем привет! Скажите, кто-нибудь решал задачу отправки данных из кафки в S3? Только не в амазоновский, а в minio.
а как это относится к тематике чата
s/данных/метрик/
не благодарите
Size: a a a
2020 July 17
IE
VS
Всем привет! Скажите, кто-нибудь решал задачу отправки данных из кафки в S3? Только не в амазоновский, а в minio.
@ru_devops или какой-нибудь другой девопс чат, ну или чаты по кафке если таковые есть
S
а как это относится к тематике чата
долгосрочное хранение данных - в данном случае метрик, сделанных из логов. так что имеет отношение к метрикам
VS
долгосрочное хранение данных - в данном случае метрик, сделанных из логов. так что имеет отношение к метрикам
в сочетании “кафка” и “minio” нет ничего про метрики, поэтому вопрос скорее общий чем специфичный
VS
ибо откуда данные и что в них - это дело второстепенное
AA
Софт sentry. Она умеет сама отправлять метрики в statsd, Но хотелось бы получать кол-во event-ов по-проектно (такого в метриках нет). Т.е. как сейчас рисует сама sentry. Там есть простенькие графики, показывает события примерно за неделю, особо ничего не поменять
AA
кто-нибудь делал подобное? (т.е. видимо надо делать запрос в БД и доставать интересующие данные, отправить в графит уже просто)
AA
чем это может быть удобно - накатить на базе этого алерт, что в такой-то проект сыпится много ошибок
TF
кто-нибудь делал подобное? (т.е. видимо надо делать запрос в БД и доставать интересующие данные, отправить в графит уже просто)
сентри же новая? там кх и постгрес вроде
TF
ну и сентри жи умеет сама алертить
AA
не сильно новая, 2018 года. да, там pg. Но блин копаться и понять как эти данные выдернуть - для меня немного ад (я не программист и не dba)
TF
не сильно новая, 2018 года. да, там pg. Но блин копаться и понять как эти данные выдернуть - для меня немного ад (я не программист и не dba)
лол
AA
ну и сентри жи умеет сама алертить
по кол-ву событий, идущих в определенный проект?
TF
ты строишь новую абстракцию
TF
лучше из постгреса дергать инфу
TF
та же графана как прототип тебе подойдет
GM
не сильно новая, 2018 года. да, там pg. Но блин копаться и понять как эти данные выдернуть - для меня немного ад (я не программист и не dba)
программисты с данными уже не работают?
AA
в плане не работают? в данный момент sentry активно используется
AA
но для меня она некий черый ящик, поэтому я могу писать вполне глупые вещи