vk
Всем привет. Может кто то знает как логи с CloudWatch добавить в Athena или в QuickSight? Потому что сделал экспорт логов через лямбду в S3 но они в архивах .gz а Athena и QuickSight не понимают .gz. Заранее спасибо.
Афина понимает gzip
Size: a a a
2020 July 24
A
victor kurguzov
Афина понимает gzip
то есть можно просто указать бакет с кучей файлов и архивами и будет всё ок?
A
может можно как то файлы сразу экспортировать с CloudWatch в S3 в формате json?
vk
погоди, я кажется дал херовую информацию
A
просто для Athena ещё нужно будет Glue крутить
vk
просто для Athena ещё нужно будет Glue крутить
зачем?
A
потому что логи экспортируются в формате .gz
vk
блин, я не силен в етл, сходи в aws_ru, но мне кажется ты где-то ошибаешься. глю для етл, чтобы потом положить в какой-нибудь Редшифт, Афина для квери
vk
либо ошибаюсь я)
A
у меня уже просто логи с клаудфронта так складываются и хотелось бы сразу в s3 ложить логи в формате json :)
A
но всёравно спасибо за помощь :)
vk
так а распаковать логи прямо в с3 нельзя? лямбдой какой-нибудь
A
искал но не нашел как, у меня сейчас через лямбду создаётся экспорт таск в клаудвотч
vk
искал но не нашел как, у меня сейчас через лямбду создаётся экспорт таск в клаудвотч
хм, странно. ладно, утром попробую, самому интересно
A
спасибо :)
S
мне дали направление - есть такое понятие агенты jenkis - master и slave jenkins — буду учить - еще есть у кого мысли на эту проблему https://t.me/devops_ru/727572
Нельзя говорить мастер и слейв
AC
Нельзя говорить мастер и слейв
так-так +) слова то конечно заменят но суть то не поменяется
J🎩
так-так +) слова то конечно заменят но суть то не поменяется
Ну там и суть не совсем точно передана. Agents не «рабы»
J🎩
Так что не жалко
AC
Ну там и суть не совсем точно передана. Agents не «рабы»
согласись такой смысл никто не вкладывал, скорее все имели введу как в DNS primary и secondary. А сейчас всю эту политоту развели