Size: a a a

DevOps — русскоговорящее сообщество

2020 November 12

AZ

Alexander Zaitsev in DevOps — русскоговорящее сообщество
сколько из них необходимых - вопрос конечно другого рода. но объём примерно такой
источник

СК

Сергей Королёв... in DevOps — русскоговорящее сообщество
Alexander Zaitsev
сколько из них необходимых - вопрос конечно другого рода. но объём примерно такой
зависит от того как ты эти логи будешь хранить
источник

ST

Sergey Trapeznikov in DevOps — русскоговорящее сообщество
S
Приветствую! Помогите начинающему.... как поднять confluence с помощью docker compose? Последний используется на centos 7
Мы тут причем?
источник

СК

Сергей Королёв... in DevOps — русскоговорящее сообщество
если просто как есть пихать в таблицу с парой/тройкой столбцов то профита не будет
источник

СК

Сергей Королёв... in DevOps — русскоговорящее сообщество
кликхаус начинает рулить и пидалить когда таблицы широкие
источник

AZ

Alexander Zaitsev in DevOps — русскоговорящее сообщество
Сергей Королёв
если просто как есть пихать в таблицу с парой/тройкой столбцов то профита не будет
если я правильно понимаю, то профит будет, если логи чётко структурировать, и потом определённым образом уже пихать
источник

СК

Сергей Королёв... in DevOps — русскоговорящее сообщество
Alexander Zaitsev
если я правильно понимаю, то профит будет, если логи чётко структурировать, и потом определённым образом уже пихать
да, погугли отличие колонко ориентированных субд
источник

AZ

Alexander Zaitsev in DevOps — русскоговорящее сообщество
Сергей Королёв
да, погугли отличие колонко ориентированных субд
про это я знаю, да
источник

СК

Сергей Королёв... in DevOps — русскоговорящее сообщество
ну и у кликхауса еще требования по инфрастуктуре, селект с сортировкой может всю оперативу выжрать
источник

AZ

Alexander Zaitsev in DevOps — русскоговорящее сообщество
я скорее к тому, что адекватное ли это применение. Учитывая, что как я вижу, то полнотекстовый поиск по логам не нужен нам
источник

AZ

Alexander Zaitsev in DevOps — русскоговорящее сообщество
ещё как альтернатива ELK немного смотрю в сторону graylog2, но с ним вообще опыта не имел
источник

СК

Сергей Королёв... in DevOps — русскоговорящее сообщество
Alexander Zaitsev
я скорее к тому, что адекватное ли это применение. Учитывая, что как я вижу, то полнотекстовый поиск по логам не нужен нам
потести, только так можно понять нудно ли оно
источник

СК

Сергей Королёв... in DevOps — русскоговорящее сообщество
Alexander Zaitsev
смотря что такое тонны. у нас сейчас где-то под 1 Тиб логов в сутки
а логи кстати какие?
источник

СК

Сергей Королёв... in DevOps — русскоговорящее сообщество
может лучше не хранить все а только нужное?
источник

СК

Сергей Королёв... in DevOps — русскоговорящее сообщество
тогда например стриминг в кафку а потом ивент процессинг
источник

AZ

Alexander Zaitsev in DevOps — русскоговорящее сообщество
Сергей Королёв
может лучше не хранить все а только нужное?
да, это правильная мысль :) только пока что руки не доходят сделать нормально (перелопачивать нужно ооочень много)
источник

AZ

Alexander Zaitsev in DevOps — русскоговорящее сообщество
а сами логи не особо структурированы:
[timestamp]-[thread_id]-[level]-[text_message]
источник

A

Asdqwert in DevOps — русскоговорящее сообщество
Всем привет!

Вопрос с уклоном в AWS: всё-таки какой ingress controller и какие LB принято использовать с EKS?

У них есть свой aws-load-balancer-controller (бывший alb ingress controller), который позволяет выписывать в том числе ALB, но потом нужно танцевать с бубном с cert-manager, т.к. он не умеет импортировать сертификаты в ACM, в ACM есть ограничение на колличество сертификатов (да, можно увеличивать, но всё же) и нормальных rewrite, кроме кривоватых actions ALB не поддерживает.

Хочется взять NLB + nginx/haproxy ingress controller в daemonset через nodeport по аналогии с bare metal, но есть ощущение, что для AWS/EKS есть какие-то более нативные и правильные решения. ALB теоретически можно интегрировать с AWS WAF и т.д. и он естественно позволяет избавить кластер от некоторой нагрузки по cpu, т.к. все запросы сначала приходят всё-таки в ALB, а NLB всё это дело просто пробрасывает на поды ingress controller'а и при большой нагрузке под них чуть ли не отдельные машины нужно держать.

Сейчас речь идёт для начала про http/https трафик.
источник

NB

Nikita Burtsev in DevOps — русскоговорящее сообщество
с точки зрения совсем правильно лучше делать так: ALB in DMZ vpc/account -> Private Link -> private NLB -> EKS with whatever ingress you want
источник

NB

Nikita Burtsev in DevOps — русскоговорящее сообщество
источник