Объёмы не большие, мы маленькие. Сейчас между релизами планируем увеличивать покрытие логами всех сервисов, и решили как раз завезти централизацию их сбора.

Без разницы. Просто работал с Grafana + Prometheus и с VictoriaMetrics - не понравилось. Насчёт цен - пока платить не планировали. Соответственно, или бесплатное облако, или бесплатный селфхостед.

ClickHouse это понял, штука от яндекса. Но это ж бд, просто немного другая. Зачем мне класть логи в какую другую бд?

> ClickHouse это понял, штука от яндекса. Но это ж бд, просто немного другая. Зачем мне класть логи в какую другую бд?

ровно за тем же, зачем вы складируете логи в эластику или в локи. Чтобы хранить их и работать потом с ними

как пример емнип где-то на хабре была схема про пихать логи в кафку, а оттуда батчингом в CH. Ну и работа с логами в CH через их SQL (и какой-то состряпанный на коленке дашборд)

Ах да, их же ещё экспортировать надо с  каждого сервера/сервиса... Я про это забыл.
Видел экспортёры от ES, насколько помню.

Страшно. Кастомные дешборды боль. И плюс два сервиса, плюс интеграция кафки в качестве агрегатора, неприятно.

ну с E*K вы тоже получите как минимум 3 сервиса. максимально изкоробочное селфхостед, что я знаю - graylog. В серьезном проде знаю как минимум одну компанию лично, которая применяет его

экспорты с сервисов\серверов обычно решаются вот этой самой * в E*K. тут уже сами выбирайте, что душе угодно. Если хотите быть стильным-модным-молодежным-safe&blazing fast, то можно на vector глянуть. я поднимал его на домашнем self-hosted кубе - мне понравилось. Но это конечно ни в коем случае не прод у меня был :)

ну и вообще: https://t.me/ru_logs

И про это чат есть.....
Ладно, спасибо. Мне пока данной вам информации хватит, дальше буду изучать и пробовать. Необходимо ещё всё это поднять, сами логи структурировать, настроить экспорт, визуализацию... Короче, да. Спасибо.

> Т.е Сама мысль, что автор пишет для себя- я не могу ее понять
Мне для себя писать ничего не надо, у меня все в голове и сам с собой я как-нибудь договорюсь

Попробуйте для начала свыкнуться с таким фактом, что когда солист музыкальной группы сам поет и сам пишет тексты, то эти тексты он сперва пишет на бумаге.
Но почему-то не издает их на бумаге (обычно), а исключительно поет на концертах и в студии.
И все-таки, не смотря на это, записывает на бумагу!, хотя ведь мог бы "все в голове" держать.
Что же это получается - что он пишет для себя, а не для постороннего читателя??

Хороший аргумент) я его подумаю)

Все таки ноты- это некий шифр специальный, я ок, могу придумать свою собственную никому не понятную нотацию и сокращения

Для себя, чтобы не забыть и тп

Но тогда этот мой литературный эпик я никому никогда не покажу, ТК его не поймут.

Это вполне тянет на какой-то специализированный вью, не для чужих глаз, допускаю. Даже сам так делаю, например, скрытая станицы в конфлуенс, мои записульки

А для 'чужих' приходится делать совсем другой документ и я хочу максимизировать выхлоп с него, чтобы его читали

а как решали vector в multiline?

Никак. Я ж дома игрался,а не в прод тащил

vector + Clickhouse + lighthouse