PGSync - инструмент для синхронизации данных из Postgres в ElasticSearch

#toolz

Небольшой гайд по прохождению System Design интервью https://dev.to/techdebtor/get-hired-the-system-design-interview-explained-32j4
#architecture #ingress

​Весточка для линукс-администраторов. Но и безопасников тоже заинтересует. Ещё один подход к сбору системных логов с линукс-серверов — rsyslog + logstash + elasticsearch + kibana. Некто Антуан Солничкин просто и пошагово пишет какие команды и зачем выполнять, чтобы конструкция взлетела. Мануал подойдёт, если нужно быстро запустить мониторинг.

P.S. Посмотрите другие статьи этого автора на Медиуме, пишет он преимущественно про мониторинг причём разными средствами и подробно.

В VictoriaMetrics добавил поддержку мигрирования данных из influx в VM

https://github.com/VictoriaMetrics/vmctl

​​И снова про Alertmanager от Prometheus

Смотреть актуальные алерты в почте/слаке/телеграме не самая приятная затея. Поэтому мы  используем плагин для Grafana: http://bit.ly/2ttHY25

Но потом появился вопрос как посчитать кол-во однотипных проблем, самые популярные алерты, ну и все в этом роде. Это позволит провести некоторый тюнинг, понизить критичность и так далее. Хотя понизить уровень severity в не нужных местах удалось так: поставили ардуину со здоровенной мигалкой, она бегает в апишку alertmanager и если есть critical на проде - крутит 🚨 Осталось прикрутить Алису, чтобы она кричала что-нибудь по немецки.

В общем у алертменеджера есть ручка с метриками /metrics, но в ней нет метрик по конкретным алертам и чего либо более менее интересного. На гитхабе они сами предлагают через webhook слать события к примеру в Elasticsearch. Парни из cloudflare так и сделали: http://bit.ly/2tDLdUs

Пока не пробовал, результатами не поделюсь ☹️

На десерт предлагаю почитать статью от Uber про on-call dashboard: https://ubr.to/2TN63f4

Ребят, зацените 😲, @x1unix сделал альтернативу Go Playground! Выглядит очень круто! 👍 Поддержите звездочкой! ⭐️

URL: http://goplay.x1unix.com
GitHub: https://github.com/x1unix/go-playground

там обновился роадмап пути к успеху https://roadmap.sh/devops

https://dnsspy.io/ - онлайн поверка настроек DNS. С рейтингом и рекомендациями по улучшению.

#dns #линк

Billy: how VictoriaMetrics deals with more than 500 billion rows

https://medium.com/@valyala/billy-how-victoriametrics-deals-with-more-than-500-billion-rows-e82ff8f725da

Внезапно с удовольствием прочитал новую статью Фаулера про парное программирование. Во-первых, узнал про технику "ping-pong", когда один пишет тест, второй реализует, потом пишет тест, первый реализует и т.д.
Во-вторых, осознал, что у нас тоже есть pair programming(точнее Strong-Style Pairing).
Кароч, котятки, рекомендую ознакомиться

Postgres-вторник №5. Дмитрий Столяров, «Флант». Postgres & k8s. CI/CD. Автоматизация тестирования
https://www.youtube.com/watch?v=qXc9VTr4TFc
+
Стенограмма
https://habr.com/ru/company/flant/blog/479438/

Protobuf vs JSON

Вот руки дошли подробнее почитать про этих зверей.

Сначала что ты такое:
Protobuf - http://bit.ly/2NR871s
JSON - http://bit.ly/2NRxXmm

Сравнение с Proc and Cons:
http://bit.ly/2Ginqwi

Еще хотелось бы узнать ваше мнение: На сколько хорошей может быть идея использовать protobuf для публичного API?

👍 - норм тема
🤔 - кажется API будет тяжело использовать
❌ - не одобряю

Отличная статья, где можно получить представление про throughput дисков для разных интерфейсов https://passthroughpo.st/disk-passthrough-explained/  #io #thoughput #disks #nvme #ssd

🔧 Коротко о том, как с помощью systemd на автомате поднимать упавшие сервисы: https://ma.ttias.be/auto-restart-crashed-service-systemd/

#systemd #напочитать

​​Новый сезон мероприятий Яндекса для разработчиков открыт! Начнём с облаков и любви к фронтенду.

Участвуй
📺31 января – 6 февраля — Вебинары Яндекс.Облака: про отказоустойчивую архитектуру (часть 1, часть 2) и про жизнь без разрывов.
🚶‍♂️20 февраля, четверг — Москва — about:cloud. Выступят и разработчики Облака, и наши партнёры, которые расскажут, как обеспечить качество данных и создавать решения для их анализа, очистки и интеграции.
🚶‍♂️29 февраля, суббота — Москва + трансляция — Конференция Я 💛 Фронтенд 2020. Если вы неравнодушный фронтенд-разработчик с горящими глазами и жаждой к знаниям, то ждём вас для бурного обсуждения последних новостей и лучших практик в мире разработки интерфейсов.

Читай
📖Починить, хакнуть, раскопать. Решаем онлайн-квест Droid Mission — он состоял из трёх типов задач, похожих на те, с которыми сталкиваются специалисты в реальной работе.
📖Гиперкуб. Как сделать так, чтобы разработчики и тестировщики могли быстро и без волокиты получить смартфон для тестирования приложений?

Смотри
🎥C++ Party. Итоги встречи комитета C++ в Белфасте и рассказ об управлении состоянием при компиляции.

полезная статья-шпаргалка по перегенерации сертификатов в k8s кластере

https://habr.com/ru/company/southbridge/blog/465733/

#kubernetes

Сегодня чуть больше обычного слоупочил в статьи на тему питона

Сначала залип в неплохой блог с кучей азов, описанием и примерами из стандартных библиотек и всяким таким: http://bit.ly/2NUzRTg

Надо бы бросать буквы в телеграм писать и возвращаться на хакеранк 🐣

А дослоупочивать продолжил стеком и очередью для самых маленьких:
http://bit.ly/2Ggq9WU

Интересно есть ли в канале люди кто прочитал, а не пропел текст с мема?

Всем тяпницы!

[recovery mode] Разделяй и властвуй
https://habr.com/ru/post/485056/
Tags: Программирование, Go, golang, go, базы данных, postgresql
Author helgihabr #habr

Grafana Labs рассказали о недавнем инциденте с downttime на 23 часа и какие уроки они из этого вынесли

http://amp.gs/Dbjv

И заодно история от Dropbox http://amp.gs/DbjE и доклад с SREcon http://amp.gs/DbjV
#grafana #dropbox #article #incidentreport

И тем временем Grafana v6.6 вот-вот выйдет, и уже можно посмотреть что там будет новенького 😅

http://amp.gs/DbBl
#grafana #news