Материалы для изучения terraform

https://blog.gruntwork.io/an-introduction-to-terraform-f17df9c6d180

https://www.udemy.com/course/rus-terraform/

https://www.youtube.com/watch?v=R0CaxXhrfFE&list=PLg5SS_4L6LYujWDTYb-Zbofdl44Jxb2l8

https://www.terraform.io/docs/index.html

https://blog.gruntwork.io/an-introduction-to-terraform-f17df9c6d180

Terraform up and running от o'reilly

#terraform

Серия видео-уроков по AWS Lambda от Tomasz Łakomy

#aws #serverless

Note #58: The Zen of Go

По аналогии с Zen of Python, Dave Cheney представил The Zen of Go на GopherCon Israel 2020.

1. Each package fulfils a single purpose
2. Handle errors explicitly
3. Return early rather than nesting deeply
4. Leave concurrency to the caller
5. Before you launch a goroutine, know when it will stop
6. Avoid package level state
7. Simplicity matters
8. Write tests to lock in the behaviour of your package’s API
9. If you think it’s slow, first prove it with a benchmark
10. Moderation is a virtue
11. Maintainability counts

По ссылке есть описание каждого пункта -> https://the-zen-of-go.netlify.com/.

P.S. возможно добавить сюда https://github.com/andriisoldatenko/proverbs? или пусть живет отдельно.

Kubernetes Operators
Automating the Container Orchestration Platform

Jason Dobies and Joshua Wood

2020

Богдан, Олег и специальный гость Роман Хавроненко из Cloudflare.

https://soundcloud.com/generictalks/0009-kogda-servisu-khvatit-nasypat-v-gostyakh-roman-khavronenko

00:00:00 - Вводная. Патроны. Гость Роман из Cloudflare.
00:02:21 - С места в карьер. Есть ли замена ClickHouse? Druid, Redshift и ручные поделки. Как работать с большим количеством выборок в ClickHouse.
00:13:55 - Отказоустойчивость. Минутка SRE. Graceful degradation. Планирование и внедрение SLA и SLO. Зачем нужен Error Budget. Травим байки.
00:29:51 - Обузданый хаос. Как заставить своих программистов правильно обрабатывать ошибки и не падать по первому чиху. Поможет ли нам service mesh?
00:37:25 - Где предел паранойи? Можно ли отхендлить какую угодно ошибку? Когда пора остановится?
00:46:44 - Пытаемся разобрать конкретный пример и паттерны которые можно использовать.
00:55:45 - Графиков так много что глаза разбегаются. Автоматический корреляционный анализ. Metrics Driven Development.
01:07:58 - Adaptive capacity limiting и smart load balancing. Как косвенно или напрямую измерять загруженность сервера и почему мерять CPU load не всегда правильно.
01:18:08 - Приоритизация трафика и load shedding. Как работать с запросами произвольной сложности. Event sourcing and CQRS.
01:34:10 - Экзотические техники работы с перегрузками: батчинг, агрегация, сэмплирование.

Спасибо @chiki_briki_it который углядел появление в общем доступе этого доклада. Слушал его на HL++ и подтверждаю, доклад действительно интересный. Иван Агарков из Wargaming решал задачу про распределённый firewall при помощи consul и iptables - получилась вот такая штука на golang https://github.com/wgnet/befw подробности на хабре https://habr.com/ru/company/oleg-bunin/blog/486842/ #consul #firewall

Давно ничего не было про kubernetes и сервис меш, вот вам материалы с воркшопа про это самое https://github.com/peterj/workshop-material/blob/master/README.md

Интенсив Слёрм Agile: самое важное об аджайле за 3 дня!

На этом тренинге Марина Алекс, ученица Джеффа Сазерленда и Майка Биддла, участница 170 аджайл-трансформаций разных команд в 12 странах::

поможет вам понять и примерить на себя систему ценностей и смысл Agile;
научит использовать возможности Agile для общей и личной результативности;
покажет, как создать из коллектива эффективную команду и освоить основные инструменты;
поможет оценить, полезна ли аджайл-трансформация лично вам и вашей компании.

На интенсиве вы будете работать в аджайл-команде, разбирать кейсы, ошибки и ограничения аджайл-трансформации, познакомитесь со SCRUM, Кanban и SWAY.

Москва, 27-29 февраля.

Узнать больше и подать заявку: https://clc.to/PkfHqg

https://habr.com/ru/post/487058/
#hadoop #zookeper

​Про систему мониторинга, которая строит графы из элементов приложения, а потом при помощи искусственного интеллекта ищет корневую причину проблемы уже писал в канале. То был Fixstream, кстати. Основа для работы алгоритма — netflow-трафик от сетевых устройств. Кроме netflow, конечно, ещё используются данные из CMDB и события из других систем мониторинга.

Сегодня расскажу про кое-что попроще. На просторах гитхаба обнаружил репозиторий с клёвой штукой, которая называется skydive. Чем она хороша? Помимо бесплатности еще много чем.

Skydive в режиме реального времени достаёт данные по netflow из базы данных Elasticsearch. Есть коннекторы к OpenStack, Docker, OpenContrail и Kubernetes.

Я уже давно считаю, что анализ netflow — недооценённая технология мониторинга и её стоило бы использовать активнее. А тем более это делать для распределённых приложений.

Штука платная, но выглядит интересно. Узнал про нее буквально неделю назад.

​Поднимите руки кто знает Instana. Это observability-система для контроля распределённых (=микросервисных) приложений. Очень крутая и динамично развивающаяся, как говорится. Самое охрененское — это их визуализации. Больше так никто не делает. Причём все технологии контролируются одним единственным агентом, который после установки на сервер сам распознает что там и как работает. Распространение агентов заточено под использование CI/CD. По деньгам они получаются дешевле Appdynamics или New Relic, если посчитать стоимость за агента.

А сама новость заключается в том, что Instana теперь начала поддерживать мониторинг стека vmware. И это очень позитивная новость, т.к. добавляет дополнительный уровень абстракции в рамках одной системы.

Если хотите пилот на вашей инфре или просто узнать больше — пишите в личку.

👍 — слышал про Instana и считаю интересным решением

👎 — я свой Jaeger, OpenTracing или <свой вариант> не променяю на платное решение

👀 — у меня монолитное приложение, работает на физическом сервере в кладовке и мне не до ваших распределённых глупостей

Scaling to 100k Users

Полезные основы по масштабированию приложений от инженера Alex Pareto, который работает в компании NTWRK (крупный онлайн магазин).

https://alexpareto.com/scalability/systems/2020/02/03/scaling-100k.html

Флант запилил статью про KeyDB аз что им огромное спасибо - давно было интересно послушать про опыт использования этой штуки. Пока все отзывы в основном положительные
https://habr.com/ru/company/flant/blog/478404/
#redis #keydb

[Видео] Как развивался Python в Яндекс / Александр Кошелев (Яндекс)
https://www.youtube.com/watch?v=_5XVRRdDSn8

12 лет назад начался эксперимент по использованию Python в серьезных продуктах компании. Эксперимент получился удачным (кто бы сомневался!) и Python начал свое победное поползновение по сервисам компании. Яндекс.Афиша, Яндекс.Погода - через некоторое время сервисов стало очень много, и вместе с ними начали появляться "лучшие практики" и "устоявшиеся подходы" к решению разных задач.

Red Hat анонсировали окончание поддержки CoreOS Container Linux к сентябрю 🙀😕. Всем рекомендуют переходить на Fedora CoreOS.

http://amp.gs/uO7a
Fedora CoreOS — http://amp.gs/uO7o
И форк CoreOS (Flatcar Container Linux) http://amp.gs/uO7M
#coreos #news

Интересная статья в блоге Sysdig про метрики Kubelet, что они означают и куда смотреть при проблемах

http://amp.gs/uOPu
#sysdig #kubernetes #monitoring

​Мониторинг – это очень важная штука, которую нужно иметь. Это все понимают. Но в то же самое время мониторинг не относится к бизнес-продукту и на напрямую не влияет на прибыль компании, поэтому на мониторинг всегда уделяют время по остаточному принципу. Если у нас есть время, то мы занимаемся мониторингом, если времени нет, то ОК, поставим в бэклог и когда-нибудь вернемся к этим задачам.

Согласны? Голосуйте в конце поста: 👍 — согласен, 👎 — не согласен. В комментах можно написать развёрнутый ответ.

По этой ссылке вы найдёте расшифровку доклада и сам доклад Алексея Лесовского — PostgreSQL DBA в компании Data Egret. Он рассказывает об информативных точках мониторинга БД PostgreSQL.

В конце статьи вы найдёте ссылки на репозитории проектов на гитхабе для мониторинга PostgreSQL.

Если вы еще не пробовали rclone жля бекапов, то пора это делать

https://www.linuxuprising.com/2020/02/cloud-storage-sync-program-rclone-151.html