Как в Яндекс.Облаке устроено Virtual Private Cloud и как наши пользователи помогают нам внедрять полезные функции

Привет, меня зовут Костя Крамлих, я ведущий разработчик подразделения Virtual Private Cloud в Яндекс.Облаке. Я занимаюсь виртуальной сетью, и, как можно догадаться, в этой статье расскажу об устройстве Virtual Private Cloud (VPC) в целом и виртуальной сети в частности. А ещё вы узнаете, почему мы, разработчики сервиса, ценим обратную связь от наших пользователей. Но обо всём по порядку.

Moscow Kubernetes Meetup #7: Yandex.Cloud & Managed K8s, CI/CD, Service Mesh, Envoy, Tips and Mistakes From Real Experience

Конференция-митап для профессионалов в области Kubernetes, Cloud и DevOps, а также ИТ-руководителей.

Друзья, зима в этом году в Москве была невероятно теплой, а всё потому что совместно с Яндекс.Облаком мы днями и ночами горячо готовились к этому событию.  Уникальное мероприятие конференцию-митап от русскоговорящего сообщества Kubernetes и команды Яндекс.Облако ( https://cloud.yandex.ru ).

На этот раз в ДВА РАЗА БОЛЬШЕ докладов, в два раза больше кофе-брейков, в три раза больше опыта и живого общения.

Казалось бы, прошло всего 5 месяцев с нашего прошлого митапа с Acronis, что ещё могло произойти нового? А произошло фантастически всего много. Почти все крупные компании переехали или уже запланировали переезд на Kubernetes. Объем практики и опыта внедрения, как и новых сложностей, вызванных разнообразными интеграциями и бизнес-задачами, неуклонно растет. Наш Telegram-чат-канал русскоговорящего сообщества Kubernetes ( https://t.me/kubernetes_ru ) уже вырос до 4500 человек, а родной всем “кубер” стал стандартом де-факто в корпоративных инфраструктурах, облачных экосистемах, разработки новых приложений и сервисов.

ВНИМАНИЕ! ВАЖНО!

1. Регистрация действительна только по ссылке: https://cloud.yandex.ru/events/96
2. Друзья, коллеги, чтобы успеть всё обсудить, в этот раз мы начинаем ПОРАНЬШЕ.
3. В этот раз мы начинаем в 17:00. Пожалуйста, учитывайте это в планировании своего графика. 🙂

ПРОГРАММА:

17:00 - 17:10  Welcome talk (Денис Измайлов, Axept)
17:10 - 17:40  Устройство велосипеда: зачем и как в Яндекс.Облаке написали свой k8s management framework (Алексей Баранов, Руководитель подразделения API Gateway & Managed Service for Kubernetes, Яндекс.Облако)

17:40 - 18:10  Топ-10 критичных нюансов при перекате в Kubernetes (Ярослав Былевский, Team Lead отдела Инфраструктуры в МойСклад/1С)

18:10 - 18:40  All Do Sport! История, архитектура и CI/CD-процесс сервиса, развернутого в Яндекс.Облаке (Геннадий Храмов, DevOps-инженер в Декатлон)

18:40 - 19:10  Managed Service for Kubernetes® на 100%. Используем все возможности интеграции managed k8s с Облаком и внешним миром (Нарек Татевосян, Архитектор в Яндекс.Облако)

19:10 - 19:30  Кофе-брейк, пицца
19:30 - 20:00  Kubernetes: 7 ошибок старта против масштабирования (Сергей Орлов, Руководитель разработки в OZON.Travel)

20:00 - 20:30  Опыт использования Kubernetes в СберМаркете (Андрей Иванов, СберМаркет)

20:30 - 21:00  Navigator – service mesh на основе Envoy (Александр Лукьянченко, Lead Engineer департамента Архитектуры в Avito)

21:00 - 22:00  Pre-after-party, свободное общение

Информация о содержимом докладе смотрите на странице события – https://cloud.yandex.ru/events/96

УСЛОВИЯ УЧАСТИЯ:

1. Конференция бесплатная, но вход строго по приглашению.

2. Для того, чтобы отправить заявку, заполните форму по ссылке: https://cloud.yandex.ru/events/96

3. Дождитесь подтверждения или приглашения к онлайн-участию.

ОСТАЛИСЬ ВОПРОСЫ?

Появились вопросы/предложения или может даже готовы выступить с докладом на следующем митапе?
Пишите срочно на events@axept.com или напрямую в Telegram: @DenisIzmaylov

И ЕЩЁ:

1. Подписывайтесь на канал конференции, чтобы быть в курсе событий: https://t.me/kubernetesMSK
2. Вступайте в Facebook-группу: https://www.facebook.com/groups/KubernetesRussia
3. Присоединяйтесь к группе-чату русскоговорящего Kubernetes-сообщества в Telegram (нас уже 4500 участников!): https://t.me/kubernetes_ru

Продолжая тему управления памяти (https://t.me/chiki_briki_it/221): подкаст подлодки с Алексеем Шипилевым (10 лет мучает жаву на предмет производительности):

http://bit.ly/2wPtACz

​2 и 3 марта, в 20.00 (мск) разработчиков, тимлидов, архитекторов и технических руководителей ждут на бесплатном двухдневном онлайн-интенсиве «Индексы и репликация: best practices и подводные камни». Запишитесь, чтобы не пропустить и получить напоминание вовремя: https://otus.pw/twfG/

На интенсиве вы обсудите и проработаете некоторые паттерны и инструменты ускорения работы с базой данных. Для подготовки к практической части занятия желательно установить mysql 5.7

Проведет практические занятия Владислав Родин,  разработчик, архитектор высоконагруженных систем и преподаватель углубленного онлайн-курса «Архитектор высоких нагрузок».

Dispatch - инструмент от Netflix для управления инцидентами. Фактически - это автоматизация поверх Jira, Slack, PagerDuty, GSuite, etc., которая позволяет назначать ответственных людей из одного интерфейса, автоматически создавать необходимые таски, каналы, вот это всё. И кроме того предоставляет дашборды по инцидентам.

Проект на GitHub

Теперь главное, чтобы Netflix не забросил этот проект, как уже случалось со многими...

#toolz #observability #incidents

📚 Linux Observability with BPF
Advanced Programming for Performance Analysis and Networking

#книга #bpf

DevSecOps : What, Why and How

На канал Black Hat дозалили доклады с Black Hat USA 2019, в том числе доклад "DevSecOps : What, Why and How", в  котором Anant Shrivastava проходит по всему пайплану  DevSecOps, приводя примеры и лучшие практики. Рекомендую.

Доклад:
https://youtu.be/DzX9Vi_UQ8o
Материалы:
https://www.blackhat.com/us-19/briefings/schedule/#devsecops--what-why-and-how-17058

#bestpractise

@servers очень любит такие трейсы

https://youtu.be/6ExXwQecMrs

🆖 А вы знали, что у DO есть удобный конфигуратор Nginx'а, который, пожалуй, большинство стандартных кейсов покрывает?

📚 А ещё, вместе с огромной библиотекой мануалов на все случаи жизни, доступен курс Kubernetes for Full-Stack Developers. Периодически обновляемый, актуальный, оформленный в том числе и в книгу (PDF | EPUB).

DO клёвые, вобщем, @servers очень любит такие компании.

#напочитать #линк #digitalocean

Выложены доклады с RSA Conference 2020
https://www.youtube.com/playlist?list=PLeUGLKUYzh_ixxt6PoRiWoJsoGtS-JmKR

Программа
https://www.rsaconference.com/usa/agenda/full-agenda?location=USA&year=2020

RSA Conference является одной из старейших конференций, которая началась в 1991 году, как место общения криптографов. Сейчас список тем обширен. От докладов по сетям 5G до построения процессов DevSecOps.

​​Не так давно, разговаривал с товарищем, по поводу сборки deb пакета из питонячьего кода. Так, чтобы со всеми зависимостями и с virtualenv.

Я предложил то, что использую сам, а именно:

- FPM - сборщик разных типов пакетов (deb, rpm, gem, osxpkg, etc...) 👉 http://bit.ly/32xmgqZ
- недавно собрал docker с FPM + python(3.7/3.8) + зависимости для скрипта сборки 👉 http://bit.ly/2I4ojJu  (сорян, readme напишу)
- сам скрипт (там же в репе всякие systemd unit файлы и прочее): http://bit.ly/2vdVBDu
- собрать вмести и завернуть в вашу CI это хозяйство, и если это у вас opensource, бесплатно захостить пакет на bintray 👉 http://bit.ly/3cfuKYk

Но, естественно это не единственный способ. Мы можем расчехлить pyinstaller и собрать не deb, а бинарник вместе с питоном, и вашим кодом на борту. Подробное howto можно почитать 👉 http://bit.ly/2TmbeAB Самое сложное это написать спеку. А в догонку пример моей сборки такого бинаря на github actions с публикацией в релизы 👉 http://bit.ly/2I4UNn7

Пока я писал все эти буквы, неугомонный @pavkazzz рассказал мне, что можно еще все упаковать в PEX 👉 http://bit.ly/2I39yHa

з.ы. Если не получиться собрать все вместе, есть вопросы или предложения - пишите.

​2 Бесплатный онлайн-практикум REBRAIN при участии Яндекс.Облака: Принимаем 10 000 ивентов в секунду на Яндекс.Облако

Продолжаем серию бесплатных практикумов при участии специалистов из Яндекс.Облака! Как обычно работаем в консоли и отвечаем на ваши вопросы.

Регистрация - https://clck.ru/MJhTK
*Количество мест строго ограничено!
На прошлом занятии был превышен лимит по участникам. Успевайте.

**Время проведения:
3 Марта (Вторник) в 19:00 по МСК

Что будет на практикуме?

🔹Почему очереди сообщений лучше локального файла?
🔹Обзор решений для хранения сообщений
🔹Настройка и развертывания Yandex SQS / Apache Kafka / RabbitMQ
🔹Сравнение производительности на реальной нагрузке

Кто ведет?

Василий Озеров - основатель агентства Fevlake (fevlake.com) и действующий Devops-инженер (опыт в Devops 8 лет). Регулярно выступает на RootConf, DevOpsConf Russia, HighLoad.

Флант добрался до Яндекс.Облака https://habr.com/ru/company/flant/blog/490356/

https://grafana.com/blog/2020/02/25/step-by-step-guide-to-setting-up-prometheus-alertmanager-with-slack-pagerduty-and-gmail/

#grafana #pagerduty

​​Director is a simple and rapid framework used to manage tasks and build workflows using Celery.

The objective is to make Celery easier to use by providing:

- a WebUI to track the tasks states,
- an API and a CLI to manage and execute the workflows,
- a YAML syntax used to combine tasks into workflows,
- the ability to periodically launch a whole workflow,
- and many others.

https://github.com/ovh/celery-director

#python

Databases Meetup #1

🎥 Прямая трансляция
https://www.youtube.com/watch?v=-BIL-Troie0

Видео лекций Computer Science клуба
https://habr.com/ru/post/490416/
Tags: Блог компании Образовательные проекты JetBrains, Алгоритмы, Haskell, Компиляторы, образование, образовательные ресурсы, образование онлайн, компьютерные науки, computer science, computer science club
Author avsmal #habr

Я с недавнего времени присоеденился к команде разработки open-source мониторинга VictoriaMetrics (я вообще всегда интересовался мониторингом) и не могу не поделиться отличной статьей от CEO Percona о его опыте использования VictoriaMetrics https://www.percona.com/blog/2020/02/28/better-prometheus-rate-function-with-victoriametrics/

Выложены доклады с Heisenbug 2019 Moscow
https://www.youtube.com/playlist?list=PLsVTVVvrKX9tyVb79MeUZAox5OTInS1wE

Программа
https://2019.heisenbug-moscow.ru/schedule/

Your Kubernetes app is down. Your users start ranting on Twitter. Your boss is standing right behind you. What do you do?
This talk walks you through a live debugging session without panicking:
• What do your health checks say?
• Where does your monitoring point you?
• Can you get more details from your application's traces?
• Is there anything helpful in the logs?
• What the heck is even deployed?
We are using the Elastic Stack in this demo with a special focus on its Kubernetes integration with metadata enrichment and autodiscovery in combination with APM / tracing, metrics, logs, and health checks

Live Kubernetes Debugging with the Elastic Stack
https://www.youtube.com/watch?v=LvhIMkr0rXg