Собираем данные AlphaVantage с Faust. Часть 1. Подготовка и введение
https://habr.com/ru/post/519882/?utm_campaign=519882&utm_source=habrahabr&utm_medium=rss

Не так давно мне пришлось работать над бэкендом высоко нагруженного проекта, в котором нужно было организовать регулярное выполнение большого количества фоновых задач со сложными вычислениями и запросами на сторонние сервисы. Проект асинхронный и до того, как я пришёл, в нём был простой механизм крон-запуска задач: цикл с проверкой текущего времени и запуск групп корутин через gather — такой подход оказался приемлем до момента, пока таких корутин были десятки и сотни, однако, когда их количество перевалило через две тысячи, пришлось думать об организации нормальной очереди задач с брокером, несколькими воркерами и прочим.

HackTheBox. Прохождение Multimaster. Burp+Sqlmap. AD users from MSSQL. Уязвимость в VSCode. AMSI bypass и CVE ZeroLogon
https://habr.com/ru/post/519814/?utm_campaign=519814&utm_source=habrahabr&utm_medium=rss

Продолжаю публикацию решений, отправленных на дорешивание машин с площадки HackTheBox (https://www.hackthebox.eu/).


В данной статье очень много всего. Посмотрим как для удобства совместить Burp Suite и sqlmap, узнаем как получить пользователей домена имея доступ к MSSQL, эксплуатируем уязвимость в Visual Studio Code, блокируем AMSI, выполняем AS-REP Roasting для получения учетных данных и повышаем привилегии из группы Server Operators. А в качестве демонстрации новой уязвимости ZeroLogon, захватим эту же машину другим путем меньше чем за 5 минут.

Python 3.9: все, что вам нужно знать
https://webdevblog.ru/python-3-9-vse-chto-vam-nuzhno-znat/

Перевод: Ayushi Rawat (https://dev.to/ayushi7rawat) — Python 3.9: All You need to know (https://dev.to/ayushi7rawat/python-3-9-all-you-need-to-know-9h4)

TDD in Python with pytest - Part 5
https://www.thedigitalcatonline.com/blog/2020/09/21/tdd-in-python-with-pytest-part-5/

Machine learning в анализе логов Netflix
https://habr.com/ru/post/520028/?utm_campaign=520028&utm_source=habrahabr&utm_medium=rss

Представьте лог на 2,5 гигабайта после неудачной сборки. Это три миллиона строк. Вы ищете баг или регрессию, которая обнаруживается на миллионной строке. Вероятно, найти одну такую строку вручную просто невозможно. Один из вариантов — diff между последней успешной и упавшей сборкой в надежде на то, что баг пишет в журналы необычные строки. Решение Netflix быстрее и точнее LogReduce — под катом.

Test and Code: 131: Test Smarter, Not Harder
https://testandcode.com/131

Audio

OpenCV: Automatic License/Number Plate Recognition (ANPR) with Python
https://www.pyimagesearch.com/2020/09/21/opencv-automatic-license-number-plate-recognition-anpr-with-python/

In this tutorial, you will build a basic Automatic License/Number Plate (ANPR) recognition system using OpenCV and Python.

Django Search Tutorial
https://learndjango.com/tutorials/django-search-tutorial

Podcast.__init__: Flexible Network Security Detection And Response With Grapl - Episode 281
https://www.pythonpodcast.com/grapl-network-security-episode-282/

Audio

#python #pydigest

Сборник Python новостей уже перед вами.

В выпуске Python Дайджест вы найдете:

- Python 3.9: все, что вам нужно знать
- Как я умный аквариум делал (backend)
- Как трекать людей в масках или универсальный подход к трекингу объектов произвольной природы
- Напишем и поймем Decision Tree на Python с нуля! Часть 3
- Масштабируемая классификация данных для безопасности и конфиденциальности
- Фоновые задачи на Faust, Часть II: Агенты и Команды
- [Видео] Moscow Python Podcast. Профессии в ML и DS
- Python 3.8.6

Заходите в гости - https://pythondigest.ru/issue/353/
Присылайте интересные новости через форму на сайте.

Лучшие инструменты с открытым исходным кодом и библиотеки для Deep Learning — ICLR 2020 Experiencebi
https://habr.com/ru/post/519694/?utm_campaign=519694&utm_source=habrahabr&utm_medium=rss

Сложно найти на Хабре человека, который не слышал бы про нейронные сети. Регулярные новости о свежих достижениях нейронных сетей заставляют удивляться широкую публику, а также привлекают новых энтузиастов и исследователей. Привлеченный поток специалистов способствует не только еще большим успехам нейронных моделей, но и приводит к развитию инструментов для более удобного использования Deep Learning подходов. Помимо всем известных фреймворков Tensorflow и PyTorch активно развиваются и другие библиотеки, нередко более гибкие, но менее известные.  Эта статья является переводом одного из постов neptune.ai и освещает самые интересные инструменты для глубокого обучения, представленные на конференции по машинному обучения ICLR 2020.

Как мы оркестрируем процессы обработки данных с помощью Apache Airflow
https://habr.com/ru/post/518620/?utm_campaign=518620&utm_source=habrahabr&utm_medium=rss

В нашем департаменте Airflow играет роль оркестратора процессов обработки больших данных, с его помощью мы загружаем в Hadoop данные из внешних систем, обучаем ML модели, а также запускаем проверки качества данных, расчеты рекомендательных систем, различных метрик, А/Б-тестов и многое другое.

Напишем и поймем Decision Tree на Python с нуля! Часть 3. Библиотека для анализа данных Pandas
https://habr.com/ru/post/520204/?utm_campaign=520204&utm_source=habrahabr&utm_medium=rss

Представляю вашему вниманию перевод статьи "Pythonで0からディシジョンツリーを作って理解する　（3. データ分析ライブラリPandas編） (https://qiita.com/toyohisa/items/180c0b1df42fb188f920)".

TestDriven.io: Async Views in Django 3.1
https://testdriven.io/blog/django-async-views/

Read-Only Attribute
https://www.pythonmorsels.com/topics/read-only-attribute/

Django Best Practices: Security
https://learndjango.com/tutorials/django-best-practices-security

Фоновые задачи на Faust, Часть II: Агенты и Команды
https://habr.com/ru/post/520274/?utm_campaign=520274&utm_source=habrahabr&utm_medium=rss

Часть II. Узнаем, как писать агентов, обрабатывающих стрим событий из kafka, а так же как написать команды (обёртка на click).

3D ML. Часть 4: дифференциальный рендеринг
https://habr.com/ru/post/520268/?utm_campaign=520268&utm_source=habrahabr&utm_medium=rss

В нескольких предыдущих заметках данной серии мы уже упоминали понятие дифференциального рендеринга. Сегодня пришло время разъяснить что это такое и с чем это едят.

Масштабируемая классификация данных для безопасности и конфиденциальности
https://habr.com/ru/post/520376/?utm_campaign=520376&utm_source=habrahabr&utm_medium=rss

Классификация данных на основе контента — это открытая задача. Традиционные системы предотвращения потери данных (DLP) решают эту проблему путем снятия отпечатков с соответствующих данных и мониторинга конечных точек для снятия отпечатков. Учитывая большое количество постоянно меняющихся ресурсов данных в Facebook, этот подход не только не масштабируется, но и неэффективен для определения того, где находятся данные. Эта статья посвящена сквозной системе, построенной для обнаружения чувствительных семантических типов в Facebook в масштабе и автоматического обеспечения хранения данных и контроля доступа.

Talk Python to Me: #283 Web scraping, the 2020 edition
https://talkpython.fm/episodes/show/283/web-scraping-the-2020-edition

Audio