[Видео] Денис Тимофеев - Как мы не пишем тесты
https://www.youtube.com/watch?v=Yek3TQYA5yQ

Вы что код с ошибками пишете?! Да! И чтобы их обнаружить, в дополнение к программе мы пишем тесты. Но так ли они хороши? Во время доклада обсудим несколько простых техник тестирования, которые мы обычно не применяем.

Невероятная производительность ввода-вывода с параллельным Apache Parquet на Python
https://habr.com/ru/post/489062/?utm_campaign=489062&utm_source=habrahabr&utm_medium=rss

В этой статье я расскажу о том, как Parquet сжимает большие наборы данных в маленький файл footprint, и как мы можем достичь пропускной способности, значительно превышающей пропускную способность потока ввода-вывода, используя параллелизм (многопоточность).

Ансамбли нейронных сетей с PyTorch и Sklearn
https://habr.com/ru/post/489058/?utm_campaign=489058&utm_source=habrahabr&utm_medium=rss

Нейронные сети довольно популярны. Их главное преимущество в том, что они способны обобщать довольно сложные данные, на которых другие алгоритмы показывают низкое качество. Но что делать, если качество нейронной сети все еще неудовлетворительное?

 
И тут на помощь приходят ансамбли...

[Видео] Django в стартапе: от 0 до 150 000 строк кода, не жертвуя качеством
https://www.youtube.com/watch?v=ANrmiJrnkew

Речь пойдет о том, как мы поддерживаем здоровье кодовой базы в проекте с безумными требованиями к скорости и постоянно меняющимися задачами. Мы поговорим про TDD, SOLID и KISS там, где люди меньше всего к этому готовы — в стартапе, который доставляет стройматериалы

[Видео] NLP cookbook: анализируем тексты на Python с минимальными знаниями о машинном обучении
https://www.youtube.com/watch?v=-2O0ODmnw1o

Большой объем информации в интернете хранится в текстах: новости, комментарии, сообщения и даже вакансии. В докладе мы рассмотрим набор рецептов по анализу текста на Python не углубляясь в теорию. Возможно, рецепты вдохновят вас узнать про лежащие в основе методы больше, но в любом случае сразу после доклада у вас будет понимание, как применять полученные сниппеты у себя в работе

Python Bytes: #169 Jupyter Notebooks natively on your iPad
https://pythonbytes.fm/episodes/show/169/jupyter-notebooks-natively-on-your-ipad

Audio

[Видео] Как мы делаем предсказуемо хорошие микросервисы / Олег Ермаков (ЦИАН)
https://www.youtube.com/watch?v=qv-l1oxZFmM

Мы в ЦИАН любим микросервисы: на C#, на JS и, конечно же, на Python. Когда создаешь микросервис в 50-й раз, уже видишь повторяющиеся шаги и примерно представляешь себе "минимальный джентльменский набор" того, что должно быть внутри.

Добавление своих полей в отчет Pytest
https://habr.com/ru/post/489108/?utm_campaign=489108&utm_source=habrahabr&utm_medium=rss

Столкнулся с задачей модификации html-отчета при работе с pytest, в результате чего нашёл удобное для своей задачи решение, хочу им поделиться — возможно кому-то пригодиться.

Как в Python реализованы очень длинные числа типа integer?
https://habr.com/ru/post/489258/?utm_campaign=489258&utm_source=habrahabr&utm_medium=rss

Когда вы пишете на низкоуровневом языке, таком как С, вы беспокоитесь о выборе правильного типа данных и спецификаторах для ваших целых чисел, на каждом шаге анализируете достаточно ли будет использовать просто int или нужно добавить long или даже long double. Однако при написании кода на Python вам не нужно беспокоиться об этих «незначительных» вещах, потому что Python может работать с числами типа integer любого размера.


В С, если вы попытаетесь вычислить 2^20000 с помощью встроенной функции powl, то на выходе получите inf.

[Видео] Как варить вкусный статический анализ кода / Илья Лебедев (bestdoctor.ru)
https://www.youtube.com/watch?v=Riylu4HngfI

У вас настроен супер-стрикт-набор валидаторов кода, обязательная аннотация типов без Any и требования стопроцентного покрытия кода тестами? У меня тоже нет. Это не потому, что мы с вами бесполезные и непрофессиональные разработчики, а потому что надо дело делать, а не типы вылизывать.

Talk Python to Me: #252 What scientific computing can learn from CS
https://talkpython.fm/episodes/show/252/what-scientific-computing-can-learn-from-cs

Audio

Оптимизиция кода для запуска в Jupyter Notebook
https://towardsdatascience.com/optimize-python-code-in-jupyter-notebook-9df92832a23e

8 ETL инструментов Python
https://towardsdatascience.com/python-etl-tools-best-8-options-5ef731e70b49

#python #pydigest

Сборник Python новостей уже перед вами.

В 322 выпуске Python Дайджест вы найдете:

- Airflow на примере
- Ансамбли нейронных сетей с PyTorch и Sklearn
- Пандас и другие для толстых данных
- Добавление своих полей в отчет Pytest
- Использование faiss для поиска по многомерным пространствам
- Создаем Todo приложение c помощью Django. Часть 1
- [Видео] Как варить вкусный статический анализ кода
- [Видео] Как мы делаем предсказуемо хорошие микросервисы
- [Видео] Django в стартапе: от 0 до 150 000 строк кода, не жертвуя качеством


Заходите в гости - https://pythondigest.ru/issue/322/
Присылайте интересные новости через форму на сайте.

Сводка новостей от pythonz.net 16.02.2020 — 23.02.2020
http://pythonz.net/articles/296/

Hack The Box — прохождение Zetta. FXP, IPv6, rsync, Postgres и SQLi
https://habr.com/ru/post/489588/?utm_campaign=489588&utm_source=habrahabr&utm_medium=rss

Продолжаю публикацию решений отправленных на дорешивание машин с площадки HackTheBox (https://www.hackthebox.eu/). Надеюсь, что это поможет хоть кому-то развиваться в области ИБ. В данной статье узнаем IPv6 адрес сервера с помощью FXP, поработаем с rsync, а также запишем ssh-ключ используя SQL-инъекцию при обработке журналов логов в Postgres.


Подключение к лаборатории осуществляется через VPN. Рекомендуется не подключаться с рабочего компьютера или с хоста, где имеются важные для вас данные, так как Вы попадаете в частную сеть с людьми, которые что-то да умеют в области ИБ :)

Простой мессенджер на tkinter, socket и threading
https://dantealighierin.github.io/pychat.html

В этой статье я бы хотел показать как написать простое приложение мессенджер менее чем в 150 строк.

Сдруживаем Python и Bash: библиотеки smart-env и python-shell
https://habr.com/ru/post/489622/?utm_campaign=489622&utm_source=habrahabr&utm_medium=rss

На сегодняшний день Python является одним из наиболее используемых языков в сфере создания не только непосредственно программных продуктов, но также обеспечения их инфраструктуры. Вследствие этого многим девопсам, по их воле или против оной, пришлось учить новый язык для последующего использования в качестве дополнения к старым добрым Bash-скриптам. Однако Bash и Python исповедуют различные подходы к написанию кода и имеют определенные особенности, в виду чего портирование Bash-скриптов на «змеиный язык» иногда оказывается ёмкой и далеко не тривиальной задачей.


Чтобы упростить жизнь девопсам, создано и продолжает создаваться много полезных библиотек и утилит на Python. Данная статья описывает сразу две новых библиотеки, созданные автором сего поста — smart-env (https://pypi.org/project/smart-env/) и python-shell (https://pypi.org/project/python-shell/) — и призванные избавить девопса от необходимости уделять много внимания тонкостям работы с Python, оставляя простор для более интересных задач. Сфера деятельности библиотек — переменные окружения и запуск внешних утилит.

Diagram as Code: визуализируем cloud architecture diagrams из кода
https://medium.com/better-programming/diagrams-diagram-as-code-56fec222cdf6

Как сжать модель fastText в 100 раз
https://habr.com/ru/post/489474/?utm_campaign=489474&utm_source=habrahabr&utm_medium=rss

Модель fastText — одно из самых эффективных векторных представлений слов для русского языка. Однако её прикладная польза страдает из-за внушительных (несколько гигабайт) размеров модели. В этой статье мы показываем, как можно уменьшить модель fastText с 2.7 гигабайт до 28 мегабайт, не слишком потеряв в её качестве (3-4%). Спойлер: квантизация и отбор признаков работают хорошо, а матричные разложения — не очень. Также мы публикуем пакет (https://github.com/avidale/compress-fasttext) на Python для этого сжатия и примеры компактной модели (https://github.com/avidale/compress-fasttext/releases/tag/v0.0.1) для русских слов.