[Видео] КБМПи №7 Как работать с фикстурами данных в pytest?
https://pythonz.net/videos/135/

Из цикла «Как бы мне?… в Питоне» https://pypi.python.org/pypi/pytest-datafixtures

Celery + asyncio
https://habr.com/ru/post/502380/?utm_campaign=502380&utm_source=habrahabr&utm_medium=rss

Хочу рассказать, как я решал проблему эффективного конкурентного исполнения asyncio задач в Celery.

[Перевод] Высокоскоростной Apache Parquet на Python с Apache Arrow
https://habr.com/ru/post/503132/?utm_campaign=503132&utm_source=habrahabr&utm_medium=rss

Дизайн: высокопроизводительные колоночные данные в Python.

C++ библиотеки Apache Arrow (https://github.com/apache/arrow) и Parquet являются вспомогательными технологиями, которые изначально проектировались нами для согласованной совместной работы.

Одной из основных целей Apache Arrow является создание эффективного межоперационного уровня транспортировки колоночной памяти.

Интеграция .pre-commit hook в Django проект
https://habr.com/ru/post/503270/?utm_campaign=503270&utm_source=habrahabr&utm_medium=rss

Для начала пару слов, о том что такое в целом хуки (hooks) и для чего они могут быть нужны. Git «из коробки» предоставляет инструмент, который умеет запускать ваши скрипты при наступлении какого либо события (к примеру пуш на сервер и т.п.)


.pre-commit это удобная надстройка над дефолтным git pre-commit hook, которая запускает скрипты описанные в .pre-commit-config.yaml перед созданием коммита. В теории звучит просто, перейдем к практике.

surfboard - Novoic's audio feature extraction library
http://github.com/novoic/surfboard

Как выучиться на Data Scientist: наиболее востребованные технические навыки
https://habr.com/ru/post/503330/?utm_campaign=503330&utm_source=habrahabr&utm_medium=rss

Какие технические знания становятся наиболее популярными у работодателей, а какие теряют свою популярность.

Введение в JupyterDash
https://medium.com/plotly/introducing-jupyterdash-811f1f57c02e

Dash приложения внутри Jupyter

Асинхронные задания в Django с Celery
https://habr.com/ru/post/503380/?utm_campaign=503380&utm_source=habrahabr&utm_medium=rss

Если в вашем приложении есть какой-то длительный процесс, вы можете обрабатывать его не в стандартном потоке запросов/ответов, а в фоновом режиме.


Сегодня мы поговорим о процессе настройки и конфигурирования Celery (http://www.celeryproject.org/) и Redis для обработки длительных процессов в приложении на Django, чтобы решать такие задачи. Также мы воспользуемся Docker и Docker Compose, чтобы связать все части вместе, и рассмотрим, как тестировать задания Celery с помощью модульных и интеграционных тестов.

3D ML. Часть 1: формы представления 3D-данных
https://habr.com/ru/post/503358/?utm_campaign=503358&utm_source=habrahabr&utm_medium=rss

Сегодня появляется все больше 3D датасетов и задач, связанных с 3D данными. Это связано с развитием робототехники и машинного зрения, технологий виртуальной и дополненной реальности, технологий медицинского и промышленного сканирования. Алгоритмы машинного обучения помогают решать сложные задачи, в которых необходимо классифицировать трехмерные объекты, восстанавливать недостающую информацию о таких объектах, или же порождать новые. Несмотря на достигнутые успехи, в области 3D ML остаются нерешенными еще очень много задач, и эта серия заметок призвана популяризировать направление среди русскоязычного сообщества.

Learn PyQt: Transmit extra data with signals in PyQt5 & PySide2
https://www.learnpyqt.com/courses/adanced-ui-features/transmitting-extra-data-qt-signals/

Как сделать тематическое моделирование форума быстро или что беспокоит людей с целиакией
https://habr.com/ru/post/503398/?utm_campaign=503398&utm_source=habrahabr&utm_medium=rss

В данной статье я расскажу и покажу на примере, о том, как человек с минимальным Data Science опытом, смог собрать данные из форума и сделать тематическое моделирование постов с использованием LDA модели, и выявил наболевшие темы людей с глютеновой непереносимостью.

Лемматизируй это быстрее (PyMorphy2, PyMystem3 и немного магии)
https://habr.com/ru/post/503420/?utm_campaign=503420&utm_source=habrahabr&utm_medium=rss

При обработке естественного языка требуется предварительная подготовка документов, и одним из способов является лемматизация – приведение всех слов текста к их нормальным формам с учетом контекста.


Недавно мы столкнулись с проблемой больших временных затрат на этот процесс. В конкретной задаче было более 100000 документов, средняя длина которых около 1000 символов, и требовалось реализовать обработку на обычном локальном компьютере, а не на нашем сервере для вычислений. Решение на просторах интернета мы найти не смогли, но нашли его сами, и я хотел бы поделиться — продемонстрировать сравнительный анализ двух наиболее популярных библиотек по лемматизации в этой статье.

StackOverflow: интересные вопросы за неделю (ccxxix)
http://python-weekly.blogspot.com/2020/05/ccxxix-stackoverflow-python-report.html

Django ORM | Оптимизируем запросы
https://habr.com/ru/post/503526/?utm_campaign=503526&utm_source=habrahabr&utm_medium=rss

Несколько утилит для усиления cat/pwd/ls
https://kushaldas.in/posts/a-few-new-generation-command-line-tools.html

#python #pydigest

Сборник Python новостей уже перед вами.

В 335 выпуске Python Дайджест вы найдете:

- Материальный Python. Кастомные карточки с OpenGL эффектами
- Как сделать тематическое моделирование форума быстро или что беспокоит людей с целиакией
- Авторизация пользователя при помощи Starlette + Vue.js
- Как построить диаграмму Венна с 50 кругами?
- Высокоскоростной Apache Parquet на Python с Apache Arrow
- Бизнес-эксперт и программирование. Совмещать нельзя разделять
- [Видео] КБМПи №7 Как работать с фикстурами данных в pytest?
- jupyter-book - делаем интерактивную книгу из Jupyter Notebooks

Заходите в гости - https://pythondigest.ru/issue/335/
Присылайте интересные новости через форму на сайте.

Практики и трюки для масштабирования Celery
https://medium.com/better-programming/python-celery-best-practices-ae182730bb81

textshot - grabbing text from screenshot
http://github.com/ianzhao05/textshot

Fil -  memory profiler for (data) scientists
https://pythonspeed.com/articles/memory-profiler-data-scientists/

Consistent Hashing
https://www.codementor.io/arpitbhayani/consistent-hashing-with-binary-search-16rec8e8eh