Size: a a a

2019 June 29
PythonDigest
Как решить старую задачу с помощью ML на Python и .Net
https://habr.com/ru/post/457072/?utm_campaign=457072&utm_source=habrahabr&utm_medium=rss

Бывает, что некоторые задачи преследуют тебя много лет. Для меня такой задачей стала склейка предложений текстов, в которых жестко забит переход на новую строку, а часто еще и перенос слов. На практике, это извлеченный из PDF или с помощью OCR текст. Часто можно было встретить такие тексты на сайтах он-лайн библиотек, в архивах старых документов, которые редактировались еще DOS-редакторами. И такое форматирование очень мешает затем правильной разбивке на предложения (а с переносами — и на токены) для последующей NLP-обработки. Да и банально показать такой документ в поисковой выдаче — будет некрасиво.
источник
PythonDigest
10 фич для ускорения анализа данных в Python
https://habr.com/ru/post/457302/?utm_campaign=457302&utm_source=habrahabr&utm_medium=rss

Советы и рекомендации, особенно в программировании, могут быть очень полезны. Маленький шоткат, аддон или хак может сэкономить кучу времени и серьёзно увеличить производительность. Я собрала свои самые любимые и сделала из них эту статью. Какие-то из советов ниже уже известны многим, а какие-то появились совсем недавно. Так или иначе, я уверена, они точно не будут лишними, когда вы в очередной раз приступите к проекту по анализу данных.
источник
PythonDigest
Деплоим на PythonAnywhere из GitHub
https://habr.com/ru/post/457348/?utm_campaign=457348&utm_source=habrahabr&utm_medium=rss

Каждый может сделать так:
 
локальный проект → github

С (платным) ssh доступом вы сможете сделать так:
локальный проект → PythonAnywhere
В статье показано как (бесплатно) сделать так:
локальный проект → github → PythonAnywhere
Сначала я перечислю, зачем вам это может быть нужно, а затем перейду к тому как реализовать. Не стесняйтесь просколлить статью, если первая часть вам не интересна.
источник
PythonDigest
Добавляем водяной знак на изображение в Python
https://pybit.es/pillow-intro.html
источник
PythonDigest
Как использовать в Python лямбда-функции
https://webdevblog.ru/kak-ispolzovat-v-python-lyambda-funkcii/

В Python и других языках, таких как Java, C# и даже C++, в их синтаксис добавлены лямбда-функции, в то время как языки, такие как LISP или семейство языков ML, Haskell, OCaml и F#, используют лямбда-выражения.

Python-лямбды – это маленькие анонимные функции, подчиняющиеся более строгому, но более лаконичному синтаксису, чем обычные функции Python.
источник
PythonDigest
QVD-файлы — что внутри, часть 3
https://habr.com/ru/post/457102/?utm_campaign=457102&utm_source=habrahabr&utm_medium=rss

В первой статье (https://habr.com/ru/company/alfastrah/blog/454302/) о структуре QVD-файла я описал общую структуру и достаточно подробно остановился на метаданных, во второй (https://habr.com/ru/company/alfastrah/blog/455940/) — на хранении колонок (символов). В этой статье я опишу формат хранения информации о строках, подытожу, расскажу о планах и достижениях.
источник
PythonDigest
Как настроить инфраструктуру веб-аналитики за $100 в месяц
https://habr.com/ru/post/457052/?utm_campaign=457052&utm_source=habrahabr&utm_medium=rss

Рано или поздно почти любая компания сталкивается с проблемой развития веб-аналитики. Это не значит, что нужно только поставить код Google Analytics на сайт — нужно найти пользу в полученных данных. В этом посте я расскажу, как это сделать максимально эффективно, затратив незначительные (по меркам профильных сервисов) деньги.
источник
PythonDigest
Автоматическое назначение задач в Jira с помощью ML
https://habr.com/ru/post/457418/?utm_campaign=457418&utm_source=habrahabr&utm_medium=rss

Эта статья о том, как мы с помощью машинного обучения автоматизировали рутинный процесс назначения задач на тестировщиков.


В hh.ru есть внутренняя служба, на которую в Jira создаются задачи (внутри компании их называют HHS), если у кого-то что-то не работает или работает неправильно. Дальше эти задачи вручную обрабатывает руководитель группы QA Алексей и назначает на команду, в чью зону ответственности входит неисправность. Лёша знает, что скучные задачи должны выполнять роботы. Поэтому он обратился ко мне за помощью по части ML.
источник
PythonDigest
[Видео] ГБИ или не ГБИ: будущее многоядерного (C)Python
https://pythonz.net/videos/125/

Что вам от ещё одного выступления про ГБИ (это глобальная блокировка интерпретатора, из-за которой код на Питоне не может быть распараллелен по ядрам)?

Конечно мы посвятим часть времени описанию того, что это такое, того на что она влияет и на что не влияет, и того как её можно обойти. Но главное — мы поговорим о возможном будущем. И вероятно даже о будущем после ГБИ. Будущем, к которому ведут нас изыскания, производимые нами в настоящем. Будущем Питона, исполняемого на многих ядрах.
источник
PythonDigest
Скачиваем аудио вконтакте через клиентский js или расширение файлов .m3u8
https://habr.com/ru/post/457438/?utm_campaign=457438&utm_source=habrahabr&utm_medium=rss

Как всегда, зависая вконтакте, я решил скачать пару новых аудиозаписей на комп. Но меня ждало разочарование: аудиозаписи возвращались в каком-то странном формате: m3u8. Этот формат даже vlc media pleyer не воспроизводил, и я стал думать, что делать…
источник
PythonDigest
Форматирование Input, Output в Python
https://realpython.com/python-input-output/
источник
PythonDigest
Реализация целого типа в CPython
https://habr.com/ru/post/455114/?utm_campaign=455114&utm_source=habrahabr&utm_medium=rss

Казалось бы, что можно написать про обычный целочисленный тип? Однако тут не всё так просто и целочисленный тип не такой уж и очевидный.


Если вам интересно, почему x * 2 быстрее x << 1.
источник
PythonDigest
[Видео] Решение проблемы консистентности распределенных данных в микросервисах для Python-проектов
https://www.youtube.com/watch?v=awbS6tKu1ys

Сталкивались ли вы с проблемой: как быть с разделяемыми данными для приложения с микросервисной архитектурой? Как держать их в консистентом состоянии? Как сделать так, чтобы API для работы с этими данными не тормозили? Расскажу, какой подход мы выбрали в рамках нашего продукта и почему
источник
2019 June 30
PythonDigest
[Видео] Вся мощь в JWT, JWS, JSS JWS, JWA, JWK and JWE и зачем они нужны​
https://www.youtube.com/watch?v=7EgqwLbC3rw

Про тонкости, расширенные возможности, про цепочки подписей x.509, как можно организовать свои цепочки подписей. Ну и в общем, как устроить защищённое общение между своими/сторонними сервисами по стандартам RFC. Ну и конечно, как это все использовать на Python
источник
PythonDigest
Talk Python to Me: #218 Serverless Python functions in Azure
https://talkpython.fm/episodes/show/218/serverless-python-functions-in-azure

Audio
источник
PythonDigest
elasticsearch-py - Official Python low-level client for Elasticsearch.
http://github.com/elastic/elasticsearch-py
источник
PythonDigest
Мелкая питонячая радость #5: Dynaconf — управление настройками в проекте
https://habr.com/ru/post/457196/?utm_campaign=457196&utm_source=habrahabr&utm_medium=rss

Некоторые вопросы в мире питонячей разработки имеют магическую силу поднимать целые армии людей, направлять их на священную войну и заставлять кидать друг в друга целыми кучами аргументов, выкладок и кусков кода. Иногда, когда доводы заканчиваются, враждующие армии быстро переходят к ведению боевых действий с помощью перекидывание кучек вербальных экскрементов.
источник
PythonDigest
Что я узнал про оптимизацию в Python
https://habr.com/ru/post/457942/?utm_campaign=457942&utm_source=habrahabr&utm_medium=rss

Я использовал Python чаще, чем любой другой язык программирования в последние 4-5 лет. Python – преобладающий язык для билдов под Firefox, тестирования и инструмента CI. Mercurial также в основном написан на Python. Множество своих сторонних проектов я тоже писал на нем.


Во время своей работы я получил немного знаний о производительности Python и о его средствах оптимизации. В этой статье мне хотелось бы поделиться этими знаниями.
источник
PythonDigest
На пути к ядру Питона
https://habr.com/ru/post/458092/?utm_campaign=458092&utm_source=habrahabr&utm_medium=rss

Представляю вашему вниманию перевод статьи Toward a “Kernel Python” (https://glyph.twistedmatrix.com/2019/06/kernel-python.html) автора Glyph Lefkowitz (создателя фреймворка Twisted).
источник
PythonDigest
источник