Web Scraping. Часть 1
https://habr.com/ru/post/488720/?utm_campaign=488720&utm_source=habrahabr&utm_medium=rss

Недавно у меня возникла идея о том, чтобы поделиться с интересующимся кругом лиц о том как пишутся скраперы. Так как большинству аудитории знаком Python все дальнейшие примеры будут написаны на нём.

 
Данная часть рассчитана для того, чтобы познакомить тех, кто ещё не пробовал себя в данной сфере. Если вы уже продвинутый читатель, то можете смело листать дальше, но для сохранения закономерности я бы посоветовал уделить немного внимания данной статье.

Создаем Todo приложение c помощью Django. Часть 1
https://habr.com/ru/post/488748/?utm_campaign=488748&utm_source=habrahabr&utm_medium=rss

Джанго это мощный фреймворк для создания веб-приложений. Изначально Django был создан для того, чтобы быстро создавать, например, новостные сайты (или другие сайты, который нужно создавать максимально быстро). И после нативного PHP не покидает ощущение, что ты едешь на очень быстрой машине разработки. Чтобы посмотреть все его возможности для быстрой разработки, мы с вами попробуем создать простое Todo — приложение.

А как вам такой вариант управления зависимостями в Python?
https://habr.com/ru/post/488782/?utm_campaign=488782&utm_source=habrahabr&utm_medium=rss

Недавно я решил, что пора наконец-то разобраться в теме управления зависимостями в моих Python проектах и начал искать решение, которое бы меня полностью устроивало. Я поэкспериментировал с pipenv, проштудировал документацию к poetry, почитал другие статьи по теме. К сожалению, идеального решения я так и не нашел. В результате, я изобрел новый велосипед свой подход, который и предлагаю обсудить под катом.

Изучаем Serverless в GCP
https://ralsina.me/weblog/posts/learning-serverless-in-gcp.html

Пандас и другие для толстых данных
https://habr.com/ru/post/488594/?utm_campaign=488594&utm_source=habrahabr&utm_medium=rss

В этой заметке я расскажу о паре простых приемов, полезных при работе с данными, не помещающимися в память локальной машины, но все еще слишком мелкими чтобы называться Большими. Следуя англоязычной аналогии (large but not big), будем называть эти данные толстыми. Речь идет о размерах в единицы и десятки гигабайт.

Логирование изменения данных в моделях Django
https://webdevblog.ru/logirovanie-izmeneniya-dannyh-v-modelyah-django/

В этой статье я бы хотел рассказать как можно реализовать автоматический контроль над изменениями данных в проектах построенных с использованием Django.

Как проверить навыки программирования на Python? Задачи от Яндекса
https://habr.com/ru/post/488682/?utm_campaign=488682&utm_source=habrahabr&utm_medium=rss

В 2019 году нам потребовалось автоматизированно проверить умение писать Python-код у сотен разработчиков. Так мы отбирали будущих студентов для Школы бэкенд-разработки. Это не то же самое, что предложить решить задачу на листе бумаги, как на собеседовании. С другой стороны, мы также не могли переиспользовать условия задач, уже подготовленные для наших соревнований по программированию. Дело в том, что соревнования с целью определить лучших из лучших — это одно, а отбор специалистов с небольшим опытом в школу — совсем другое. Нам требовались задачи, по решению которых было бы видно, обладает ли разработчик базовыми навыками написания кода и умением грамотно использовать память и время. Вот какие условия мы составили.

Настройка функции потерь для нейронной сети на данных сейсморазведки
https://habr.com/ru/post/488852/?utm_campaign=488852&utm_source=habrahabr&utm_medium=rss

В прошлой статье (https://habr.com/ru/company/ods/blog/482780/) мы описали эксперимент по определению минимального объема вручную размеченных срезов для обучения нейронной сети на данных сейсморазведки. Сегодня мы продолжаем эту тему, выбирая наиболее подходящую функцию потерь.


Рассмотрены 2 базовых класса функций – Binary cross entropy и Intersection over Union – в 6-ти вариантах с подбором параметров, а также комбинации функций разных классов. Дополнительно рассмотрена регуляризация функции потерь.


Спойлер: удалось существенно улучшить качество прогноза сети.

Использование faiss для поиска по многомерным пространствам
https://habr.com/ru/post/488658/?utm_campaign=488658&utm_source=habrahabr&utm_medium=rss

Осенью 2019 мы запустили сервис поиска похожих изображений на основе библиотеки faiss. Он помогает нам понимать, что фотографии уже встречались в другом объявлении, даже если они достаточно серьёзно искажены: размыты, обрезаны и тому подобное. Так мы определяем потенциально фейковые публикации.
 
Мне бы хотелось рассказать о тех проблемах, с которыми мы столкнулись в процессе создания этого сервиса, и наших подходах к их решению.

[Видео] Метрики сложности кода: как сделать просто и хорошо
https://www.youtube.com/watch?v=7EJ5_ONxoyg

Какие ключевые метрики сложности кода существуют. Вы познакомитесь с двумя разными концепциями сложности. Были рассмотрены сложные примеры и способы борьбы.

Использование MongoDB с Python (PyMongo)
https://stackabuse.com/integrating-mongodb-with-python-using-pymongo/

Инструменты для связывания событий и Fuzzy Matching
https://pbpython.com/record-linking.html

Podcast.__init__: APIs, Sustainable Open Source and The Async Web With Tom Christie
https://www.pythonpodcast.com/apis-sustainable-open-source-and-the-async-web-with-tom-christie/

Audio

Меню консольных команд на python
https://habr.com/ru/post/488946/?utm_campaign=488946&utm_source=habrahabr&utm_medium=rss

Очень часто во время работы над каким-либо проектом возникают задачи решение которых требует ввода в консоль нескольких команд, такие как, например, пересборка фронтенда, запуск/остановка нескольких docker-контейнеров, развертывание окружения на новом девелоперском компе и тому подобные вещи.


И вот, собственно, однажды возникла идея как сократить время на это вот все, максимально упростив процесс, реализовав небольшую утилиту, позволяющую обернуть наборы часто производимых действий в пункты удобного меню выводимого в консоль.

[Видео] Как мы в Яндексе следим за производительностью веб-приложений / Кирилл Дунаев (Яндекс)
https://www.youtube.com/watch?v=Gf4okDx44W0

Большинство разработчиков собирают логи своих приложений. Обращения к базе данных, HTTP-запросы и ответы API, задачи Celery. Логи полезны: там видны пятисотки от внешних сервисов, проседания производительности и неожиданно возросшее время ответа после деплоя в пятницу вечером.

Test and Code: 101: Application Security - Anthony Shaw
https://testandcode.com/101

Audio

[Видео] Алексей Рябчиков - Как написать свой Твиттер и не прогореть
https://www.youtube.com/watch?v=5g8_fHkaqfA

Почти каждый месяц появляются новости об утечках данных пользователей из социальных сетей. На этой волне я написал twitter-оподобную социальную сеть с заложенной цепочкой уязвимостей для соревнований типа CTF. На ее примере я расскажу про разработку современного web-сервиса и его возможные уязвимости. Рассмотрим, что к ним привело, и как их можно было избежать при проектировании и разработке.

[Видео] Александр Артеменко - Бесполезный REPL
https://www.youtube.com/watch?v=_6jrrnoOGBE

Из этого доклада вы узнаете о том, почему REPL в Python бесполезен, даже если это волшебный ipython. Будет предложено одно из возможных решений этой проблемы. В первую очередь доклад будет интересен тем, кого интересует более быстрая и эффективная разработка, а также тем, кто разрабатывает stateful системы.

StackOverflow: интересные вопросы за неделю (ccxvi)
http://python-weekly.blogspot.com/2020/02/ccxvi-stackoverflow-python-report.html

[Видео] Александр Горохов - Питон в бигдате
https://www.youtube.com/watch?v=bj5w1a3xW3s

Big Data сегодня — динамически развивающаяся отрасль. Как бы мы могли использовать python для обработки больших объёмов данных? В этом ознакомительном докладе я расскажу про Apache Spark, и как его можно использовать для обработки данных на python.