В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Django [ru] #STAY HOME

2735 membersпожаловаться на группу
2020 February 07

PZ

Pavel Zagrebelin in Django [ru] #STAY HOME
Muslim Beibytuly
Асинхронная обработка файлов и работа с ними - не самый оптимизированный кейс для python, микросервис на gokit с минимальными усилиями решит это проблему
насколько я понял, там не сколько в файлах основная обработка, сколько в пережёвывании данных в них. А тензорфло/панда/керас/что там сейчас у датасайнса в моде - вроде бы неплохи по скорости?
источник
22:46пожаловаться#1

VR

Vadim Rufov in Django [ru] #STAY HOME
Да, неплохи. Причем большие датасеты можно разбить на чанки и распараллелить из обработку
источник
22:47пожаловаться#2

VR

Vadim Rufov in Django [ru] #STAY HOME
Но интересовал именно архитектурный момент такого приложения. Данные всегда можно сжать(изменив тип данных), можно распараллелить, можно посмотреть в сторону генераторов. Всяких приемов оч много и они легко гуглятся))) а вот такое, увы, не получилось))
источник
22:49пожаловаться#3

MB

Muslim Beibytuly in Django [ru] #STAY HOME
Vadim Rufov
Но интересовал именно архитектурный момент такого приложения. Данные всегда можно сжать(изменив тип данных), можно распараллелить, можно посмотреть в сторону генераторов. Всяких приемов оч много и они легко гуглятся))) а вот такое, увы, не получилось))
мб тогда попробовать cython? при работе с tensorflow получили большой буст
источник
22:52пожаловаться#4

VR

Vadim Rufov in Django [ru] #STAY HOME
Кстати да...хорошая идея...там же вроде полу си/ полу пайтон?
источник
22:53пожаловаться#5

MB

Muslim Beibytuly in Django [ru] #STAY HOME
Vadim Rufov
Но интересовал именно архитектурный момент такого приложения. Данные всегда можно сжать(изменив тип данных), можно распараллелить, можно посмотреть в сторону генераторов. Всяких приемов оч много и они легко гуглятся))) а вот такое, увы, не получилось))
и 2 вариант - dask, это асинхронно, параллельно, вообще как хочется. Если этого станет недостаточно - уже замахиваться в pyspark и hadoop(bigquery)
источник
22:53пожаловаться#6

MB

Muslim Beibytuly in Django [ru] #STAY HOME
Vadim Rufov
Кстати да...хорошая идея...там же вроде полу си/ полу пайтон?
это скорее дописывание python-кода cython-кодом (ни С, ни python), оставляя читаемость ближе к python
источник
22:54пожаловаться#7

RB

Rowshen Berdimuradow in Django [ru] #STAY HOME
Казахи сверхлюди.
источник
22:54пожаловаться#8

VR

Vadim Rufov in Django [ru] #STAY HOME
Muslim Beibytuly
и 2 вариант - dask, это асинхронно, параллельно, вообще как хочется. Если этого станет недостаточно - уже замахиваться в pyspark и hadoop(bigquery)
Жирный плюс. Рассматриваю его использование
источник
22:55пожаловаться#9

VR

Vadim Rufov in Django [ru] #STAY HOME
Спасибо большое)
источник
22:55пожаловаться#10

MB

Muslim Beibytuly in Django [ru] #STAY HOME
sticker.webp
(31.43 Кб)
источник
22:55пожаловаться#11

BE

Black Eyes in Django [ru] #STAY HOME
Как быть с проверкой уникальности при редактировании формы?
То есть форма возвращает slug, он не меняется, но меняются другие поля, а из-за уникальности форма валидацию не проходит из-за slug
источник
23:01пожаловаться#12

PZ

Pavel Zagrebelin in Django [ru] #STAY HOME
Black Eyes
Как быть с проверкой уникальности при редактировании формы?
То есть форма возвращает slug, он не меняется, но меняются другие поля, а из-за уникальности форма валидацию не проходит из-за slug
исключать инстанс из кверисета валидации
источник
23:05пожаловаться#13

PZ

Pavel Zagrebelin in Django [ru] #STAY HOME
именно так делает UniqueValidator в drf
источник
23:07пожаловаться#14

tn

tot samiy neizvestniy in Django [ru] #STAY HOME
Pavel Zagrebelin
именно так делает UniqueValidator в drf
Паш, ты в моках разбираешься? Есть функция, внутри которой есть запрос к внешнему апи. Можно этот запрос замокать, не вынося его из функции?
источник
23:16пожаловаться#15

PZ

Pavel Zagrebelin in Django [ru] #STAY HOME
tot samiy neizvestniy
Паш, ты в моках разбираешься? Есть функция, внутри которой есть запрос к внешнему апи. Можно этот запрос замокать, не вынося его из функции?
внешний апи как вызываешь? есть requests-mock либа, например
источник
23:19пожаловаться#16

MB

Muslim Beibytuly in Django [ru] #STAY HOME
Pavel Zagrebelin
внешний апи как вызываешь? есть requests-mock либа, например
responses?
источник
23:21пожаловаться#17

PZ

Pavel Zagrebelin in Django [ru] #STAY HOME
Muslim Beibytuly
responses?
ась?
источник
23:21пожаловаться#18

MB

Muslim Beibytuly in Django [ru] #STAY HOME
Pavel Zagrebelin
ась?
https://github.com/getsentry/responses
GitHub
getsentry/responses
A utility for mocking out the Python Requests library. - getsentry/responses
источник
23:22пожаловаться#19

tn

tot samiy neizvestniy in Django [ru] #STAY HOME
Pavel Zagrebelin
внешний апи как вызываешь? есть requests-mock либа, например
https://dpaste.org/Bi3p
источник
23:22пожаловаться#20