DB
Туда приходят https_test?
Size: a a a
2020 August 22
A
Received task: proxy.tasks.check_proxy[4969bc2b-525b-4271-849e-dc8366b17606]
A
после этого тишина
DB
Попробуй .apply_async вместо .delay 🤔
DB
Но я чего-то даже сомневаюсь...
MZ
Упрости логику https_check для дебага до примитива, чтобы понять - выполняете оно вообще или нет. Если да, то смотри последовательно, где перестает выполняться. Если нет, то это другой вопрос.
DB
Received task: proxy.tasks.check_proxy[4969bc2b-525b-4271-849e-dc8366b17606]
А https_test нет в логах? А check_proxy закончила выполнение? Сколько там прокси-объектов?
A
А https_test нет в логах? А check_proxy закончила выполнение? Сколько там прокси-объектов?
только ту строку написал и всё
tn
Если строки друг от друга не зависят, то запараллелить в таску, если нужно решить в лоб и сейчас
Все же строки зависят друг от друга...
tn
Например, есть значения штата для 200 статей, но указывается оно только в одной ячейке - у первой статьи из этого списка
DB
ну тогда распараллелить будет чуть сложнее)
tn
Жесть, конечно
tn
ну тогда распараллелить будет чуть сложнее)
В общем, замерял я свои функции.
Форматирование данных происходит довольно быстро (4.5к записей за секунду), а вот запись в бд заняла почти две минуты. Нужно гуглить, как делать булк инсерт данных с экселя в постгрес
Форматирование данных происходит довольно быстро (4.5к записей за секунду), а вот запись в бд заняла почти две минуты. Нужно гуглить, как делать булк инсерт данных с экселя в постгрес
DB
На изи, да
DB
Хоть в джанго, хоть в алхимии
DB
А ты эти строчки таблицы трансформируешь в модели перед инзёртом?
tn
А ты эти строчки таблицы трансформируешь в модели перед инзёртом?
Ага
DB
Скорее всего это самая дорогая операция там
DB
https://docs.sqlalchemy.org/en/13/orm/session_api.html#sqlalchemy.orm.session.Session.bulk_insert_mappings вот так можно без трансформации в модели и булком
tn
Скорее всего это самая дорогая операция там
Грубо говоря, как-то так происходит запись
https://dpaste.org/tnt2
https://dpaste.org/tnt2