V
Ничего там не обходят
Size: a a a
2020 January 23
V
У тебя по самопису выйдет та же суть, будет некий пулл задач и те, кто их забирает
ES
тогда вопрос что брать celery или dramatiq
T
Просто как по моим ощущениям костыль сбоку чтоб обойти однопоточность питона
эм. нет
T
очередь не для этого
T
очередь чтобы ты мог масштабировать воркеры и при их падении ретраить
T
тогда вопрос что брать celery или dramatiq
я бы тупо очередь взял и всё
T
без этих фреймворков
ES
без этих фреймворков
брать в конечном итоге множить воркеры, когда есть нагрузка, наверно так и сделаю
NL
Подскажите плз по SQLAlchemy.
Есть необходимость записать в таблицу большое количество объектов (около 100 000). Делаю это через метод session.add_all(лист объектов)
И потом коммит сессии.
Обработка метода add_all() длится очень долго, минут 20.
Как оптимальнее по скорости записывать такой объем объектов в таблицу?
Есть необходимость записать в таблицу большое количество объектов (около 100 000). Делаю это через метод session.add_all(лист объектов)
И потом коммит сессии.
Обработка метода add_all() длится очень долго, минут 20.
Как оптимальнее по скорости записывать такой объем объектов в таблицу?
ИЗ
Подскажите плз по SQLAlchemy.
Есть необходимость записать в таблицу большое количество объектов (около 100 000). Делаю это через метод session.add_all(лист объектов)
И потом коммит сессии.
Обработка метода add_all() длится очень долго, минут 20.
Как оптимальнее по скорости записывать такой объем объектов в таблицу?
Есть необходимость записать в таблицу большое количество объектов (около 100 000). Делаю это через метод session.add_all(лист объектов)
И потом коммит сессии.
Обработка метода add_all() длится очень долго, минут 20.
Как оптимальнее по скорости записывать такой объем объектов в таблицу?
Выставить на регламент
АП
Подскажите плз по SQLAlchemy.
Есть необходимость записать в таблицу большое количество объектов (около 100 000). Делаю это через метод session.add_all(лист объектов)
И потом коммит сессии.
Обработка метода add_all() длится очень долго, минут 20.
Как оптимальнее по скорости записывать такой объем объектов в таблицу?
Есть необходимость записать в таблицу большое количество объектов (около 100 000). Делаю это через метод session.add_all(лист объектов)
И потом коммит сессии.
Обработка метода add_all() длится очень долго, минут 20.
Как оптимальнее по скорости записывать такой объем объектов в таблицу?
Без сессии чистым булк инсёртом.
NL
Без сессии чистым булк инсёртом.
а для такого инсерта есть метод в sqlalchemy? Или это напрямую через драйвер бд делается?
A
а для такого инсерта есть метод в sqlalchemy? Или это напрямую через драйвер бд делается?
есть
NL
Понял, пошел читать доки. Спасибо
АП
Понял, пошел читать доки. Спасибо
Тебе поможет SQLAlchemy core.
NL
Тебе поможет SQLAlchemy core.
👍
A
Понял, пошел читать доки. Спасибо
A
это раз