KS
но я это поборю
Size: a a a
2020 March 25
AT
тогда есть смысл
KS
то есть пока план такой: получить одну страницу, узнать сколько страниц, создать список функций через
partial, передать их в as_completedAT
асинхронно, либо с использованием тредов
KS
получив каждую страницу итерироваться по нему, делать yield построчно
KS
вопрос: что будет, если страниц миллион, не закончится ли память?
AM
вопрос: что будет, если страниц миллион, не закончится ли память?
все когда-нибудь заканчивается
AT
может, а может и сетевуха начнет дропать инфу из буфера, если приложение не будет успевать обрабатывать такое кол-во данных
KS
page functions = [
partial(executor.submit, myfunc, page=2),
partial(executor.submit, myfunc, page=3),
partial(executor.submit, myfunc, page=4),
partial(executor.submit, myfunc, page=5),
partial(executor.submit, myfunc, page=6)
]
for page_result in as_completed(page_functions):
for item in page.items
yield item
KS
ну вот
KS
executor будет ThreadPoolExecutorNL
Не возникнет такого, что в процессе итераций количество страниц может изменится, а генератор будет идти по заранее сформированным функциям?
KS
я правильно понимаю, что если в page_function будет миллион функций, то as_completed заставит их все выполняться и они заполнят всю память?
KS
Не возникнет такого, что в процессе итераций количество страниц может изменится, а генератор будет идти по заранее сформированным функциям?
точное наблюдение
KS
но на этот вопрос есть ответ: когда мы просим api выдать данные, мы также передаем datetime с текущим временем
KS
так что с этим никаких проблем
NL
Сама концепция класть результат апи в генератор немного странная. Апи же выдает данные актуальные на этот момент
NL
но на этот вопрос есть ответ: когда мы просим api выдать данные, мы также передаем datetime с текущим временем
Ок
KS
апи выдает актуальные данные на момент, который передается явно
2020 March 26
tn
Привет.
Покрываю проект тестами с помощью pytest.
В каждом приложении сделал папку tests, внутрь которой поместил файлы с тестами приложения.
В каждой папки tests есть conftest фикстуры под каждое приложение.
Когда я запускаю тесты по отдельности для каждого приложения (типа pytest apps/users) всё работает хорошо.
Но когда я запускаю тесты целиком для всего проекта (просто pytest) - для первого приложения тесты проходят норм, но дальше бросает ошибку sqlalchemy.exc.ResourceClosedError: This Connection is closed
(в тесты прокидываю сессию)
Покрываю проект тестами с помощью pytest.
В каждом приложении сделал папку tests, внутрь которой поместил файлы с тестами приложения.
В каждой папки tests есть conftest фикстуры под каждое приложение.
Когда я запускаю тесты по отдельности для каждого приложения (типа pytest apps/users) всё работает хорошо.
Но когда я запускаю тесты целиком для всего проекта (просто pytest) - для первого приложения тесты проходят норм, но дальше бросает ошибку sqlalchemy.exc.ResourceClosedError: This Connection is closed
(в тесты прокидываю сессию)