Попробуй задать таймаут

Всех с наступающим!

Ребят, подскажите пожалуйста куда можно копать чтобы решить проблему. Есть простой скрипт который через requests делает GET запрос, потом полученный html отдаёт BeautifulSoup. Запросов много, и в какой-то момент скрипт просто останавливается, после этого ничего не происходит. Try/except не помог, никакой ошибки похоже нет. Скрипт работает через раз, на один запуск он может сделать все нужные запросы, на второй может остановиться где-то посередине.

Спасибо заранее)

Возможно дело в том что пул connection-ов закончился. В реализации requests создается ограниченное количество соединений. То есть к примеру выделяются 10 портов через которые будут создаваться соединения. И когда ты пытаешься сделать большее количество запросов, остальные запросы ждут своей очереди пока соединение не закроется и в пуле не появится свободное.

Как пул соединений может закончится у клиента ? Плюс как я понимаю он использует стандартную синхронную реализацию requests

Ты делаешь ещё запрос к примеру на fb.com, этим самым забирая второе соединение. На третий раз когда ты хочешь сделать запрос к примеру на github.com, тебе придется ждать пока одно из двух соединений не освободится.

Всех с наступающим!

Ребят, подскажите пожалуйста куда можно копать чтобы решить проблему. Есть простой скрипт который через requests делает GET запрос, потом полученный html отдаёт BeautifulSoup. Запросов много, и в какой-то момент скрипт просто останавливается, после этого ничего не происходит. Try/except не помог, никакой ошибки похоже нет. Скрипт работает через раз, на один запуск он может сделать все нужные запросы, на второй может остановиться где-то посередине.

Спасибо заранее)

Скинь пример кода, тогда и можно будет чекнуть

Парсится 1 сайт. Всем спасибо за помощь. Мне помог вариант с timeout. Но если честно непонятно почему requests сам не выкидывает timeout после большого кол-ва времени.