B
надо куки сохранять по цепочке вызова дочерних ссылок
обычно там SessionID и он помнить какую страницу открывал
обычно там SessionID и он помнить какую страницу открывал
СПС, надо проверить.
Size: a a a
2020 January 17
AR
ну там ещё приоритеты етсь, но тут вроде вопрос конкретно про start_requests
B
хм, я десктопник, и мне бы и в голову не пришло передавать ВСЕ (пофиг, куда угодно, на удаленный хост, в базу и т.д.), только в крайнем случае.
короче, @Bulatbulat48, мои соболезнования... :), я, к своему счастью, всего несколько раз на ASP нарывался
короче, @Bulatbulat48, мои соболезнования... :), я, к своему счастью, всего несколько раз на ASP нарывался
Да я просто помогаю с задачкой)
МС
да, пока никаких приоритетов, просто очередь общая
МС
а вот теперь главный вопрос - в какой момент пространства и времени запрос освобождает "место" в очереди?
AR
когда ответ от сервера приходит имхо
AR
вообще хороший вопрос
AR
я когда пытался фикс вмонтировать туда, я запутался
AR
и то ли фикс неправильный, то ли я его не туда вкрутил
AR
МС
по идее, но должно быть в мидлваре, еще до коллбека, т.е. для "обычного" прокраммиста, в начале колбека....
AR
ну да, не позже
МС
угу, тогда у булата может быть с этим проблема, если кто-то "влезет" вне очереди...
ЕJ
СПС, надо проверить.
B
спс!
ЕJ
: )
если объем страниц не большой - возможно проще будет сделать на requests.Session + lxml
в N вложенных циклах
for url_lvl1 in ...:
for url_page in...:
—
и для каждой последовательности ссылок создавать свой requests.Session
тогда не прийдеться запариваться с meta и yield
если объем страниц не большой - возможно проще будет сделать на requests.Session + lxml
в N вложенных циклах
for url_lvl1 in ...:
for url_page in...:
—
и для каждой последовательности ссылок создавать свой requests.Session
тогда не прийдеться запариваться с meta и yield
B
: )
если объем страниц не большой - возможно проще будет сделать на requests.Session + lxml
в N вложенных циклах
for url_lvl1 in ...:
for url_page in...:
—
и для каждой последовательности ссылок создавать свой requests.Session
тогда не прийдеться запариваться с meta и yield
если объем страниц не большой - возможно проще будет сделать на requests.Session + lxml
в N вложенных циклах
for url_lvl1 in ...:
for url_page in...:
—
и для каждой последовательности ссылок создавать свой requests.Session
тогда не прийдеться запариваться с meta и yield
нужен скрапи. Кстати там еще интересно, то что можно послать ScreenWidth > 20000. И получить все продукты без пагинации.
ЕJ
крутая оптимизация
B
Но оно ломается на больших категориях(слишком большой ответ), потом сделал запросы из келбека - все работало, но как мне сказали оно тоже ломается на большом кол-ве. Но я не тестил сам, мне уже лень. Там еще вход по логину. Предложил пока каждую категорию с новым логином/сессией, вроде должно помочь. Спасибо!
B
по сути самое правильное поставить asp.net и смотреть реализации 🙂 На сколько помню оно из коробки все работает. Но это не точно.