В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

766 membersпожаловаться на группу
2020 December 07

МС

Михаил Синегубов... in Scrapy
а то что пришло - ты отправлял в другом реквесте? если да, то дубль в другом ответе есть или там тот что зесь должен быть?
(господи, главное самому понять :)))
источник
18:18пожаловаться#1

МС

Михаил Синегубов... in Scrapy
сначала надо понять, в ответ на самом деле приходят перепутанные данные, или сайт что то корежит.
сам такого ни разу не замечал, еще ни раз не путались данные
источник
18:20пожаловаться#2

D

Dmitry in Scrapy
Михаил Синегубов
а то что пришло - ты отправлял в другом реквесте? если да, то дубль в другом ответе есть или там тот что зесь должен быть?
(господи, главное самому понять :)))
Да, туда приходит от другого запроса. То есть если ID были 1 и 2, то в один колбэк из cb_kwargs приходит 2 (а сервер возвращает 1), а в другой приходит 1 (а сервер возвращает 2).
источник
18:21пожаловаться#3

МС

Михаил Синегубов... in Scrapy
стоп, а сколько у тебя шагов по реквестам? я встречал, когда сайт привязывал навигацию то ли к кукам, то ли к IP. Причем, там каждую ветку каталога надо было с самого первого узла проходить
источник
18:24пожаловаться#4

B

Bulatbulat48 in Scrapy
Dmitry
Да, туда приходит от другого запроса. То есть если ID были 1 и 2, то в один колбэк из cb_kwargs приходит 2 (а сервер возвращает 1), а в другой приходит 1 (а сервер возвращает 2).
код приложи, а то так только гадать.
источник
18:26пожаловаться#5

D

Dmitry in Scrapy
Bulatbulat48
код приложи, а то так только гадать.
Так а что гадать - как должно-то быть? :)
источник
18:27пожаловаться#6

D

Dmitry in Scrapy
Михаил Синегубов
стоп, а сколько у тебя шагов по реквестам? я встречал, когда сайт привязывал навигацию то ли к кукам, то ли к IP. Причем, там каждую ветку каталога надо было с самого первого узла проходить
Я как раз ID в куках и передаю.
источник
18:28пожаловаться#7

МС

Михаил Синегубов... in Scrapy
Dmitry
Я как раз ID в куках и передаю.
при чем тут "передаю", вопрос - может ли сайт это обработать.
и, кстати, в response.request что в куке сидит?
источник
18:31пожаловаться#8

К

Кирилл in Scrapy
Dmitry
Я как раз ID в куках и передаю.
Надеюсь ты используешь куки джары?
источник
18:31пожаловаться#9

D

Dmitry in Scrapy
Кирилл
Надеюсь ты используешь куки джары?
Неа, даже не знаю что это. А надо, да? :)
источник
18:38пожаловаться#10

К

Кирилл in Scrapy
Реквесты могут приходить на сервер в любом порядке, и так как сессия одна и куки общие, оно там может порядок какой угодно записать. Возможно из-за этого оно не совпадает
источник
18:40пожаловаться#11

К

Кирилл in Scrapy
С куки джарами, будут разные куки, и они не будут мешаться. Но в контексте одной сессии проблема останется
источник
18:41пожаловаться#12

D

Dmitry in Scrapy
Кирилл
Реквесты могут приходить на сервер в любом порядке, и так как сессия одна и куки общие, оно там может порядок какой угодно записать. Возможно из-за этого оно не совпадает
А если dont_merge_cookies=true поставить, то по-идее это должно решить проблему?
источник
18:41пожаловаться#13

МС

Михаил Синегубов... in Scrapy
Dmitry
А если dont_merge_cookies=true поставить, то по-идее это должно решить проблему?
нет
источник
18:41пожаловаться#14

D

Dmitry in Scrapy
Почему? Я же буду передавать только те куки, которые засуну в сам хедер получается. Откуда будет микс тогда браться?
источник
18:42пожаловаться#15

МС

Михаил Синегубов... in Scrapy
https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#multiple-cookie-sessions-per-spider
источник
18:42пожаловаться#16

К

Кирилл in Scrapy
Dmitry
А если dont_merge_cookies=true поставить, то по-идее это должно решить проблему?
Разве что на все запросы. Тогда у них не будет связи между собой, кроме IP
источник
18:42пожаловаться#17

D

Dmitry in Scrapy
Кирилл
Разве что на все запросы. Тогда у них не будет связи между собой, кроме IP
Ну да, в этом идея
источник
18:43пожаловаться#18

D

Dmitry in Scrapy
Чтобы чистый эксперимент был
источник
18:43пожаловаться#19

D

Dmitry in Scrapy
Михаил Синегубов
https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#multiple-cookie-sessions-per-spider
Вижу, спасибо - куки-джары это прямо чтобы совсем "по красоте" было
источник
18:43пожаловаться#20