A
результат пишет в джейсон и создает файл по окончанию скрапинга
Size: a a a
2020 September 03
R
I am looking for a software developer for a scraping project. The website has a highly sophisticated botdetection. With the scrapy framework it has not worked so far. Does anyone have experience with other techniques?
A
Ralf
I am looking for a software developer for a scraping project. The website has a highly sophisticated botdetection. With the scrapy framework it has not worked so far. Does anyone have experience with other techniques?
Url?
AR
Ralf
I am looking for a software developer for a scraping project. The website has a highly sophisticated botdetection. With the scrapy framework it has not worked so far. Does anyone have experience with other techniques?
lots of other techniques, are you looking for general hints, specific hints or a paid job?
R
Andrii
Url?
R
lots of other techniques, are you looking for general hints, specific hints or a paid job?
both😀
S
господа, а как корректнее всего будет 404 хендлить, чтобы репорт делать в итоге по страницам?
я бы мог, конечно, просто для отчета из исходного масссива урлов удалить конечные, но ведь там могут быть еще и 503, которые обычно из-за бана моего спайдера происходить будут.
handle_httpstatus_list = [404] – вот такой параметр есть для спайдера, но в доке пишут, что это не тру вей. я бы мог, конечно, просто для отчета из исходного масссива урлов удалить конечные, но ведь там могут быть еще и 503, которые обычно из-за бана моего спайдера происходить будут.
AR
не понял что надо делать
AR
have you tried a headless browser?
AR
handle_httpstatus_list
R
have you tried a headless browser?
I mean yes. I am not the programmer. Someone is welcome to look at the code.
B
handle_httpstatus_list
а errback-ом тут не проще будет?
AR
возможно
ДТ
50.000 почт, телефонов,названий заведений,их сайтов.При этом эти данные владельцев общепита.сколько это может стоить?