ᅠ
Size: a a a
2019 December 19
2019 December 20
АМ
доброе утро. пытаюсь скрапить сайт https://pubs.rsc.org/en/journals/journalissues/cc#!recentarticles&adv , через сплэш пока не получается (руки не оттуда и опыта 0); я нашел документ, в котором передается необходимая инфа, но не понимаю как сделать запрос. подскажите пожалуйста, как его сформировать.
АМ
АМ
АМ
через copy as fetch тоже не получилось
АМ
МС
тебе пагинацию пройти? там через POST запросы, либо юзай scrapy.FromRequest (https://docs.scrapy.org/en/latest/topics/request-response.html#formrequest-objects), либо scrapy.Request с укащзанием типа запроса method='POST'
первое для тебя предпочтильнее, так проще будет
первое для тебя предпочтильнее, так проще будет
АМ
тебе пагинацию пройти? там через POST запросы, либо юзай scrapy.FromRequest (https://docs.scrapy.org/en/latest/topics/request-response.html#formrequest-objects), либо scrapy.Request с укащзанием типа запроса method='POST'
первое для тебя предпочтильнее, так проще будет
первое для тебя предпочтильнее, так проще будет
если бы пагинация, там изначально приходит страница без информации, потом туда подгружаются нужные данные статей в файле, который на скриншоте, вот эти данные мне и не выдает
АМ
я конечно понимаю, что селениум все это сожрет нормально, но тысячи статей скрапить будет до второго пришествия
МС
ну, один фиг, там POST запрос, это и из твоего скрина видно
АМ
да
МС
ну, я уже сказал, посмотри FormRequest
МС
оно именно POST и шлет
АМ
попробовал сейчас и SplashFormRequest, и scrapy.FormRequest, не выдает, а пост запрос можно в шелл передать каким-то образом?
АМ
вот респонс
АМ
АМ
def start_requests(self):
yield scrapy.FormRequest(
url= "https://pubs.rsc.org/en/journals/journalissues/cc#!recentarticles&adv",
method='POST',
callback=self.parse
) вот так запрос в пауке
yield scrapy.FormRequest(
url= "https://pubs.rsc.org/en/journals/journalissues/cc#!recentarticles&adv",
method='POST',
callback=self.parse
) вот так запрос в пауке
AR
А тело где