СТ
поиск там обычным XHR, никакого селениума поди не надо
там в куках есть строка "webasm" с гуидом и без нее никак
Size: a a a
2020 November 18
AR
СТ
если её получить то все ок и на простых реквестах работает
СТ
проблема в том что я не могу её получить
СТ
кроме как ручками из браузера
S
кроме как ручками из браузера
а получить в селениуме и пихнуть в реквесты не выходит?
СТ
а получить в селениуме и пихнуть в реквесты не выходит?
чот не получается, такое ощущение что селениум webassembly не процессит
СТ
но я пока не теряю надежды что мб как-то получится на нем сделать. иначе видимо придётся webassembly декомпилировать, искать где он этот гуид генерит 🤷♂
2020 November 19
ЕJ
на одном стриминговом сервисе получалось найти первую запись и последную и соеденив их в запросе (уже не помню как) - получить полную запись. Возможно тут тоже самое. Например ..ch/первая запись/вторая запись(ее поменять)/…
спасибо за отклик, нашел решение
1) DIM плагин качает mp2p (под windows)
2) расширение для хрома тоже парсит mp2p https://chrome.google.com/webstore/detail/stream-recorder-download/iogidnfllpdhagebkblkgbfijkbkjdmm/related
1) DIM плагин качает mp2p (под windows)
2) расширение для хрома тоже парсит mp2p https://chrome.google.com/webstore/detail/stream-recorder-download/iogidnfllpdhagebkblkgbfijkbkjdmm/related
B
ребят, ScrapingHub активно начал набирать людей, так что велкам(на правах рекламы 😅):
https://apply.workable.com/scrapinghub/?lng=en
https://apply.workable.com/scrapinghub/?lng=en
KL
ребят, ScrapingHub активно начал набирать людей, так что велкам(на правах рекламы 😅):
https://apply.workable.com/scrapinghub/?lng=en
https://apply.workable.com/scrapinghub/?lng=en
🍴 🙏
B
🍴 🙏
там же как минимум 5 Remote вакансий, так что вилка может быть сильно разной. Это будет лучше с HR обсудить.
A
Есть у меня паук, он ходит по страницам сайта одного домена, все хорошо.
Выяснилось, что другой сайт с другим доменом такой же, как и тот, который я уже умею обходить. Сейчас все происходит примерно так:
Собственно, как мне сделать развилку, которая также позволит собрать данные с главной, а потом проитерироваться по элементам другой страницы?
Выяснилось, что другой сайт с другим доменом такой же, как и тот, который я уже умею обходить. Сейчас все происходит примерно так:
def parse(self, response):
<do smth>
next_page = ''.join((<next_page_url>))
return Request(next_page, callback=self.parse_next)
def parse_next(self, response):
<do smth>
yield smth
Собственно, как мне сделать развилку, которая также позволит собрать данные с главной, а потом проитерироваться по элементам другой страницы?
AR
зачем развилку?
A
Передать аргументом стартовый урл в паука?
AR
понятия не имею что ты вообще выше пытался сказать, но да
A
Почему я тут:
Вызываю: scrapy crawl jpoint -a conf_url=2018.joker.com/en/
def __init__(self, conf_url='', *args, **kwargs):ловлю ValueError: Missing scheme in request url: 2018.joker.com/en/ при выполнении.
super(JpointSpider, self).__init__(*args, **kwargs)
self.start_urls = [conf_url,]
Вызываю: scrapy crawl jpoint -a conf_url=2018.joker.com/en/
МС
conf_url=2018.joker.com/en/
от вообще никаких мыслей?
S
Почему я тут:
Вызываю: scrapy crawl jpoint -a conf_url=2018.joker.com/en/
def __init__(self, conf_url='', *args, **kwargs):ловлю ValueError: Missing scheme in request url: 2018.joker.com/en/ при выполнении.
super(JpointSpider, self).__init__(*args, **kwargs)
self.start_urls = [conf_url,]
Вызываю: scrapy crawl jpoint -a conf_url=2018.joker.com/en/
Потому что это не url
МС
Потому что это не url
ну вот, всю малину обломал :(