М
Size: a a a
2019 November 07
МС
текст передается в зашифрованном виде под JS вида function(p,a,c,k,e,d)
тогда ой :)
хотя, что нить вроде PyJS не подойдет? я про расшифровку...
но, это я так, поумничать :). По саму вопросу - ничего не скажу, ибо х/з, не пользовался.
Насчет глупостей, это да, это я про свой вопрос, был бы твой глупым - просто ткнул бы носом в ответ, типа "первой строчки в гугле" :))
хотя, что нить вроде PyJS не подойдет? я про расшифровку...
но, это я так, поумничать :). По саму вопросу - ничего не скажу, ибо х/з, не пользовался.
Насчет глупостей, это да, это я про свой вопрос, был бы твой глупым - просто ткнул бы носом в ответ, типа "первой строчки в гугле" :))
МС
а в чем конкретно проблема, в порядке заголовков или самих заголовках?
М
A
При запуске павука, пишет мне вот такие вещи:
Что я делаю не так?
twisted.internet.error.DNSLookupError: DNS lookup failed: no results for hostname lookup: https.
Что я делаю не так?
AS
Один в один мой вопрос, но мне этот луа скрипт не помогает
да, но это единственный вариант) через splash.args прокинуть хидеры и забрать их в луа скрипте
М
https://github.com/scrapy-plugins/scrapy-splash#requests вот тут есть как их передать правильно
да вроде бы итак вдоль и поперек это прочитал уже
М
да, но это единственный вариант) через splash.args прокинуть хидеры и забрать их в луа скрипте
я ставил вторую страницу на первый проход, думал что в последующих страницах где то засада. но нет, первым проходом вторая страница прекрасно отрендерилась. а вот при пагинации следующие пустые оказались
М
При запуске павука, пишет мне вот такие вещи:
Что я делаю не так?
twisted.internet.error.DNSLookupError: DNS lookup failed: no results for hostname lookup: https.
Что я делаю не так?
http видимо надо, а не https
A
http видимо надо, а не https
В адресной строке https, попробовал http - не работает. Уже сделал как в туторе - не получается...
М
В адресной строке https, попробовал http - не работает. Уже сделал как в туторе - не получается...
а ошибки нет в строке адресной, типа http://https//www
A
а ошибки нет в строке адресной, типа http://https//www
Не, страница открывается нормально.
Я решил проблему со ссылкой, теперь пытаюсь выяснить, почему он мне файл не сохраняет и вообще в лог, который в методе parse сделан, ничего не пишет
Я решил проблему со ссылкой, теперь пытаюсь выяснить, почему он мне файл не сохраняет и вообще в лог, который в методе parse сделан, ничего не пишет
М
Не, страница открывается нормально.
Я решил проблему со ссылкой, теперь пытаюсь выяснить, почему он мне файл не сохраняет и вообще в лог, который в методе parse сделан, ничего не пишет
Я решил проблему со ссылкой, теперь пытаюсь выяснить, почему он мне файл не сохраняет и вообще в лог, который в методе parse сделан, ничего не пишет
значит лог неправильно оформлен
A
Вот такие вещи мне пишет...
A
ROBOTSTXT_OBEY = True Вот это можно прост закомментить?
М
ROBOTSTXT_OBEY = True Вот это можно прост закомментить?
False