Телеграмм чат группы scrapy

function main(splash, args)
  assert(splash:go(args.url))
  assert(splash:wait(5))
  return {
    html = splash:html(),
    png = splash:png(),
    har = splash:har(),
  }
end

источник

20:53пожаловаться #5

Кирилл in Scrapy

Плюсую, сплэш нормально инкапсулу обходит

источник

20:54пожаловаться #6

Evgen in Scrapy

надо тока понимать, что чтобы потом реюзать эту сессию с куками надо иметь тот-же IP в scrapy

источник

20:54пожаловаться #7

2019 October 22

Ivan in Scrapy

Evgen

попробуйте дважды splash:go добавить (с вэйтом между ними секунд 5)

не получается, не рендерит. начинает загружать скрипты и виснет. пол года назад пару раз сайт открывался в splash, потом начал тупо виснут, ждал и 60 минут ничего и сейчас не хочет. просто через splash через браузер и через паука тоже самое

источник

10:09пожаловаться #8

Evgen in Scrapy

Может не последний splash?

источник

10:11пожаловаться #9

Ivan in Scrapy

Evgen

попробуйте дважды splash:go добавить (с вэйтом между ними секунд 5)

splash тупо зависает, приходиться перезепускать чтоб начал реагировать.
Splash 3.3.1 сейчас стоит

источник

10:12пожаловаться #10

Bulatbulat48 in Scrapy

Алексей Нагорский

Нагугилось li:has

глянул на счет has, его делают :)
https://github.com/scrapy/cssselect/pull/96

GitHub

Implement rudimentary support for the relational pseudo-class :has() by Gallaecio · Pull Request #96 · scrapy/cssselect

Fixes a part of #66.
It adds very limited argument support, specifically only that which we already support for :not(). Future changes should extend argument support for both :has() and :not().

источник

11:36пожаловаться #11

АН

Алексей Нагорский in Scrapy

Bulatbulat48

глянул на счет has, его делают :)
https://github.com/scrapy/cssselect/pull/96

GitHub

Implement rudimentary support for the relational pseudo-class :has() by Gallaecio · Pull Request #96 · scrapy/cssselect

Fixes a part of #66.
It adds very limited argument support, specifically only that which we already support for :not(). Future changes should extend argument support for both :has() and :not().

Будем подождать, пока xpath как-то привычнее :)

источник

11:37пожаловаться #12

Ivan in Scrapy

кто-то сталкивался с таким?

источник

13:56пожаловаться #13

Ivan in Scrapy

lua скрипт стандартный, который сразу при открытии splash

источник

13:57пожаловаться #14

Кирилл in Scrapy

Ivan

кто-то сталкивался с таким?

https://en.wikipedia.org/wiki/HTTP_403

Wikipedia

HTTP 403

HTTP Status Code

источник

13:59пожаловаться #15

Ivan in Scrapy

Кирилл

https://en.wikipedia.org/wiki/HTTP_403

Wikipedia

HTTP 403

HTTP Status Code

я в курсе 403 ошибки, вопрос как обойти ее и возможно ли?

источник

14:05пожаловаться #16

Кирилл in Scrapy

ну, ты что-то не передал, и серверу не понравился твой запрос
может быть какие-то пароли, или если плохо настроены ошибки то может быть ещё неправильный метод

источник

14:06пожаловаться #17

Ivan in Scrapy

Кирилл

через requests сайт присылает Incapsula

источник

14:27пожаловаться #18

Кирилл in Scrapy

а, ты всё ещё про инкапсулу

источник

14:28пожаловаться #19

Ivan in Scrapy

в сплеше 403 ошибка, через requests инкапсула, один и тот же сайт

источник

14:29пожаловаться #20