Телеграмм чат группы scrapy

Size: a a a

Scrapy

584 membersпожаловаться на группу

2020 August 07

ildar in Scrapy

Александр К-ош

Ок, буду иметь в виду. С английским плохо. А какую дату выдает?

ну как-минимум раньше, чем:
https://i.imgur.com/9kDaJNr.png

источник

14:10пожаловаться #1

ildar in Scrapy

Sara

How i can extract this

what xpath you use? did you perform response.selector.remove_namespaces() ? (not sure this will help)

источник

14:21пожаловаться #2

АК

Александр К-ош... in Scrapy

По поводу даты, там в коде указано 2020-03-14

источник

14:30пожаловаться #3

ildar in Scrapy

я про это и говорю, указано, что статья написана в марте. а используются старые методы, вместо которых со скрапи 1.6 с января 2019 рекомендуется использовать get() и getall()
ну может парень, что ее писал, про них не слышал и не читал пачноутсы, но это несколько странно.

источник

14:36пожаловаться #4

Sara in Scrapy

ildar

what xpath you use? did you perform response.selector.remove_namespaces() ? (not sure this will help)

Ok thank you

источник

14:38пожаловаться #5

АК

Александр К-ош... in Scrapy

Благодарю. Буду иметь в виду.

источник

14:40пожаловаться #6

SoHard 🎄 in Scrapy

Я тут отходил, а человек жалуется

источник

14:52пожаловаться #7

SoHard 🎄 in Scrapy

Переслано от Petr

Передай в общий чат, ты же передаст.

Вот он апогей не справедливости, без основательно лишили слова и пишут всякое.

источник

14:52пожаловаться #8

D•

Dan • Captain in Scrapy

SoHard 🎄

Переслано от Petr

teh drama

источник

14:52пожаловаться #9

Viktor in Scrapy

SoHard 🎄

Переслано от Petr

Хватит оффтопить)

источник

16:25пожаловаться #10

Andriy in Scrapy

Как тут можно быстро собрать все коды регионов и судов при post запросе?

https://pastebin.com/T6cx2auc

Pastebin

http://судебныерешения.рф/searchЄто когда выбираешь санкт-петербург{"sim - Pastebin.com

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

источник

17:13пожаловаться #11

Andrey Rahmatullin in Scrapy

дак там /loadCourtTree/simple их все грузит

источник

17:15пожаловаться #12

Andrey Rahmatullin in Scrapy

http://xn--90afdbaav0bd1afy6eub5d.xn--p1ai/loadCourtTree/simple ваще даже ничо не надо делать

источник

17:15пожаловаться #13

МП

Максим Петров... in Scrapy

Добрый вечер. Посоветуйте хороший прокси

источник

18:14пожаловаться #14

Andrey Rahmatullin in Scrapy

хороший - Crawlera

источник

18:15пожаловаться #15

МП

Максим Петров... in Scrapy

Спасибо

источник

18:21пожаловаться #16

Edis in Scrapy

Hi there, I'm new to scrapy. I wrote some spiders already, first without items object, now that I use them I got an issue where a NoneType is being processed by the pipeline instead of the item I have defined. The difference of this spider is that it yields another request with callback and meta, without item it worked perfectly though.

источник

18:46пожаловаться #17

Edis in Scrapy

I run the debugger and the object looks fine just before yielding it

источник

18:46пожаловаться #18

Edis in Scrapy

2020-08-07 17:40:16 [scrapy.utils.signal] ERROR: Error caught on signal handler: <bound method FeedExporter.item_scraped of <scrapy.extensions.feedexport.FeedExporter object at 0x7f1a300e02b0>>
Traceback (most recent call last):
  File "/venv/lib/python3.8/site-packages/scrapy/utils/defer.py", line 164, in maybeDeferred_coro
    result = f(*args, **kw)
  File "/venv/lib/python3.8/site-packages/pydispatch/robustapply.py", line 55, in robustApply
    return receiver(*arguments, **named)
  File "/venv/lib/python3.8/site-packages/scrapy/extensions/feedexport.py", line 363, in item_scraped
    slot.exporter.export_item(item)
  File "/venv/lib/python3.8/site-packages/scrapy/exporters.py", line 133, in export_item
    itemdict = dict(self._get_serialized_fields(item))
  File "/venv/lib/python3.8/site-packages/scrapy/exporters.py", line 61, in _get_serialized_fields
    item = ItemAdapter(item)
  File "/venv/lib/python3.8/site-packages/itemadapter/adapter.py", line 16, in __init__
    raise TypeError("Expected a valid item, got %r instead: %s" % (type(item), item))
TypeError: Expected a valid item, got <class 'NoneType'> instead: None

источник

18:47пожаловаться #19

Andrey Rahmatullin in Scrapy

one of your middlewares or pipelines doesn't return the item, thus implicitly returning None

источник

18:48пожаловаться #20