Size: a a a

2020 February 06

VB

Vladyslav Babych in Scrapy
Подскажите как items значения по дэфолту задать
источник

VB

Vladyslav Babych in Scrapy
Только через pipeline?
источник

AR

Andrey Rahmatullin in Scrapy
да
источник

VB

Vladyslav Babych in Scrapy
class AmazonScraperPipeline(object):
   def process_item(self, item, spider):
       item.setdefault('publisher', 'No editorial recommendation')
       item.setdefault('link', '')
       item.setdefault('posted_date', '')
       item.setdefault('title', '')
написал такую штуку. ругается с ошибкой AttributeError: 'NoneType' object has no attribute 'fields'
источник

AR

Andrey Rahmatullin in Scrapy
полный трейсбэк покажи
источник

VB

Vladyslav Babych in Scrapy
Traceback (most recent call last):
 File "/home/vlad/PycharmProjects/marakas_test_task/venv/lib/python3.8/site-packages/twisted/internet/defer.py", line 151, in maybeDeferred
   result = f(*args, **kw)
 File "/home/vlad/PycharmProjects/marakas_test_task/venv/lib/python3.8/site-packages/pydispatch/robustapply.py", line 55, in robustApply
   return receiver(*arguments, **named)
 File "/home/vlad/PycharmProjects/marakas_test_task/venv/lib/python3.8/site-packages/scrapy/extensions/feedexport.py", line 268, in item_scraped
   slot.exporter.export_item(item)
 File "/home/vlad/PycharmProjects/marakas_test_task/venv/lib/python3.8/site-packages/scrapy/exporters.py", line 243, in export_item
   values = list(self._build_row(x for _, x in fields))
 File "/home/vlad/PycharmProjects/marakas_test_task/venv/lib/python3.8/site-packages/scrapy/exporters.py", line 247, in _build_row
   for s in values:
 File "/home/vlad/PycharmProjects/marakas_test_task/venv/lib/python3.8/site-packages/scrapy/exporters.py", line 243, in <genexpr>
   values = list(self._build_row(x for _, x in fields))
 File "/home/vlad/PycharmProjects/marakas_test_task/venv/lib/python3.8/site-packages/scrapy/exporters.py", line 64, in _get_serialized_fields
   field_iter = six.iterkeys(item.fields)
AttributeError: 'NoneType' object has no attribute 'fields'
источник

AR

Andrey Rahmatullin in Scrapy
читай что методы пайплайнов возвращают
источник

VB

Vladyslav Babych in Scrapy
Andrey Rahmatullin
читай что методы пайплайнов возвращают
Спасибо большое
источник

D

Dan in Scrapy
Всем привет)
Может всей толпой сделаем русский ресурс по скрапи и парсингу
и соберем материалы с разных источников в одном месте?
Могу поставить сайт на джанге и админить все это дело, только
наполнять и модерировать пока времени нет.
А общими усилиями можно сделать полезно и себе и другим,
каждый из нас сможет в любое время зайти и опубликовать понравившуюся статью.
Самим же потом будет удобно все искать в одном месте.
Если идея нравится, пишите сюда или в личку, выберем шаблон, запилю сайт.
источник

B

Bulatbulat48 in Scrapy
Dan
Всем привет)
Может всей толпой сделаем русский ресурс по скрапи и парсингу
и соберем материалы с разных источников в одном месте?
Могу поставить сайт на джанге и админить все это дело, только
наполнять и модерировать пока времени нет.
А общими усилиями можно сделать полезно и себе и другим,
каждый из нас сможет в любое время зайти и опубликовать понравившуюся статью.
Самим же потом будет удобно все искать в одном месте.
Если идея нравится, пишите сюда или в личку, выберем шаблон, запилю сайт.
а чем гитхаб не подошел?
источник

E

Evgen in Scrapy
Велосипед не сделаешь - не поедешь)
источник

D

Dan in Scrapy
Bulatbulat48
а чем гитхаб не подошел?
Ну по мне лично неудобно там все как-то.
источник

МС

Михаил Синегубов in Scrapy
как показывает статистика, такие сайты, если не наполняются посетителями - помирают, максимум, через несколько лет по причинам "нет времени", "надоело" и т.д.
сам проходил через это😆
источник

МС

Михаил Синегубов in Scrapy
оно и люди приходить начали, и писать в комментах. А потом, то времени нет, то лениво, то забил. А потом и домен "протух"...
источник

E

Evgen in Scrapy
Пилите PR ы епта)
источник

D

Dan in Scrapy
Я поэтому и написал что могу только поставить и админить.
Если у кого есть желание помодерировать и наполнять его потихоньку, то велкам,
если никому это не нужно, то забудем) Я просто предложил)
источник

D

Dan in Scrapy
Можно повесить рекламу какую-нибудь, пусть хостинг оплачивается и модерам за труды копеечка капает.
источник

МС

Михаил Синегубов in Scrapy
Evgen
Пилите PR ы епта)
ну, Булат иногда тааак лениво апрупвит😏...
источник

B

Bulatbulat48 in Scrapy
это все пинг 😊
источник

МС

Михаил Синегубов in Scrapy
Dan
Я поэтому и написал что могу только поставить и админить.
Если у кого есть желание помодерировать и наполнять его потихоньку, то велкам,
если никому это не нужно, то забудем) Я просто предложил)
у кого там, у найка, вроде: "Просто сделай это" :)
источник