Он nosql умеет?

кажись не, по крайней мере в бесплатной версии

у меня есть раздел "NoSQL" а ничего не ём нет :(

"Note: MongoDB extension is available only in Enterprise-Edition version." - думаю, что и остальное то-же самое

Оу(

воть воть, сам грустишка по этому поводу..... 😞

но есть академ лицензия какая то....

Ну это было бы слишком хорошо, если бы оно всё-всё умело, еще и бесплатно

"Thank for your request. It was kept as a ticket in your profile. We will review provided information and contact you soon."

народ, какой шанс получить лицензию на RU университет ? 😂

такой же как и на другие

почему может быть ошибка scrapy-do?
[!] Server responded with an error: Unable to get the list of spiders
пр команде
scrapy-do-cl push-project
всё в диретории с .cfg делается...

камрады, подскажите, может ли scrapy распарсить JSON, который скачивается как ZIP файл? вопрос больше про то, как это сделать просто

Если ты про сжатие типа gzip которое используется в http, то скрапи обычно сам разжимает архивы
А если просто про zip, то скрапи и не сильно то нужен, просто пиши отдельный скрип, zipfile либой открываешь архив, потом open, потом json.load

ок, ответ нельзя, мне ZIP приходит, раскопаю так...

а чем это тебе не просто

5 строк где-то

Зип енкодинг есть в стдлибе.

а где можно найти пример паука, который бы в реальном времени без остановки парсил..?

я должна использовать sitemaps ?

from scrapy.spiders import SitemapSpider

class MySpider(SitemapSpider):
   sitemap_urls = ['http://www.example.com/robots.txt']
   sitemap_rules = [
       ('/shop/', 'parse_shop'),
   ]

   other_urls = ['http://www.example.com/about']

   def start_requests(self):
       requests = list(super(MySpider, self).start_requests())
       requests += [scrapy.Request(x, self.parse_other) for x in self.other_urls]
       return requests

   def parse_shop(self, response):
       pass # ... scrape shop here ...

   def parse_other(self, response):
       pass # ... scrape other here ...