В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

627 membersпожаловаться на группу
2020 September 13

A

Alex in Scrapy
я запускаю паука с ключиком -о
-o result.json

в пауке данные собираю вот так
yield {
       'Phone': phone_number,
}
проблемка состоит в том, что данные пишет в файл хз как
то есть проходит минут 5, данные появились
вроде бы все ок но хотелось бы почаще, что бы сбрасывалась собранная информация в файл
нельзя как то влиять на этот процесс?
источник
18:01пожаловаться#1

К

Кирилл in Scrapy
Какая разница?
источник
18:06пожаловаться#2

A

Alex in Scrapy
да разницы никакой собственно)
значит ок
источник
18:10пожаловаться#3

ПА

Павел Асеев... in Scrapy
Привет, подскажите, а как сделать там чтобы например 1 item собирался с прошлой страницы (с реферера)? Например item['Город'] https://prnt.sc/ugjgw9 .
Lightshot
Screenshot
Captured with Lightshot
источник
18:12пожаловаться#4

iz

izzz zzi in Scrapy
Павел Асеев
Привет, подскажите, а как сделать там чтобы например 1 item собирался с прошлой страницы (с реферера)? Например item['Город'] https://prnt.sc/ugjgw9 .
Lightshot
Screenshot
Captured with Lightshot
meta?
источник
18:13пожаловаться#5

К

Кирилл in Scrapy
Это нормальное поведение записи в файл на уровне системы, оно пишет когда заполняется буфер, это сделанно для оптимизации. Если нужно, буфер можно убрать и оно в реал тайм будет записывать, но смысла в этом особого нет
источник
18:13пожаловаться#6

A

Alex in Scrapy
Кирилл
Это нормальное поведение записи в файл на уровне системы, оно пишет когда заполняется буфер, это сделанно для оптимизации. Если нужно, буфер можно убрать и оно в реал тайм будет записывать, но смысла в этом особого нет
понял, спасибо
источник
18:14пожаловаться#7

ПА

Павел Асеев... in Scrapy
izzz zzi
meta?
Нет. Из HTML реферера.
источник
18:14пожаловаться#8

iz

izzz zzi in Scrapy
Павел Асеев
Нет. Из HTML реферера.
ну как понял тебе в парс детальный нужно передать город из предыдущей стр?
источник
18:16пожаловаться#9

ПА

Павел Асеев... in Scrapy
Это я понимаю ) Но как?)
источник
18:16пожаловаться#10

A

Andrii in Scrapy
Мета
источник
18:17пожаловаться#11

iz

izzz zzi in Scrapy
ну парсишь ее на предыдущей стр кидаешь в мету в детальном парсе дастаешь из меты)
источник
18:17пожаловаться#12

iz

izzz zzi in Scrapy
хотя там щас в новой есть еще что-то кроме меты, вроде рекомендуют в нее кидать
источник
18:17пожаловаться#13

iz

izzz zzi in Scrapy
Павел Асеев
Это я понимаю ) Но как?)
def page_parser(self, response):
    sites = hxs.select('//div[@class="row"]')
    items = []
    request =  Request("http://www.example.com/lin1.cpp",  callback =self.parseDescription1)
    request.meta['item'] = item
    return request 

def parseDescription1(self,response):
    item = response.meta['item']
    item['desc1'] = "test"
    return item
источник
18:18пожаловаться#14

ПА

Павел Асеев... in Scrapy
Спасибо большое, буду пробовать 🙂
источник
18:19пожаловаться#15

iz

izzz zzi in Scrapy
вот
источник
18:22пожаловаться#16

iz

izzz zzi in Scrapy
Переслано от Bulatbulat48
Положить в мета, а в след функции извлечь из мета.
источник
18:22пожаловаться#17

iz

izzz zzi in Scrapy
Переслано от Bulatbulat48
https://docs.scrapy.org/en/latest/topics/request-response.html#scrapy.http.Request.meta
источник
18:22пожаловаться#18

iz

izzz zzi in Scrapy
Переслано от Bulatbulat48
Либо через cb_kwargs в новых версиях
источник
18:22пожаловаться#19

К

Кирилл in Scrapy
https://docs.scrapy.org/en/latest/topics/request-response.html?highlight=cb_kwargs#passing-additional-data-to-callback-functions
источник
18:22пожаловаться#20