В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 October 25

МС

Михаил Синегубов in Scrapy
Михаил Синегубов
не совсем, я бы сказал. Смотря где его ставить....
RockautoSpiderSpider.custom_settings['DATABASE'] = database - а вот кастомная  настройка только таким методом "скормилась"

get_project_settings() - вообще как то странно работает, у меня она нормально отрабатывала только в методе from_crawl (или как он там)
источник
16:11пожаловаться#1

АП

Агент Печенька in Scrapy
Понял, спасибо. Сейчас попробую.
источник
16:11пожаловаться#2

АП

Агент Печенька in Scrapy
Блин выкину нахрен вообще сеттингс.пай от скрапи, раз он так работает.
источник
16:12пожаловаться#3

МС

Михаил Синегубов in Scrapy
ну, у меня есть подозрение, что я что-то не так делаю...
источник
16:12пожаловаться#4

АП

Агент Печенька in Scrapy
Задал все настройки принудительно, всё равно не работает настройка лога.
источник
16:18пожаловаться#5

МС

Михаил Синегубов in Scrapy
после 21 по Москве постучи, может вместе победим, щас сооовсем никак....
источник
16:19пожаловаться#6

R

Roma in Scrapy
Агент Печенька
Скрапи эксперты, почему скрапи не работает так как указано в документации?
При использовании CrawlerProcess игнорируются настройки логгинга. Что LOG_LEVEL="INFO" что вообще LOG_ENABLED=False. Всё равно в стдаут летят дебажные логи. Мне нужно уровень повысить, чтобы итемы не печатались в стдаут, ибо итемы очень большие. В нормальной ситуации логлевел инфо срабатывает, а когда запускаю через CrawlerProcess то хрен. Остальные настройки работают, и пробрасываются в спайдер.
Была такая фигня когда логи засрали весь сервак. Победил установив LOG_LEVEL="INFO" и LOG_ENABLED=True
источник
16:28пожаловаться#7

АП

Агент Печенька in Scrapy
Вместе установить, отдельно не получится? Я или логлевел или лог енейбклед делал.
источник
16:28пожаловаться#8

АП

Агент Печенька in Scrapy
Сейчас попробую.
источник
16:28пожаловаться#9

R

Roma in Scrapy
Оба вместе
источник
16:29пожаловаться#10

АП

Агент Печенька in Scrapy
Никак не мог нормально прокинуть настройки логгинга, потому закостылил так.
from scrapy.utils.log import DEFAULT_LOGGING
DEFAULT_LOGGING["loggers"]["scrapy"]["level"] = "INFO"
И гори оно огнём.
источник
17:41пожаловаться#11

B

Bulatbulat48 in Scrapy
Агент Печенька
Никак не мог нормально прокинуть настройки логгинга, потому закостылил так.
from scrapy.utils.log import DEFAULT_LOGGING
DEFAULT_LOGGING["loggers"]["scrapy"]["level"] = "INFO"
И гори оно огнём.
from scrapy.crawler import CrawlerProcess
from just_scrapy3.spiders.example import QuotesSpider

from scrapy.utils.project import get_project_settings


settings = get_project_settings()
settings['LOG_LEVEL'] = "INFO"
process = CrawlerProcess(settings)
process.crawl(QuotesSpider())
process.crawl(QuotesSpider())
process.start()
источник
21:05пожаловаться#12

B

Bulatbulat48 in Scrapy
вроде работает
источник
21:06пожаловаться#13

АП

Агент Печенька in Scrapy
Странно, ты туда инстанс скрапера, а туда вроде нельзя его передать.
источник
21:08пожаловаться#14

R

Roma in Scrapy
Да верно - они пофиксили это в последнем релизе
источник
21:09пожаловаться#15

R

Roma in Scrapy
https://github.com/scrapy/scrapy/issues/3872
GitHub
Document changed CrawlerProcess.crawl(spider) functionality in Release notes · Issue #3872 · scrapy/scrapy
Possible Regression. See explanation beneath spider. MWE Testcode: #!/usr/bin/env python3 # -*- coding: utf-8 -*- # import logging import scrapy logger = logging.getLogger(__name__) class Spider(sc...
источник
21:10пожаловаться#16

B

Bulatbulat48 in Scrapy
Roma
Да верно - они пофиксили это в последнем релизе
+
источник
21:11пожаловаться#17

B

Bulatbulat48 in Scrapy
Агент Печенька
Странно, ты туда инстанс скрапера, а туда вроде нельзя его передать.
from scrapy.crawler import CrawlerProcess
from just_scrapy3.spiders.example import QuotesSpider

from scrapy.utils.project import get_project_settings


settings = get_project_settings()
settings['LOG_LEVEL'] = "INFO"
process = CrawlerProcess(settings)
process.crawl(QuotesSpider)
process.crawl(QuotesSpider)
process.start()
источник
21:11пожаловаться#18

АП

Агент Печенька in Scrapy
И логлевел инфо стал?
источник
21:12пожаловаться#19

B

Bulatbulat48 in Scrapy
да
источник
21:12пожаловаться#20