Request URL: https://beru.ru/api/resolve/?r=beton/src/resolvers/search/resolveRemoteSearch:resolveRemoteSearch

на такие запросы тоже 403?

post + payload тоже необходимы

тут вообще тишина

вплане?

вроде все ожило.
прописал
DOWNLOADER_CLIENT_TLS_METHOD = 'TLSv1.2'

и простым скрейпи реквестом все получил

отлично 👍

добрый день! Здесь вопросы BS4 обсуждаются или только Scrapy?

Bs4 тоже

отлично! спасибо

А где сами вопросы?

это и был вопрос)

Вопросы будут конечно, структурирую проблемы ;)

Всем привет. Есть у меня ф-ция парсе_что-то() которая пишет в пайплайн, а как правильно (ли верно так будет) создать еще функцию парсе_что-то2() и писать фактически те же резалтЬІ но уже в другой пайп?? Или делать все в одном парсе()?

что за "функция пишет в пайплайн"

о, речь о пайплайнах. как раз тоже хотел спросить.

в общем, есть 2 спайдера, делают разные задачи.

я сначала написал под каждый спайдер отдельный пайплайн и попробовал их указать в спайдере через pipeline = {ParserPipeline} но что-то пошло не так.

как я понял, это не совсем нормальная практика, правильнее будет держать один единый пайплайн для экспорта, а два других пайплайна под два спайдера соответственно. тогда возникает вопрос – в пайплайнах надо проверять от какого спайдера пришел айтем и скипать, либо обрабатывать? или есть какая-то еще более удобная практика?

Конечно вопрос правильного подхода тут размытый, но по идее, пайплайну должно быть всё равно из какого спайдера пришел айтем. И если пауки делают совершенно разные вещи, то это должны быть разные проекты

хм, даже разные проекты. просто звучит немного не оптимизированно. получается куча бойлерплейта с разницей в настройках спайдеров и пайплайнов)