Я тут ге все прочитал

Уже сказали что из пайплайна можно дергать scrapy request?

Чтоб паук не блочился

import requests
from bs4 import BeautifulSoup
import time

def get_html(url):
   ip = '37.123.222.124'
   proxies = {
       'http': f'{ip}:8080',
       'https': f'{ip}:8080',
   }

   r = requests.get(url, timeout=5, headers={
       'User-Agent': 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2224.3 Safari/537.36'},
                    proxies=proxies)
   return r.text


if name == "main":
   url = "https://www.kinopoisk.ru/film/1170018/"
   while 1:
       try:
           soup = BeautifulSoup(get_html(url), 'html.parser')
           print(soup.find('body'))
       except Exception as e:
           print("Except ", e)
           time.sleep(0.1)
           continue

Почему при парсинге выводится яндекс метрика, а не html код страницы?

Метрика это не html code?

прикольно 👍

хм, это, получается, блок в пределах конкретного айтема будет? точнее, в пределах этой процедуры?

Не будет блока. Создаете requuest с callback. И пихаете его в эту функцию. Как реквест отработает - коллбэк дернется. Как в обычном пауке

Всем привет, может кто скинуть код +- сложных пауков? Мне просто посмотреть

а что в твоем понятии "сложно"

сорян, чуть перепутал. crawler.engine.crawl вот эта

Что-то сложней чем примеры из доки

ага, спс.
правда логика тогда ректальная получается.... но все равно спс

если я тебя в гитхаб пошлю - сильно обидешься? :)

Большинство сложных пауков не публикуют, думаю :)

ну типо я там сейчас могу найти плохие примеры

хотелось бы хорошие

нет плохих примеров, есть не правильное применение :))