щас заюзаю

лол

https://www.charitynavigator.org/index.cfm?bay=search.summary&orgid=10440

По селектору, работающему в браузере, пытаюсь вытащить значение "Program Expenses"
response.xpath("//div[contains(label/h1/text(), 'Performance')]/div/table/tbody/tr/td[3]/text()").get()

Почему селектор не работает?

ставлю на то что tbody в коде нет

а вообще не надо такие подробные пути писать

без tbody работает :)

Интересно этот вывод не глядя в код был сделан? Какое-то тайное знание? в браузере есть tbody, в respone - нет.

да, тайное знание что браузеры всегда генерируют tbody

а какие браузеры не изменяют html?

никакие браузеры не изменяют хтмл, но все браузеры парсят хтмл и строят DOM-дерево

🙏🏻

хром, вроде, не ставит тбади 🙄
файерфокс, наверное, считает, что таблица без тбади - не правоверная, и пытается обратить ее в свою веру :))
вообще, это обычная ситуация, так что, если не работает селектор, первое что надо  глянуть, после проверки самого селектора - а что к тебе пришло....

подскажите, как обработать исключение sqlalchemy если бд не существует

sqlalchemy.exc.OperationalError: (psycopg2.OperationalError) FATAL:  database "bd_name" does not exist

в ините паука пробую

try:
            self.db_url = os.environ.get("DATABASE_URI")
            self.Base = automap_base()
            self.engine = create_engine(self.db_url)
            self.Base.prepare(self.engine, reflect=True)
except OperationalError:
            raise NotConfigured('no db')

как можно закрыть паук, прям с инита, чтобы если бд нет, паук закрылся и просто меседж логера?

Возможно
from sqlachemy.exc import OperationalError
from scrapy.exceptions import CloseSpider

...
try:
   ...
except OperationalError:
   raise CloseSpider(‘Database not exists’)

пробывал такое, пишет

During handling of the above exception, another exception occurred:

и разве CloseSpider может быть из инита?

С этим вроде ничего не сделать

Видимо ты его не там вызываешь, CloseSpider можно вызывтаь только или калбэка

Хотя что-то про это чинили, но завершаться не закончив инициализацию это всегда не очень красиво

так как тогда паука остановить если в ините тебе что то не понравилось?

Убрать это из инита, возможно