Телеграмм чат группы scrapy

19:12пожаловаться #1

why none?

Михаил Синегубов in Scrapy

19:14пожаловаться #2

МС

Maxim Menshenin

import requests
from bs4 import BeautifulSoup as BS

r = requests.get('https://www.mk.ru/anekdoti/')
html = BS(r.content,'lxml')
div = html.find('div',class_='text')
print(div)

www.mk.ru

Анекдоты дня от МК

import requests
from bs4 import BeautifulSoup as BS

r = requests.get('https://www.mk.ru/anekdoti/')
html = BS(r.content,'lxml')
div = html.find('p',class_='text')
print(div)

Михаил Синегубов in Scrapy

20:25пожаловаться #3

МС

div => p

20:25пожаловаться #4

zbs

20:59пожаловаться #5

thx

20:59пожаловаться #6

21:00пожаловаться #7

как допер?

21:00пожаловаться #8

хотя понимаю

21:07пожаловаться #9

но не до конца(

Михаил Синегубов in Scrapy

21:07пожаловаться #10

МС

Maxim Menshenin

как допер?

эм, вообще, просто посмотреть исходник страницы....

21:26пожаловаться #11

2019 December 02

Привет, ребят, может кто подсказать про items и pipelines?

11:26пожаловаться #12

Вообщем, вопрос такой)

11:29пожаловаться #13

Серёжа in Scrapy

Привет,
как подключиться к приватным прокси в Selenium?

Делаю так:

...

PROXY = 'user:pass@IP:port'

options.add_argument('--proxy-server=http://%s' % PROXY)

...

Пишет: ERR_NO_SUPPORTED_PROXIES

Сами прокси проверял через какой-то онлайн прокси чекер - всё ок))
Подскажите, пожалуйста, если знаете? Спасибо.

11:31пожаловаться #14

Мак in Scrapy

Alexander B

Вообщем, вопрос такой)

ты же сам указал что тип получаемого объекта INT в строке I.add_value('id_',...)

11:35пожаловаться #15

ну нет, я просто назвал так переменную,

11:35пожаловаться #16

типа прилетает INT, я хочу чтобы он классом Offer стабильно преобразовывался в str и в пайплайне я уже имел строку

11:36пожаловаться #17

Мак in Scrapy

задай явно преобразование в строку

11:39пожаловаться #18

да, решается явным преобразованием в спайдере или пайплайне, но зачем тогда сериалайзер то

11:39пожаловаться #19

я хочу в items иметь 'сложные' форматирующие функции, но как то я не понимаю когда они срабатывают