Size: a a a

2020 September 20

A

Andrii in Scrapy
Hello
источник

A

Andrii in Scrapy
Как можно стянуть такой тег ? //svg/use[@xlink:href='#ico_ui_info']
источник

AR

Andrey Rahmatullin in Scrapy
читать про неймспейсы для начала
источник

AR

Andrey Rahmatullin in Scrapy
ну и например хром по свг плохо ищет мне кажется
источник

A

Andrii in Scrapy
ну я в респонсе просто реплейснул на нормальньій, костьіль но сработало
источник

AM

Alek Mosk in Scrapy
Привет, кто парсил фейсбук, помогите с вопросом пожалуйста  🙏🙏🙏
https://stackoverflow.com/questions/63971305/get-object-by-id-facebook-api
источник

AR

Andrey Rahmatullin in Scrapy
Это не поможет, но когда я их граф апи трогал в 2016, ощущение было противное, я им даже несколько багов отрепортил
источник

i

i in Scrapy
такой вопрос - если я ставлю meta={'dont_cache': 'True'} в response.follow, это только на текущий запрос действует, или на все "нижележащие" функции? Надо ли мне обратно кэш включать?
источник

AR

Andrey Rahmatullin in Scrapy
Только если мету руками копируешь
источник

ОС

Олександр Супрун... in Scrapy
Парни, кто-то может помочь? Span кнопка которая превращается в div , не могу её обработать
источник

МС

Михаил Синегубов... in Scrapy
Олександр Супрун
Парни, кто-то может помочь? Span кнопка которая превращается в div , не могу её обработать
селениум?
источник

ОС

Олександр Супрун... in Scrapy
Да
источник

МС

Михаил Синегубов... in Scrapy
тогда "ой" :) я его почти не занаю
источник

ОС

Олександр Супрун... in Scrapy
Сайт росреестра кривой, или я, нужно ждать прогрузки страницы тогда находит все..
источник
2020 September 21

A

Andrii in Scrapy
Не по теме, но может кто поможет (а то в sql ninja молчок).
источник

A

Andrii in Scrapy
Переслано от Andrii
Всем привет. Код, https://pastebin.com/bTtSEf7s . Дает ошибку, в чем проблема?
Traceback (most recent call last):
 File "D:\IT\sim\sim\sim\pipelines.py", line 275, in __del__
   self.curr.executemany("INSERT INTO {table} VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)".format(table=self.table), self.buff)
 File "d:\it\sim\venv\lib\site-packages\mysql\connector\cursor.py", line 655, in executemany
   self._connection.handle_unread_result()
ReferenceError: weakly-referenced object no longer exists
источник

AV

Andrei Volkau in Scrapy
Коллеги, посдкажите пожалуйста: насколько сложен скарпинг продуктов с Амазона?

Я знаю, что скарпинг linkedin вызывает усмешку (почти невозможен).

А как обстоят дела со скрапингом продуктов с Amazon?

Понятно что будут нужны прокси, но я слышал про случайным образом возращаемую разметку как anti-scraping меру. Звучит неприятно.
источник

ОС

Олександр Супрун... in Scrapy
Andrii
Переслано от Andrii
Всем привет. Код, https://pastebin.com/bTtSEf7s . Дает ошибку, в чем проблема?
Traceback (most recent call last):
 File "D:\IT\sim\sim\sim\pipelines.py", line 275, in __del__
   self.curr.executemany("INSERT INTO {table} VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)".format(table=self.table), self.buff)
 File "d:\it\sim\venv\lib\site-packages\mysql\connector\cursor.py", line 655, in executemany
   self._connection.handle_unread_result()
ReferenceError: weakly-referenced object no longer exists
Я тоже говнокодер, но извлекал бы их из таблицы и присваил значение сразу
источник

А

Андрей in Scrapy
https://pastebin.com/BJ7WsA5u Ребят такой вопрос. тут лежит код, уже всю голову сломал. почему в debug он сыпет мне одну и ту же строку, а должен пробежаться по всей страничке, и вытащить все названия.
источник

А

Андрей in Scrapy
простейшая фигня поставила в тупик. при этом почти такой же код у меня в другом пауке. и там все работает нормально
источник