Size: a a a

2019 October 24

М

Мак in Scrapy
Пиши getall вместо extract
источник

АП

Агент Печенька in Scrapy
С любого никак.
источник

B

Bulatbulat48 in Scrapy
Берёшь задачу или пачку любых сайтов и парсишь
источник

К

Кирилл in Scrapy
Всем привет. Подскажите пожалуйста, как оптимизировать парсинг карточки организации https://pastebin.com/RMpmupeY, у меня код работает на части карточек, но заметил что на некоторых страницах в таблицах содержится разное количество данных, а т.к. я обращаюсь при парсинге по индексам тегов, то парсер ломается. Т.е. когда на одной карточке 5 тегов p, а на другой их 10. Мне кажется что я немного топорно разбираю, например обращаюсь по индексам вот так http://joxi.ru/LmGDjRkuwnQLV2.

На это странице https://www.list-org.com/company/4868135 - ок
А на этой уже нет https://www.list-org.com/company/4868135
источник

B

Bulatbulat48 in Scrapy
Агент Печенька
С любого никак.
Ещё 14 до 300 не хватает👍
источник

АП

Агент Печенька in Scrapy
Мне просто надоели вопросы по парсинг, потому теперь буду всех вопрошающих мягко форвардить сюда.
источник

B

Bulatbulat48 in Scrapy
Агент Печенька
Мне просто надоели вопросы по парсинг, потому теперь буду всех вопрошающих мягко форвардить сюда.
Вот и отлично 🤝
источник

B

Bulatbulat48 in Scrapy
Кирилл
Всем привет. Подскажите пожалуйста, как оптимизировать парсинг карточки организации https://pastebin.com/RMpmupeY, у меня код работает на части карточек, но заметил что на некоторых страницах в таблицах содержится разное количество данных, а т.к. я обращаюсь при парсинге по индексам тегов, то парсер ломается. Т.е. когда на одной карточке 5 тегов p, а на другой их 10. Мне кажется что я немного топорно разбираю, например обращаюсь по индексам вот так http://joxi.ru/LmGDjRkuwnQLV2.

На это странице https://www.list-org.com/company/4868135 - ок
А на этой уже нет https://www.list-org.com/company/4868135
Если вы собираете всю таблицу, то просто перебирайте строки в цикле. И соответственно td1, td2 будут ваши значения.
источник

К

Кирилл in Scrapy
Bulatbulat48
Если вы собираете всю таблицу, то просто перебирайте строки в цикле. И соответственно td1, td2 будут ваши значения.
А как находить нужные мне td1 и td2, просто сравнивания и находя то что мне нужно?
источник

B

Bulatbulat48 in Scrapy
Можно перебирать, а можно доставать через css/xpath.
источник

К

Кирилл in Scrapy
Bulatbulat48
Можно перебирать, а можно доставать через css/xpath.
Cпасибо. Буду пробовать
источник
2019 October 25

s

serhii in Scrapy
О, твиттер интерфейс поменял. А не, это я в телеграмм зашёл.
источник

МС

Михаил Синегубов in Scrapy
serhii
О, твиттер интерфейс поменял. А не, это я в телеграмм зашёл.
че, наконец то дождался сообщений :
— "я проснулся!!!"
...
— "я пукнул!!!!"

😂
источник

МС

Михаил Синегубов in Scrapy
@Denken17 если хочешь что бы тебе помогали - не надо лить херову кучу сообщений. Сам пробуй думать, иногда помогает.  Это п....ц как раздражает.
источник

М

Мак in Scrapy
нда, а то прям монолог какой то
источник

s

serhii in Scrapy
в стэковерфлоу мне нравится, вопрос задал, минусов нахватался, все, пол года спрашивать ничего не можешь =)
источник

МС

Михаил Синегубов in Scrapy
serhii
в стэковерфлоу мне нравится, вопрос задал, минусов нахватался, все, пол года спрашивать ничего не можешь =)
😂, ну, тут то же можно выпиливать на время 😂,
источник

R

Roma in Scrapy
Ни мне конечно судить - но некоторые вещи можно сначала загуглить, а не в лоб спрашивать какого хрена у меня тут пустой csv на выходе и пачку скринов
источник

EB

Elisei Badanin in Scrapy
Михаил Синегубов
😂, ну, тут то же можно выпиливать на время 😂,
Даже плагины для этого какие-то есть, в одном чате видел
источник

МС

Михаил Синегубов in Scrapy
в питоне, вроде (я про чатик), там кого то морозили в ридонли, вроде :)
источник