В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

627 membersпожаловаться на группу
2020 September 13

A

Alex in Scrapy
SoHard 🎄
попробуй прокси "дата-центр"
Спасибо, посмотрю!
источник
10:28пожаловаться#1

S

SoHard 🎄 in Scrapy
я парсил exist.ua но вижу там немного другое апи, хотя тоже банили часто
источник
10:29пожаловаться#2

A

Alex in Scrapy
SoHard 🎄
я парсил exist.ua но вижу там немного другое апи, хотя тоже банили часто
Я и другие находил, но, судя по всему, движок один и тот же используется. Хотя блокировками, по-моему, сам сервер занимается.
источник
10:32пожаловаться#3

A

Alex in Scrapy
SoHard 🎄
я парсил exist.ua но вижу там немного другое апи, хотя тоже банили часто
А давно парсили?
источник
10:32пожаловаться#4

S

SoHard 🎄 in Scrapy
Alex
А давно парсили?
в конце прошлого месяца
источник
10:34пожаловаться#5

S

SoHard 🎄 in Scrapy
не, там по разному сайты работают
источник
10:37пожаловаться#6

A

Alex in Scrapy
SoHard 🎄
в конце прошлого месяца
Совсем недавно...
Самое интересное, что, когда только щупал сайт, у меня на руках было ~20 000 прямых ссылок на карточки товара и я простыми запросами в однопоточном режиме и только с одним валидным UA смог успешно получить их все. Больше такой фокус не получался, даже с прокси. Так и не понял, с чем это было связано...
источник
10:38пожаловаться#7

S

SoHard 🎄 in Scrapy
украинский json, отдаёт причём можно было по 1000 товаров забирать
источник
10:38пожаловаться#8

A

Alex in Scrapy
SoHard 🎄
не, там по разному сайты работают
А ассортимент одинаковый с российским, не сравнивали?
источник
10:39пожаловаться#9

S

SoHard 🎄 in Scrapy
вся нужная мне инфа была даже в списке каталога, а не в карточках
источник
10:39пожаловаться#10

S

SoHard 🎄 in Scrapy
Alex
А ассортимент одинаковый с российским, не сравнивали?
хз
источник
10:39пожаловаться#11

A

Alex in Scrapy
SoHard 🎄
украинский json, отдаёт причём можно было по 1000 товаров забирать
Json? Как вы до него достучались?
источник
10:39пожаловаться#12

S

SoHard 🎄 in Scrapy
Alex
Json? Как вы до него достучались?
api
источник
10:40пожаловаться#13

A

Alex in Scrapy
SoHard 🎄
api
Это я понял. А как к нему попасть? Куда смотреть?
источник
10:40пожаловаться#14

S

SoHard 🎄 in Scrapy
смотреть что сайт на что  шлёт, ру версия html отдаёт
источник
10:41пожаловаться#15

S

SoHard 🎄 in Scrapy
проще всего прокси возьми те что я кинул, там в первый раз дают 5 баксов за 1. А 6 баксов думаю хватит весь сайт спарсить
источник
10:42пожаловаться#16

A

Alex in Scrapy
SoHard 🎄
смотреть что сайт на что  шлёт, ру версия html отдаёт
А, понял, в этом и разница. Надо бы и правда ваш вариант попробовать. Спасибо за идею!
источник
10:42пожаловаться#17

S

SoHard 🎄 in Scrapy
это могут быть вообще разные сайты. просто домен похожий
источник
10:43пожаловаться#18

S

SoHard 🎄 in Scrapy
франшиза
источник
10:43пожаловаться#19

A

Alex in Scrapy
SoHard 🎄
это могут быть вообще разные сайты. просто домен похожий
Вот бы у них еще и склад (ассортимент) был бы одников, вообще замечательно было бы.
Спасибо, попробую ваш вариант, может, и правда окажется, что rar`чик просто открывался...
источник
10:46пожаловаться#20