D
Size: a a a
2020 September 21
SS
Andrei Volkau
Коллеги, посдкажите пожалуйста: насколько сложен скарпинг продуктов с Амазона?
Я знаю, что скарпинг linkedin вызывает усмешку (почти невозможен).
А как обстоят дела со скрапингом продуктов с Amazon?
Понятно что будут нужны прокси, но я слышал про случайным образом возращаемую разметку как anti-scraping меру. Звучит неприятно.
Я знаю, что скарпинг linkedin вызывает усмешку (почти невозможен).
А как обстоят дела со скрапингом продуктов с Amazon?
Понятно что будут нужны прокси, но я слышал про случайным образом возращаемую разметку как anti-scraping меру. Звучит неприятно.
достаточно использовать неспаленные прокси + поставить базовый UA. На куки, чистку url можно забить
МС
5 разных сайтов в день. должна же быть какая та статистика. вот вы все по какому критерию делаете?
ты не думаешь, что сейчас пытаешься доказать теорему о сферическом коне в вакууме? 😂
что у каждого уникальное, по тому и фильтруем. На одном сайте это артикул, на втором - название, на третем ссылка
что у каждого уникальное, по тому и фильтруем. На одном сайте это артикул, на втором - название, на третем ссылка
МС
может быть кусок URL, на этот вопрос (признак уникальности) только ты можешь ответить
D
ты не думаешь, что сейчас пытаешься доказать теорему о сферическом коне в вакууме? 😂
что у каждого уникальное, по тому и фильтруем. На одном сайте это артикул, на втором - название, на третем ссылка
что у каждого уникальное, по тому и фильтруем. На одном сайте это артикул, на втором - название, на третем ссылка
ну да. я это. и хотел услышать. что не парься и делай под каждый по разному ) то просто перфекционист и лентяй внутри хотел капельку волшебства 🙂
МС
ну да. я это. и хотел услышать. что не парься и делай под каждый по разному ) то просто перфекционист и лентяй внутри хотел капельку волшебства 🙂
на, ну, тогда тебе ответ "парься, универсального ответа быть не может" 🙃