Size: a a a

2020 October 07

S

SoHard 🎄 in Scrapy
да, в люминати тоже можно выбрать пул агентов который он к прокси прикручивет
источник

OS

Oleg Shleiko in Scrapy
спасибо... Надеялся что это не просто хэдере а список шифров и алгоритмов для TLS/SSl
источник

AL

Alexey Lemeshevski in Scrapy
Мне вот тоже интересно - scrapoxy - для него нужны свои вирт.сервера, покупать их разве не дороже, чем купить доступ в сервисах с мобильными прокси?
источник

AL

Alexey Lemeshevski in Scrapy
Одна ВМ - рублей 600 все равно в месяц выйдет же)
источник

AL

Alexey Lemeshevski in Scrapy
И ip фиксированный )
источник

AL

Alexey Lemeshevski in Scrapy
Или я тоже не так понял, зачем?)
источник

AL

Alexey Lemeshevski in Scrapy
Или это для случаев, когда ты покупаешь 50 симок с модемами и сам создаешь пул прокси?))
источник

AL

Alexey Lemeshevski in Scrapy
Ааа)
источник

AR

Andrey Rahmatullin in Scrapy
кого их, простите?
источник

AR

Andrey Rahmatullin in Scrapy
scrapoxy это либа
источник

AR

Andrey Rahmatullin in Scrapy
которая сама создаёт и менеджит вмки по твоему конфигу
источник

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
кого их, простите?
аа, я не вчитывался, подумал что тут как в люминати и тд
источник

AL

Alexey Lemeshevski in Scrapy
Andrey Rahmatullin
кого их, простите?
Я криво написал. Я имел ввиду, что, как я понял: scrapoxy это библиотека (на node.js написанная). Ты покупаешь 5 vps (не важно где), на каждой разворачиваешь docker контейнер. А на основном сервере, где запущен парсер/скрапер, запускаешь тоже ее (ставишь через npm). На основном сервере она получает запросы от скрапера и автоматически распределяет их между твоими vps'ками. Верно?

Если так, то, выходит, vps'ки самому покупать нужно) разве это не дороже мобильных прокси выйдет? И ip купленных vps не меняются же)
источник

AR

Andrey Rahmatullin in Scrapy
я отвечал на удалённые сообщения
источник

AR

Andrey Rahmatullin in Scrapy
и нет, он сам создаёт и удаляет впски
источник

AR

Andrey Rahmatullin in Scrapy
причём всё что я знаю про скрапокси кроме названия, я узнал в ходе этой дискуссии, открыв их сайт и доку 🤷‍♂️
источник

AL

Alexey Lemeshevski in Scrapy
Andrey Rahmatullin
и нет, он сам создаёт и удаляет впски
Аа, вот в чем прикол) понятно) спасибо!
источник

AL

Alexey Lemeshevski in Scrapy
Andrey Rahmatullin
причём всё что я знаю про скрапокси кроме названия, я узнал в ходе этой дискуссии, открыв их сайт и доку 🤷‍♂️
Я из чтения текста на главной странице их сайта не улоаил того, что он сам создает vps используя api амазона/других сервисов. Вы быстро разбираетесь и очень хорошо знаете английский, это круто)
источник

VR

Vadim Ryzhkov in Scrapy
Как сайты могут спалить использование селениума и как от этого избавиться? Например, гугл не дает авторизоваться, если используется автоматизированное управление
источник

S

SoHard 🎄 in Scrapy
Vadim Ryzhkov
Как сайты могут спалить использование селениума и как от этого избавиться? Например, гугл не дает авторизоваться, если используется автоматизированное управление
источник