Sergei Morozov
Дайте совет. Мне требуется создать и развернуть бота на vds, который будет регулярно и много парсить данные с одного сайта(сбор данных с 2-3 тыс страниц в день).
Я думал безопаснее и оптимальнее, чтобы посещения этого бота и выглядели как некий бот. Боты яндекса, гугла и тд обходят ведь этот сайт.
Начал искать разработчика, который все это сделает. Нашел парня, но он пишет программы на виндоус и предложил на vds с виндой создать такого бота.
А мне нужно чтобы:
1) Данные собирались максимально быстро.
2) Данные собирались беспалевно, а он предлагает чтобы этот бот выглядел для сайта как хром.
Что думаете? На винде норм разварачивать такое или нет?
Парень тебе норм все говорит. Самый беспалевный вариант еще проксей накинуть, что бы оно меняло их на каждый запрос. Тогда вобще максимум беспаливности. Делал такое, cef рулит для скрейпинга). И по поводу "максимально быстро" - быстро не факт что получится и это не зависит от ОСи точно. Время загрузки страницы, подрузка контента каким либо асинхронным путем, все это требует времени (btw это самая большая часть ожидания). Быстрее чем сайт отрабатывает не получится