Size: a a a

2020 September 11

S

SoHard 🎄 in Scrapy
Alexey Lemeshevski
Авито, Юла (и может еще пара c2c площадок), топ10-100 магазинов (то, что Кульгин (xmldatafeed.ru) продает), тройка геосервисов (отзывы, адреса), топ10 агрегаторов недвижимости ...это ведь постоянно заказывают)

У меня просто мысли о экономии человеческих ресурсов всегда расходятся с бизнес-принципами)) ...вот то же Авито ...сколько людей уже это писали и тратили часов на это) ...но пишем снова и снова)
Если ты сам парсер продавать решил то это гиблое дело
источник

S

SoHard 🎄 in Scrapy
На Питоне и скрапи писать софт который в руки отдавать потом
источник

AL

Alexey Lemeshevski in Scrapy
Михаил Синегубов
бы у меня парсер 2gis, софтинка под винду. Поддержка еще ничего. Но, то что постоянно слышишь "а вот это не следаете?", "а в такой формат можно?"

по мне, парсеры выкладывать только в качестве саморекламы.
ну, или пилить серьезную систему. С соответствующими вложениями
Я лет 5 занимаюсь магазинами ...построил систему целую, типа Скрапи, с интерфейсом и т.п.)) но, да! Каждый новый запрос "а можно еще отзывы?" ..."а можете положить товары в корзину и взять там то-то ...". "А можно из разных гооодов?" ...и ведь всегда нужна оценка заранее))) а на оценку нужно время на "проверить идею"))) а клиент потом "мы передумали")))

В этом смысле кажется, что продавать готовые данные по топХ (магазинов в моем случае) лучшее решение с точки зрения экономики нашей работы)
источник

AL

Alexey Lemeshevski in Scrapy
SoHard 🎄
На Питоне и скрапи писать софт который в руки отдавать потом
В действительности я это и делаю, только это не разовые задачи, а больгая заказная наемеая  разработка ...которая компании а итоге обходится в сотни и более т.р. ...и да, просто продать рабочий парсер за 5-10т.р. кажется глупым)
источник

S

SoHard 🎄 in Scrapy
Alexey Lemeshevski
В действительности я это и делаю, только это не разовые задачи, а больгая заказная наемеая  разработка ...которая компании а итоге обходится в сотни и более т.р. ...и да, просто продать рабочий парсер за 5-10т.р. кажется глупым)
Я имею ввиду если продавать скрипт то он после первой покупки будет скопирован)
источник

S

SoHard 🎄 in Scrapy
Уж лучше делать сервис
источник

A

Andrii in Scrapy
Проще подкупить сотрудника :)
источник

СТ

Семён Трояновский... in Scrapy
Alexey Lemeshevski
В действительности я это и делаю, только это не разовые задачи, а больгая заказная наемеая  разработка ...которая компании а итоге обходится в сотни и более т.р. ...и да, просто продать рабочий парсер за 5-10т.р. кажется глупым)
ну здесь ещё важный момент что мы понимаем под "парсером"
источник

СТ

Семён Трояновский... in Scrapy
скрипт который стянет 100к товаров с сайта или инфраструктуру которая будет изо дня в день тянуть по паре млн айтемов, проверять чтобы при ошибках и падениях не было накладок, поставлять куда-то в удобном виде все эти адовые по объемам датасеты
источник

СТ

Семён Трояновский... in Scrapy
если первое то такое на коленке может написать любой кто прочитал доку скрапи, если второе - то это уже немного другой разговор)
источник

AL

Alexey Lemeshevski in Scrapy
SoHard 🎄
Я имею ввиду если продавать скрипт то он после первой покупки будет скопирован)
А, понял) вроде да, но бывает, что люди, заплатившие деньги не особо хотят бесплатно это отдавать.
источник

AL

Alexey Lemeshevski in Scrapy
Семён Трояновский
если первое то такое на коленке может написать любой кто прочитал доку скрапи, если второе - то это уже немного другой разговор)
В идее про магазин - первое) ...как шаблон для ZennoPoster)

Второе - это уже как компанию продать))) нет уж))
источник

AL

Alexey Lemeshevski in Scrapy
Семён Трояновский
если первое то такое на коленке может написать любой кто прочитал доку скрапи, если второе - то это уже немного другой разговор)
И тоже не всегда любой на коленке) многие теперь и названия классов "шифруют" (иношда динамически) и пустые div в дерево добавляют ...и данные а svg отдают ...и xhr запросы только с csrf или id предыдущего запроса и т.п. + на сетевом уровне qrator какой-нибудь или в nginx простые правила по ip...

А селениум - его еще поставить надо и настроить))) и про прокси знать)))

Кстати, Тут народ уже "фермы" с браузерами продает как сервис))) недавно попалось)) ща...
источник

AL

Alexey Lemeshevski in Scrapy
источник

AL

Alexey Lemeshevski in Scrapy
Блин, простите за опечатки в сообщениях, пожалуйста) у меня зрение не очень)
источник

AL

Alexey Lemeshevski in Scrapy
Я пробовал использовать их бесплатный готовый докер с хромом - у меня что-то не заработало) не стал вникать почему)
источник

AL

Alexey Lemeshevski in Scrapy
Точнее, у них там среда для отладки - я не смог к ней подключиться (ssh тунели были, все включено - просто в интерфейс что-то не подгружалось). ...а! Вспомнил, там нужен был puppeteer, но это js серверная экосистема, а я js только с клиентской стороны могу)
источник

СТ

Семён Трояновский... in Scrapy
удивительно, но оказывается хэдлесс бразуеры прям так всем нужны что их аж на потоке продают
источник

AL

Alexey Lemeshevski in Scrapy
Семён Трояновский
удивительно, но оказывается хэдлесс бразуеры прям так всем нужны что их аж на потоке продают
Мы тут пересекаемся с автоматизированным тестированием просто) у них промышленный спрос на такие штуки)
источник

iz

izzz zzi in Scrapy
Семён Трояновский
удивительно, но оказывается хэдлесс бразуеры прям так всем нужны что их аж на потоке продают
ну под тестирования да
источник