В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

663 membersпожаловаться на группу
2020 October 15

К

Кирилл in Scrapy
Семён Трояновский
ну короче моя теория что "выбрала" в итоге именно публика из биг дата, которая писала на питоне и не хотела менять язык
Странно такое слышать, потому что скрапинг в биг дата это черновая работа, которую можно и обезьяне доверить, поэтому скорее всего серьезным дядям которые занимаются математикой и научной деятельностью всё равно кто им данные поставляет и откуда они их берут
источник
23:34пожаловаться#1

i

i in Scrapy
я час назад линк кидал)
источник
23:34пожаловаться#2

i

i in Scrapy
Семён Трояновский
можно примеры?
https://github.com/BruceDone/awesome-crawler кину еще раз)
GitHub
BruceDone/awesome-crawler
A collection of awesome web crawler,spider in different languages - BruceDone/awesome-crawler
источник
23:34пожаловаться#3

К

Кирилл in Scrapy
Andrii
Fast (>1k request/sec on a single core) 🙄
Это много или мало?
источник
23:36пожаловаться#4

СТ

Семён Трояновский... in Scrapy
Кирилл
Странно такое слышать, потому что скрапинг в биг дата это черновая работа, которую можно и обезьяне доверить, поэтому скорее всего серьезным дядям которые занимаются математикой и научной деятельностью всё равно кто им данные поставляет и откуда они их берут
Хз, в курсы по биг дата однако стабильно вставляют раздел "парсинг данных"
источник
23:36пожаловаться#5

К

Кирилл in Scrapy
Это для нубов самоучек. В фирмах где есть разделение труда конечно это разные люди будут делать
источник
23:37пожаловаться#6

СТ

Семён Трояновский... in Scrapy
ну короче ладно ребят, я может чего-то упустил но когда я начинал реально все туториалы, все видосы, вся инфа была по scrapy или bs4, дальше этого врягаться не буду)
источник
23:39пожаловаться#7

МС

Михаил Синегубов... in Scrapy
Семён Трояновский
Хз, в курсы по биг дата однако стабильно вставляют раздел "парсинг данных"
Я в строительном институте получил корочку каменщика (это обязательно было). Это что получается, стандарт для строительства - кирпичный дом? 🤔 И каждый каменщик - инженер-строитель?
источник
23:39пожаловаться#8

СТ

Семён Трояновский... in Scrapy
Кирилл
Это для нубов самоучек. В фирмах где есть разделение труда конечно это разные люди будут делать
Какие-то вроде и на скрапи работают, но много где свои решения
источник
23:39пожаловаться#9

СТ

Семён Трояновский... in Scrapy
я сам не на питоне пишу 🤷‍♂
источник
23:40пожаловаться#10

СТ

Семён Трояновский... in Scrapy
но например на C# из общедоступного ничего даже близкого к scrapy нет
источник
23:41пожаловаться#11

СТ

Семён Трояновский... in Scrapy
Htmlagilitypack чтобы htmlки парсить и все
источник
23:41пожаловаться#12

СТ

Семён Трояновский... in Scrapy
Все остальное пиши сам
источник
23:41пожаловаться#13

A

Andrii in Scrapy
Так сделай
источник
23:42пожаловаться#14

i

i in Scrapy
Семён Трояновский
Htmlagilitypack чтобы htmlки парсить и все
а это что, фигня? https://github.com/BruceDone/awesome-crawler#c
GitHub
BruceDone/awesome-crawler
A collection of awesome web crawler,spider in different languages - BruceDone/awesome-crawler
источник
23:49пожаловаться#15

СТ

Семён Трояновский... in Scrapy
Andrii
Так сделай
так речь то о готовом решении омг
источник
23:50пожаловаться#16

i

i in Scrapy
вроде даже есть пара проектов, где не так все печально по звездам и датам
источник
23:50пожаловаться#17

СТ

Семён Трояновский... in Scrapy
i
а это что, фигня? https://github.com/BruceDone/awesome-crawler#c
GitHub
BruceDone/awesome-crawler
A collection of awesome web crawler,spider in different languages - BruceDone/awesome-crawler
чот несерьёзно
источник
23:50пожаловаться#18

i

i in Scrapy
ну хз, 2.7к звезд, имхо пойдет: https://github.com/dotnetcore/DotnetSpider
GitHub
dotnetcore/DotnetSpider
DotnetSpider, a .NET Standard web crawling library. It is lightweight, efficient and fast high-level web crawling & scraping framework - dotnetcore/DotnetSpider
источник
23:51пожаловаться#19

i

i in Scrapy
фу, скобочки
источник
23:51пожаловаться#20