Телеграмм чат группы scrapy

я просто исхожу из того что между злым умыслом (сайт намерено и хитро вставляет дубли линков) и некомпетенцией (чел не сумел правильно итерироваться) - я выбираю второе

источник

11:56пожаловаться #4

S

SoHard 🎄 in Scrapy

Семён Трояновский

я просто исхожу из того что между злым умыслом (сайт намерено и хитро вставляет дубли линков) и некомпетенцией (чел не сумел правильно итерироваться) - я выбираю второе

еще может быть реклама на каждой странице

источник

11:57пожаловаться #5

S

SoHard 🎄 in Scrapy

в которую он каждый раз заходит

источник

11:58пожаловаться #6

СТ

Семён Трояновский... in Scrapy

SoHard 🎄

еще может быть реклама на каждой странице

да много чего может быть теоретически, но версия с редиректом мне понравилась)

источник

12:04пожаловаться #7

YB

Yaswanth Bangaru in Scrapy

Yaswanth Bangaru

Thanks for that, on a side note, I read that running a selenium scraper running on a server is pretty similar to running it in my local pc with headless flag. Should I expect and be prepared for any surprises?

I don't know if this doubt is related. But my selenium scraper is running fine on ther server, but I was wondering if I could connect to the same server with a new terminal and run a second scraper? How do I find out if multiple connections are possible to the server

источник

12:10пожаловаться #8

S

SoHard 🎄 in Scrapy

Yaswanth Bangaru

I don't know if this doubt is related. But my selenium scraper is running fine on ther server, but I was wondering if I could connect to the same server with a new terminal and run a second scraper? How do I find out if multiple connections are possible to the server

tmux

источник

12:11пожаловаться #9

YB

Yaswanth Bangaru in Scrapy

SoHard 🎄

tmux

Exactly what I'm looking for. Thanks

источник

12:16пожаловаться #10

К

Кирилл in Scrapy

Yaswanth Bangaru

I don't know if this doubt is related. But my selenium scraper is running fine on ther server, but I was wondering if I could connect to the same server with a new terminal and run a second scraper? How do I find out if multiple connections are possible to the server

Of course it's possible. But, your scraper should manage instances of selenium by itself and distribute urls and etc. Otherwise multiple instances of your scraper will do the same job, and there is no point in that

источник

12:17пожаловаться #11

YB

Yaswanth Bangaru in Scrapy

Кирилл

Of course it's possible. But, your scraper should manage instances of selenium by itself and distribute urls and etc. Otherwise multiple instances of your scraper will do the same job, and there is no point in that

Okay, so, do you mean I could as well fetch multiple urls at the same time using a single scraper Instead?

источник

12:19пожаловаться #12

К

Кирилл in Scrapy

Also you could use suprvisor, it'll run as many instances of your scraper as you want in the background as daemons

источник

12:21пожаловаться #13

К

Кирилл in Scrapy

Yaswanth Bangaru

Okay, so, do you mean I could as well fetch multiple urls at the same time using a single scraper Instead?