@PythononeloveSSS, @so_hard_day - я тут RO научился выдавать...😂

Спасибо,предлагаю про всё забыть.начать с чистого листа.

согласен, был дебилом

Hello guys! Can you help me figure out a choice of server to run my selenium (chrome executable) based web-scraping project? I'm saving the scraped data to Excel files and it works fine on my Ubuntu 64bit Laptop (I have a separate environment for this project). I suggested my boss to buy a server to run it as it's about 60,000 rows of data(4-5 such scrapers). I was expecting something like AWS or GCP. But he only gave me 2 options (https://www.hetzner.com/ and https://contabo.com/?show=home). These websites show too many options of servers and I can't figure out what works best for my project. Our motive is to keep the costs as minimal as possible. Can you guys please help me figure out what spectrum of servers works for me

Depends from your scraper. Contabu's VPS for 3.99 might be enough for you, but for 7.99 is definitely much more appropriate

Okay, you mean the 7.99 Euro/month Virtual dedicated server right?

this one https://contabo.com/?show=configurator&vserver_id=261

Do you have time for a paid job?

contabo реально молодцы. за 5 лет была лишь 1 трабла с 1 вдс. что-то с ссд. не понравилось что первые 10 раз они писали что всё ок. а потом извинились таки за битый ССД

По идее один селениум под нагрузкой должен до 1гб памяти выедать?

браузер + 1 вкладка около 256 рам жрёт

смотря какой браузер. лучше firefox (только не nightly или esr) ибо с ними не рабоатет

geckodriver ест меньше chromedriver

Я уже точно но помню, где-то у меня было что в 1гб упиралось, но может быть там что-то ещё было запущенно, но всё равно думаю что у них там не мега оптимизированный код, так что 10гб лучше будет

конечно. минимум 4 лучше. + свап на 4 гб. ибо свап жрёт нехило если мало РАМ

Thanks for that, on a side note, I read that running a selenium scraper running on a server is pretty similar to running it in my local pc with headless flag. Should I expect and be prepared for any surprises?

Mostly it will be the same. Maybe you will meet some differences because of versions and so on. In such cases it's better to use docker to reduce this effect

Okay, thank you so much. I'll try to do that if I face many errors

ребят, у кого был опыт извлечения данных с большого кол-ва эксель файлов, трансформацией полей в json и дальнейшей загрузки в бд? Может есть кто делал, что-то подобное с помощью ETL программ, например (Pentaho, Talend) ?

Добрый день, https://bolshoj-kamen.jsprav.ru/magazinyi-avtozapchastej-i-avtotovarov/
как побороть кнопку показать телефон? Чтобы забрать телефон полностью?
Реквест не поможет? только Scrapy?
не могу нагуглить сам так, как не понимаю как сформулировать вопрос?