Size: a a a

2020 August 30

AR

Andrey Rahmatullin in Scrapy
источник
2020 August 31

S

SoHard 🎄 in Scrapy
Andrii
А должно бьіть 5млн реквестов, наверное дорого мне будет
а чо есть подешевле?
источник
2020 September 01

f

fishsouprecipe 🤍 in Scrapy
Запускаю в 5 тредов 5 селениумов, общаюсь с ними через loop.run_in_executor. Есть какие-то советы?)
источник

A

Andrii in Scrapy
fishsouprecipe 🤍
Запускаю в 5 тредов 5 селениумов, общаюсь с ними через loop.run_in_executor. Есть какие-то советы?)
Юзай сплеш
источник

К

Кирилл in Scrapy
Советую не задавать мета вопросов👍 https://nometa.xyz/
источник

f

fishsouprecipe 🤍 in Scrapy
Кирилл
Советую не задавать мета вопросов👍 https://nometa.xyz/
источник

f

fishsouprecipe 🤍 in Scrapy
Andrii
Юзай сплеш
Что за зверь такой, справится если что с кликанием и вводом капчи?)
источник

A

Andrii in Scrapy
Смотря откуда руки
источник

f

fishsouprecipe 🤍 in Scrapy
Ну понятное дело, а если хочу на селеинуме поездить?)
источник

A

Andrii in Scrapy
fishsouprecipe 🤍
Ну понятное дело, а если хочу на селеинуме поездить?)
ну тогда юзай селениум с луп ексекютор
источник

К

Кирилл in Scrapy
Andrii
ну тогда юзай селениум с луп ексекютор
Так он уже, а советы то какие?????
источник

A

Andrii in Scrapy
Кирилл
Так он уже, а советы то какие?????
Совет - юзать)
источник

f

fishsouprecipe 🤍 in Scrapy
Короче у меня есть основное приложение. Оно async await. К нему хочу докрутить автоматизацию и парсинг, не могу понять как сделать мой парсер асинхронным) Какой лок мне нужен, от asyncio или threading. Мне по сути на каждый драйвер нужен же лок, верно?
источник

К

Кирилл in Scrapy
ого, ты смог более менее нормальный вопрос задать
источник

f

fishsouprecipe 🤍 in Scrapy
Кирилл
ого, ты смог более менее нормальный вопрос задать
Спасиб спасиб)
источник

AR

Andrey Rahmatullin in Scrapy
какой лок, зачем
источник

S

SoHard 🎄 in Scrapy
fishsouprecipe 🤍
Спасиб спасиб)
Ты решил что в чате аиограма всем надоел и сюда по задавать вопросов не в тему?
источник

f

fishsouprecipe 🤍 in Scrapy
SoHard 🎄
Ты решил что в чате аиограма всем надоел и сюда по задавать вопросов не в тему?
А что
источник

i

i in Scrapy
помницо я тоже как-то запускал 6 селениумов, тока тогда  async-await для меня было слишком сложно, и я сделал https://i.imgur.com/YfIpfQw.png
источник

i

i in Scrapy
по-итогу с import multiprocessing выходит 3 строчки кода, ну и функцию основную написать, чтобы ее можно было map'у скормить. Плюсом шло, что мой мозг не был сломан
источник