Size: a a a

2020 August 06

AS

Alexander Serebrov in Scrapy
команда top в консоли откроет "диспетчер задач"
источник

AS

Alexander Serebrov in Scrapy
а, вопрос не в этом 😅сорри
источник

АК

Александр К-ош... in Scrapy
То же полезно. Попробовал сейчас так сделать.
источник

AS

Alexander Serebrov in Scrapy
у меня когда-то более менее сносно работала виртуальная машина с линуксом без гуя  с работающим скрейпи, запущенная в Win7 (на ноуте с 4Гб оперативы) обычно ему не так много надо, но правильно сказали, зависит от того что и как ты собираешь
источник

EB

Elisei Badanin in Scrapy
2гб оперативки О_о?
источник

RC

Ruslan Chernenko in Scrapy
Elisei Badanin
2гб оперативки О_о?
++
источник

EB

Elisei Badanin in Scrapy
я конечно все понимаю, кризис там и так далее….но может программирование это не то? грузчиком и то больше выйдет
источник

К

Кирилл in Scrapy
Лучше с телефона кодить, чем с компа с 2гб
источник

AS

Alexander Serebrov in Scrapy
ну чего вы так сразу) если хочется попробовать, то слабые ресурсы не остановят :D
в принципе если работать в чистой консоли, то должно быть норм (без графического интерфейса, браузеров и тд)
источник

АК

Александр К-ош... in Scrapy
Рабочий стол соответствующий, только время от времени возможно подгружается KDE или Gnome или что то похожее, если софт соответствующий установлен.
источник

AS

Alexander Serebrov in Scrapy
мне в прошлом году пришлось заниматься скрейпингом с 2G интернетом :D выход был поднять на AWS виртуальную машину, коннектится к ней по SSH и оттуда запускать скрейпи :D
если сильно надо, то всегда можно что-то придумать)
источник

АК

Александр К-ош... in Scrapy
Флэшка на 32 гигабайта, свободного места осталось 3.5 гига. Kivy установил с бульдозером, только apk файл не собирается до конца.
источник

AR

Andrey Rahmatullin in Scrapy
Александр К-ош
А приметы какие-то есть у сайтов, чтобы заранее прикидку делать? В данный момент занято 1172 из 1978 метабайт оперативы. Время от времени после простоя память куда то начинает утекать. Пока что не разобрался, так как только сегодня начал открывать диспетчер задач в Линуксе. До сих пор  руки не доходили поискать, где эта программа находится.
зависит от количества запросов, память в обычном пауке ест в основном дупфильтр (пропорционально общему числу запросов) и очередь (пропорционально числу поставленных в очередь и не скачанных запросов)
источник

EB

Elisei Badanin in Scrapy
Alexander Serebrov
ну чего вы так сразу) если хочется попробовать, то слабые ресурсы не остановят :D
в принципе если работать в чистой консоли, то должно быть норм (без графического интерфейса, браузеров и тд)
так именно, что остановит…после пары недель этого мазохизма забьет и все…
источник

К

Кирилл in Scrapy
Alexander Serebrov
мне в прошлом году пришлось заниматься скрейпингом с 2G интернетом :D выход был поднять на AWS виртуальную машину, коннектится к ней по SSH и оттуда запускать скрейпи :D
если сильно надо, то всегда можно что-то придумать)
Да, это скорее уже возможно когда знаешь что делаешь
источник

AS

Alexander Serebrov in Scrapy
но ведь нет способа узнать что делать пока не попробуешь что-то сделать 😅
источник

EB

Elisei Badanin in Scrapy
ну я к тому, что можно на каком-нибудь авито с какой-нибудь рассрочкой что-то более менее живое купить, и платить с какой-нибудь подработки…
источник

АК

Александр К-ош... in Scrapy
Не все IDE сносно работают, учусь в Geany.
источник

К

Кирилл in Scrapy
Действительно лучше пойти грузчиком и накопить на комп
источник

EB

Elisei Badanin in Scrapy
кто бы что ни говорил, но иде тоже нужна нормальная, особенно для начала, поможет с синтаксическими проблемами
источник