Size: a a a

2020 January 11

АП

Агент Печенька in Scrapy
Разницу поймёт любой человек который знает архитектуру.
источник

АП

Агент Печенька in Scrapy
Евгений Jen
ага, ток при промышленом парсинге процессор не дорогой
дорогой диск
толку с этого
Дорогая сеть как бы.
источник

АП

Агент Печенька in Scrapy
И именно на оптимизацию сети направлен скрапи.
источник

ЕJ

Евгений Jen in Scrapy
где? сеть дорогая? гигабит канал не проблема
источник

ЕJ

Евгений Jen in Scrapy
куда все это складывать спустя пару месяцев
источник

АП

Агент Печенька in Scrapy
Евгений Jen
где? сеть дорогая? гигабит канал не проблема
Да? А сайту проблема.
источник

ЕJ

Евгений Jen in Scrapy
дык мы же про скрапи
источник

ЕJ

Евгений Jen in Scrapy
а не про hight load
источник

AR

Andrey Rahmatullin in Scrapy
ааа ыыы.
источник

АП

Агент Печенька in Scrapy
Евгений Jen
куда все это складывать спустя пару месяцев
Да куда угодно, я уже пару лет как не видел хостера без СУБД на ссд.
источник

ЕJ

Евгений Jen in Scrapy
ам) я говорю про деньги)
источник

AR

Andrey Rahmatullin in Scrapy
и я замечу что все эти методы с подчёркиваниями и твистедовые классы в коде спайдера не видны
источник

ЕJ

Евгений Jen in Scrapy
2 тера на DO еще в ту копеечку влетит)
источник

ЕJ

Евгений Jen in Scrapy
Andrey Rahmatullin
и я замечу что все эти методы с подчёркиваниями и твистедовые классы в коде спайдера не видны
да твистед там хорошо упрятан
источник

ЕJ

Евгений Jen in Scrapy
и документация отличная
источник

ЕJ

Евгений Jen in Scrapy
и инфроструктура тоже гуд
источник

ЕJ

Евгений Jen in Scrapy
тут все ок
источник

ЕJ

Евгений Jen in Scrapy
если быстро стартануть с небольшим бюджетом все ок хорошо построили
источник

ЕJ

Евгений Jen in Scrapy
но как правило на фриленсе одиночные заказы - и тут скрапи избыточен
источник

ЕJ

Евгений Jen in Scrapy
а в конторе обычно 1 кодер год сидит - идти особо некуда,
источник