Size: a a a

2020 October 30

МС

Михаил Синегубов... in Scrapy
Andrii
короче, я понял, убрать йелд и просто писать весь луп в файл ?)
🤬
источник

AR

Andrey Rahmatullin in Scrapy
😹
источник

iz

iz zi in Scrapy
Andrii
и не будет проблем с памятю?
В очередь кидай
источник

К

Кирилл in Scrapy
Михаил Синегубов
ну, у меня не настолько все "круто" :)). Сам паук по функции для базы :)
Ничего страшного, всё можно стартовать с небольших размеров. А там глядишь тебе и PR будут кидать
источник

iz

iz zi in Scrapy
Andrii
короче, я понял, убрать йелд и просто писать весь луп в файл ?)
У меня просто свой Пайп и он в очередь кидалась json’ки а пару воркеров уже разгребают и пишут в бд
источник

К

Кирилл in Scrapy
iz zi
У меня просто свой Пайп и он в очередь кидалась json’ки а пару воркеров уже разгребают и пишут в бд
Там с запросами проблема, а не с ответами
источник

iz

iz zi in Scrapy
Ну не кто не мешает на воркеры орм сделать
источник

iz

iz zi in Scrapy
Проще в очереди копить данные чем в пауке
источник

i

i in Scrapy
Stepan Smirnov
Можно ли ускорить работу Scrapy с кэшем на уровне кода? Если да, то в какую сторну смотреть?
я вспомнил как в скрапи кажется 1.7 выпилили leveldb кэш и заплакал, ыыыыыыыыы(((
источник

i

i in Scrapy
Семён Кашин
Господа! Приветствую!
А никто не может подсказать  как правильно организовывать работу с Scrapy - RabbitMQ? Хотелось бы увидеть пример работающего middleware и/или pipeline. Своими силами у меня получается как-то корявенько - очень часто теряется подключение по таймауту
я постепенно пришел к мысли, что нафиг я буду эти очереди сам реализовывать и последовательность задачек,  и лучше взять pipeline framework, вида apache airflow или luigi и там примерно то, что мне надо встроить в текущую инфраструктуру
источник

ДТ

Даниил Трофимов... in Scrapy
Здравствуйте,в моей голове появился интересный вопрос,как при открытии файла в название указать / ,чтобы это не считалась как переход в новую дирикторию?надеюсь понятно объяснил
источник

S

SoHard 🎄 in Scrapy
Даниил Трофимов
Здравствуйте,в моей голове появился интересный вопрос,как при открытии файла в название указать / ,чтобы это не считалась как переход в новую дирикторию?надеюсь понятно объяснил
Почитать какие символы могут быть в названии
источник

ДТ

Даниил Трофимов... in Scrapy
SoHard 🎄
Почитать какие символы могут быть в названии
хахах,я уже нашёл ответ
источник

S

SoHard 🎄 in Scrapy
Даниил Трофимов
хахах,я уже нашёл ответ
За 30 секунд?
источник

ДТ

Даниил Трофимов... in Scrapy
не считал ,но быстро
источник

S

SoHard 🎄 in Scrapy
👍
источник

A

Andrii in Scrapy
От 100$
источник

ДТ

Даниил Трофимов... in Scrapy
Andrii
От 100$
реально?
источник

ДТ

Даниил Трофимов... in Scrapy
Andrii
От 100$
не,там работа на 2 часа
источник

A

Andrii in Scrapy
Сколько времени потратил?
источник