AR
а в первом наверно надо проверить что реактор поставился
Size: a a a
2020 February 06
AR
в следующих версиях это всё конечно гораздо проще должно быть, но пока не
МС
на продакшен сайте тестил или на каком-нибудь простом?
какой именно сайт пытался спарсить?
именно мегаинедекс пробовал, и яндекс в качестве теста:).
ладн, намек понял, пошел учить матчасть 😄
именно мегаинедекс пробовал, и яндекс в качестве теста:).
ладн, намек понял, пошел учить матчасть 😄
МС
Посоветуйте что почитать по scrapy для понимания общей картины с уклоном на майнинг промышленных масштабов.
что в твом понимании "промышленный масштаб"?
1. магазин на ~1,5 тыс позиций
2. инстаграмм, более 20 млн записей...
что из них считается промышленным?
1. магазин на ~1,5 тыс позиций
2. инстаграмм, более 20 млн записей...
что из них считается промышленным?
AR
3. broad crawl всего рунета
AR
с одной структурой?
МС
Не один сайт, а разные, с разной структурой, автоматизация процесса, баг трекинг, конвейер
не обижайся, но вопрос похож на "мне купили комп, решил выкачать гугл, скажите как" :)
что в результате то должно быть? при чем туту и нафига багтрекинг, что за автоматизация? что за конвеер (не, ну я подозреваю что не завода Ford)
что в результате то должно быть? при чем туту и нафига багтрекинг, что за автоматизация? что за конвеер (не, ну я подозреваю что не завода Ford)
МС
блин, такое ощущение, что ты незная вообще ничего пытаешся сделать кнопку "сделать красиво".
я бы разбил на такие куски
1. как работает скрапи, как им управлять
2. как написать сайт
3. что такое scrapyd
4. что такое bigdata
5. как и где хранить десятки млн записей
6. как и куда можно отпаравить сообщение
7. как сгенерить событие, которое отправит сообщение
я бы разбил на такие куски
1. как работает скрапи, как им управлять
2. как написать сайт
3. что такое scrapyd
4. что такое bigdata
5. как и где хранить десятки млн записей
6. как и куда можно отпаравить сообщение
7. как сгенерить событие, которое отправит сообщение
МС
но это мои измышления
МС
а вообще, если задаешь настолько общие вопросы - ты просто не монимаешь в принципе что должно быть... и уж поверь, не стотит сейчас в это лезть. Начни с небольшого. С той же джанги и скрапи по отдельности
МС
это я еще не кидался какахими 😂, просто не пытайся слона из пистолета пристрелить "пойди вон, на кошках потренеруйся"© :)
просто ты пытаешся единовременно охватить совершенно разные области, а это тяжеловато
просто ты пытаешся единовременно охватить совершенно разные области, а это тяжеловато