ES
я работала в одном проекте где мы использовали API штук 20-25 других систем (от Google до Stripe) и все почти везде было ок
Size: a a a
2020 March 10
ES
если неадекватные статусы то и api там неадекватное, и вряд ли это серьезная или известная система. ну или у них в документации написано большими буквами почему так
ДВ
Всем добрый день. Подскажите что можно посмотреть или почитать для понимания создания архитектуры веб-приложения. Заранее благодарен
АП
при этом как мы видим на примере гугла для внутренних протоколов они предпочитают код 200
TS
Дмитрий Волченко
Всем добрый день. Подскажите что можно посмотреть или почитать для понимания создания архитектуры веб-приложения. Заранее благодарен
ДВ
Спасибо огромное. Вопрос возможно неуместный, но я спрошу. Поступить к вам на курс удаленно возможно?
TS
Дмитрий Волченко
Спасибо огромное. Вопрос возможно неуместный, но я спрошу. Поступить к вам на курс удаленно возможно?
Это в каком это смысле? вообще поступать не нужно, смотрите лекции да и все
ДВ
Это в каком это смысле? вообще поступать не нужно, смотрите лекции да и все
Спасибо еще раз
TS
Дмитрий Волченко
Спасибо еще раз
Есть еще интенсивы платные
TS
MG
Всем Привет! Тут есть люди которые работали с dns или https фильтрами (vpn)?
H
А я вот думаю.. Нужно парсить страницы в несколько потоков. child_process.fork? Кажется будет велосипед. В принципе, диспетчер написать не сложно. Но может есть какие-то готовые решения?
UT
А я вот думаю.. Нужно парсить страницы в несколько потоков. child_process.fork? Кажется будет велосипед. В принципе, диспетчер написать не сложно. Но может есть какие-то готовые решения?
А зачем создавать процессы для такой простой задачи?
H
А зачем создавать процессы для такой простой задачи?
Задача простая, но 1 страница парсится около 4 секунд. Всего около 100 страниц. Это объявления. Соответственно, на всё 400сек. Страницы всегда разные (объявления)
H
Использую cheerio
UT
А я вот думаю.. Нужно парсить страницы в несколько потоков. child_process.fork? Кажется будет велосипед. В принципе, диспетчер написать не сложно. Но может есть какие-то готовые решения?
Короче говоря загуглите "скрапинг сайтов nodejs" тут не нужны новые процессы можно Promise.all использовать можно библиотеку async,. Есть и готовые библиотеки для этой цели, если поискать.
A
Promise.all тут точно не подойдет.
A
Нужна очередь. К этой очереди стучаться некие воркеры или один воркер, берут урлу и парсят.
UT
Нужна очередь. К этой очереди стучаться некие воркеры или один воркер, берут урлу и парсят.
Ну async может подойдет