Size: a a a

NodeUA - JavaScript and Node.js in Ukraine

2021 March 08

/

/ in NodeUA - JavaScript and Node.js in Ukraine
Elena Sharovar
библиотека async (npm install async) и там метод parallelLimit
const async = require(‘async’)
const LIMIT = 10;
async.parallelLimit(processFile, LIMIT, function (err, results) {
   if (results) {
     console.log(“Results:”, results);
   } else {
     console.log(err);
   }
 });
Спасибо, сейчас гляну
источник

ES

Elena Sharovar in NodeUA - JavaScript and Node.js in Ukraine
или даже mapLimit если у вас есть массив URL файлов то
const async = require(‘async’)
const LIMIT = 10;
const FILES = []
const processFile = (fileName, cb) => {… тут код обработки 1 файла… }

async.maplLimit(FILES, LIMIT, processFile, function (err, results) {
   if (results) {
     console.log(“Results:”, results);
   } else {
     console.log(err);
   }
 });
источник

V

Victor in NodeUA - JavaScript and Node.js in Ukraine
Elena Sharovar
библиотека async (npm install async) и там метод parallelLimit
const async = require(‘async’)
const LIMIT = 10;
async.parallelLimit(processFile, LIMIT, function (err, results) {
   if (results) {
     console.log(“Results:”, results);
   } else {
     console.log(err);
   }
 });
Есть ещё такое https://www.npmjs.com/package/p-limit Как по мне поудобней
источник

Р

Роман in NodeUA - JavaScript and Node.js in Ukraine
Elena Sharovar
библиотека async (npm install async) и там метод parallelLimit
const async = require(‘async’)
const LIMIT = 10;
async.parallelLimit(processFile, LIMIT, function (err, results) {
   if (results) {
     console.log(“Results:”, results);
   } else {
     console.log(err);
   }
 });
источник

ES

Elena Sharovar in NodeUA - JavaScript and Node.js in Ukraine
сразу видно кто всю документацию перечитал
источник

АБ

Артур Бердыев... in NodeUA - JavaScript and Node.js in Ukraine
/
Привет. Есть следующая задача: скачать xml файлы (yml каталоги — выгрузки яндекс маркета) и спарсить из них товары по нужным критериям. Обертку над API написал, скачиваю потоком и передаю  в sax парсер, там обрабатываю и добавляю/обновляю в MongoDB, и все работает как надо, но упирается в память. То есть, если я делаю все асинхронно кол-во используемой памяти нодой выходит за предел 2ГБ. Если же делаю синхронно, а именно дожидаюсь загрузки и обработки одного файла, только потом перехожу к следующему, то с памятью все ок (порядка 80мб), но это занимает слишком много времени.
Подскажите какой-то компромисс между двумя этими решениями.
Cluster?
источник
2021 March 09

R

Roman in NodeUA - JavaScript and Node.js in Ukraine
выдает 409 при запросе, что может быть не так?
пример кода
createFileAndPopulate(fileName, content, folderId) {
       const options = {
           hostname: 'api.dropboxapi.com',
           port: 443,
           path: '/2/files/paper/create',
           method: 'POST',
           headers: {
               'Authorization': Bearer ${TOKEN},
               'Dropbox-API-Arg': JSON.stringify({
                   "path": folderId + '/' + "fileName" + ".paper",
                   "import_format": "html",
               }),
               'Content-Type': 'application/octet-stream',
           }
   
       }

       const req = https.request(options, (res) => {
           console.log("statusCode: ", res.statusCode);
           console.log("headers: ", res.headers);

           res.on('data', function(d) {
               process.stdout.write(d);
           });
       });
       
       req.write(content);
       req.end();
   }
источник

ES

Elena Sharovar in NodeUA - JavaScript and Node.js in Ukraine
409 conflict возможно обьект уже существует
источник

tojiro in NodeUA - JavaScript and Node.js in Ukraine
Как сейчас дела на рынке труда в России  у нод джеэсеров ?
источник

VS

Vlad Sobenko in NodeUA - JavaScript and Node.js in Ukraine
tojiro
Как сейчас дела на рынке труда в России  у нод джеэсеров ?
ua != ru. гугл в помощь.
источник

tojiro in NodeUA - JavaScript and Node.js in Ukraine
Vlad Sobenko
ua != ru. гугл в помощь.
Господи
источник

AA

Anna Alimova 👩‍💻... in NodeUA - JavaScript and Node.js in Ukraine
Кхм. Уважаемый, вы поразжигать зашли?
источник

tojiro in NodeUA - JavaScript and Node.js in Ukraine
Нет извините
источник

AA

Anna Alimova 👩‍💻... in NodeUA - JavaScript and Node.js in Ukraine
Тогда прошу задавать вопросы по ноде. Про рынок - это в другой чат
источник

Т

Тёмыч in NodeUA - JavaScript and Node.js in Ukraine
да и если уж на то пошло, то рынки и ситуация могут быть кардинально разными...
источник

АП

Алексей Попов... in NodeUA - JavaScript and Node.js in Ukraine
tojiro
Как сейчас дела на рынке труда в России  у нод джеэсеров ?
можно ознакомиться самостоятельно на хх.ру или в спец.чатах (искать по словам nodejs, jobs, ru)
источник

AL

Andrey Listochkin in NodeUA - JavaScript and Node.js in Ukraine
tojiro
Как сейчас дела на рынке труда в России  у нод джеэсеров ?
как и везде все отлично. Идешь на доу, выбираешь свои параметры в виджете. Если от Киевской ЗП вычесть примерно тысячу долларов, получишь зарплату в Минске. В Москве зарплаты еще ниже, в Питере и других городах еще ниже.
источник

AL

Andrey Listochkin in NodeUA - JavaScript and Node.js in Ukraine
источник

AL

Andrey Listochkin in NodeUA - JavaScript and Node.js in Ukraine
Если Россиянин и нет связей с Украиной, настоятельно рекомендую переезжать в Беларусь. Для граждан РФ процедура простая, жить в Минске дешевле чем в Москве, а денег больше
источник

VS

Vlad Sobenko in NodeUA - JavaScript and Node.js in Ukraine
А чего не js выбрали?
источник