Size: a a a

NodeUA - JavaScript and Node.js in Ukraine

2021 February 16

A

Alexander in NodeUA - JavaScript and Node.js in Ukraine
Shotty
Сохраняю в csv файл данные.

И очень много повторных попадаются.

Как можно этого избежать при сохранение?

fs.appendFile
Удалить дубликаты перед сохранением
источник

S

Shotty in NodeUA - JavaScript and Node.js in Ukraine
Alexander
Удалить дубликаты перед сохранением
А как в сохранение понять, что идёт дубликат?
источник

A

Alexander in NodeUA - JavaScript and Node.js in Ukraine
Shotty
А как в сохранение понять, что идёт дубликат?
Сравнить с тем, что уже было записано
источник

S

Shotty in NodeUA - JavaScript and Node.js in Ukraine
Alexander
Сравнить с тем, что уже было записано
А где это можно сделать?

Мне данные приходят от парсинга, в самом парсинге этого избежать не смогу, нужно в самом сохранение сделать фильтр, чтобы не было дубликата.
источник

KR

Kostyantin Randomnam... in NodeUA - JavaScript and Node.js in Ukraine
створи сет з усіх існуючих значень, додай до сета усі значення які хочеш додати, запиши сет у файл якщо порядок не важливий :)
источник

S

Shotty in NodeUA - JavaScript and Node.js in Ukraine
Через Set не будет дубликатов?
источник

KR

Kostyantin Randomnam... in NodeUA - JavaScript and Node.js in Ukraine
не буде
источник

KR

Kostyantin Randomnam... in NodeUA - JavaScript and Node.js in Ukraine
а він доречі у жсі ще й ордер підтримує, кльово
источник

S

Shotty in NodeUA - JavaScript and Node.js in Ukraine
var domainList = new Set();

domainList.add(response)

И json повторные данные есть и много
источник

KR

Kostyantin Randomnam... in NodeUA - JavaScript and Node.js in Ukraine
Так тобі треба з респонса данні перетворити на цсв записи і по одному іх додавати у сет
источник

S

Shotty in NodeUA - JavaScript and Node.js in Ukraine
Kostyantin Randomname
Так тобі треба з респонса данні перетворити на цсв записи і по одному іх додавати у сет
Не подскажешь, как сохранить set в файл

у меня сохраняется [object Set]
источник

S

Shotty in NodeUA - JavaScript and Node.js in Ukraine
В json бы его перевести
источник

S

Shotty in NodeUA - JavaScript and Node.js in Ukraine
или csv
источник

N

Nikita in NodeUA - JavaScript and Node.js in Ukraine
Shotty
Не подскажешь, как сохранить set в файл

у меня сохраняется [object Set]
если в текстоый файл, нужно циклом пройтись по всем элементам множества и записать их в файл
источник

N

Nikita in NodeUA - JavaScript and Node.js in Ukraine
Shotty
В json бы его перевести
в лоб, это перевести множество в массив и потом в JSON.stringify
источник

S

Shotty in NodeUA - JavaScript and Node.js in Ukraine
Nikita
если в текстоый файл, нужно циклом пройтись по всем элементам множества и записать их в файл
да в csv
источник

RV

Raman Viarbitski in NodeUA - JavaScript and Node.js in Ukraine
Dml Levon
Согласен, тогда остаётся вопрос транзакции. Когда транзакционно нужно сохранить больше чем одну доменную сущность. Пилить какой то unity of work по верх репозиториев?
источник

S

Shotty in NodeUA - JavaScript and Node.js in Ukraine
Nikita
в лоб, это перевести множество в массив и потом в JSON.stringify
JSON.stringify(Array.from(domainList), null, 4)


[ данные ] - так вышлоо
источник

S

Shotty in NodeUA - JavaScript and Node.js in Ukraine
Shotty
JSON.stringify(Array.from(domainList), null, 4)


[ данные ] - так вышлоо
а мне нужно чтобы было в csv формате


text, text
text, text
источник

KR

Kostyantin Randomnam... in NodeUA - JavaScript and Node.js in Ukraine
writer = fs.createWriteStream("filename")
for (let value of resultSet) { writer.write(value + ",") }
writer.close();
источник