Size: a a a

DevOps — русскоговорящее сообщество

2021 January 04

i

inqfen in DevOps — русскоговорящее сообщество
Zlokot
ну мне нужно в базу добавлять ВСЕ что есть в файле.
например перечитывать файл раз в минуту и если появилась новая строка - добавить ее в базу
Ну так вот - что есть новая строка?)
источник

Z

Zlokot in DevOps — русскоговорящее сообщество
это CSV файл - строка с разделителями. десяток колонок
источник

i

inqfen in DevOps — русскоговорящее сообщество
Я вот пример скинул - новая строка только f?
источник

i

inqfen in DevOps — русскоговорящее сообщество
Zlokot
это CSV файл - строка с разделителями. десяток колонок
Ну вот говорю взяли и удалили строки, но добавили новые элементы
источник

i

inqfen in DevOps — русскоговорящее сообщество
То есть строк больше на 10, а элементов на 40
источник

i

inqfen in DevOps — русскоговорящее сообщество
30 потому что удалили
источник

Z

Zlokot in DevOps — русскоговорящее сообщество
ну строки не удаляются
источник

Z

Zlokot in DevOps — русскоговорящее сообщество
только добавляются
источник

L

Livegeny in DevOps — русскоговорящее сообщество
тогда, получается, нужен скрипт, который мониторит каталог на предмет изменения в нём файлов по маске. для каждого файла он хранит текущее смещение (считаем, что файлы пока обновляются, только растут). если какие-то файлы изменились, он читает из них последовательности символов, которые завершаются \n, добавляет в куда-то и сохраняет новые смещения
источник

U

Ugly in DevOps — русскоговорящее сообщество
и ты щас придумал флюентД
источник

L

Livegeny in DevOps — русскоговорящее сообщество
а флюентд понимает, что файл перезаписан, но данные в него добавлены?
т.е. в перезаписанном есть и старые
источник

U

Ugly in DevOps — русскоговорящее сообщество
нуу.. я работал только с файлами которые дописывались. а вот перезаписывать текущий, такого изврата чет не довелось проверять
источник

i

inqfen in DevOps — русскоговорящее сообщество
Ugly
и ты щас придумал флюентД
filebeat конечно же)
источник

U

Ugly in DevOps — русскоговорящее сообщество
inqfen
filebeat конечно же)
ну с чем работал, то и "узнал" в описании)
источник

L

Livegeny in DevOps — русскоговорящее сообщество
Ugly
нуу.. я работал только с файлами которые дописывались. а вот перезаписывать текущий, такого изврата чет не довелось проверять
тут как раз именно такой извращенный вариант
источник

U

Ugly in DevOps — русскоговорящее сообщество
у меня была задача EFK стек завести
источник

U

Ugly in DevOps — русскоговорящее сообщество
Livegeny
тут как раз именно такой извращенный вариант
ну я понял, тут вот надо или читать про такие сборщики, или пробовать.
источник

L

Livegeny in DevOps — русскоговорящее сообщество
написать самому за час
источник

U

Ugly in DevOps — русскоговорящее сообщество
картинку про хуяк хуяк и в прод кинуть?
источник

i

inqfen in DevOps — русскоговорящее сообщество
может таки подумать как сразу в базу писать? А то честно говоря как фигня какая-то выглядит
источник