А
Этим сегодня занимаюсь. Сравнением нескольких версий. Пока точно сказать не могу. Там еще безумная кодировка. Они пишут словацкими буквами коих 46. И к примеру KIA ceed может быть написана 30 способами
VIN коды всегда уникальные.
Size: a a a
2020 June 25
А
Вот что хорошо, и упрощает.
DP
VIN коды всегда уникальные.
Вроде да. А вот номер один и тот же для разных записей нашел
А
Да, и последняя запись по дате, всегда будет актуальная.
V
Nikolay Kolev
Я следую инструкциям README.md, где говорится не создание схемы, а только запуск миграции. Но я перепишу SQL-запросы в миграциях
не нужно писать скл запросы в миграциях, если это стандартые операции. Почитай в документации, как правильно пользоваться миграциями.
V
Вопрос не совсем про yii..
скорее архитектурный..
Есть большой csv файл. Фактически база данных. 5млн строк, объем около гига. При этом он регулярно обновляется (то есть компания получает его извне)
Он содержит кучу ошибок, да еще и структурирован через одно место (одни и те же значения могут быть занесены слегка по разному).
Нужно вычистить ошибки по возможности (sanitize) и сгруппировать элементы (заменить название чуть по разному на одно и тоже)
Вопрос в том как это делать)
Кидать все в базу и с ней работать, но это очень медленно. Работать кусками, но проблема, что почистить можно по частям, а вот группировать требует всех вариантов по файлу значит всех записей.
Ну и по времени такая процедура как сейчас написано требует пары дней))
Значит как то по частям делать и в крон или асинхронно.
Прошу прощения за сумбур, может у кого какие идеи есть?
скорее архитектурный..
Есть большой csv файл. Фактически база данных. 5млн строк, объем около гига. При этом он регулярно обновляется (то есть компания получает его извне)
Он содержит кучу ошибок, да еще и структурирован через одно место (одни и те же значения могут быть занесены слегка по разному).
Нужно вычистить ошибки по возможности (sanitize) и сгруппировать элементы (заменить название чуть по разному на одно и тоже)
Вопрос в том как это делать)
Кидать все в базу и с ней работать, но это очень медленно. Работать кусками, но проблема, что почистить можно по частям, а вот группировать требует всех вариантов по файлу значит всех записей.
Ну и по времени такая процедура как сейчас написано требует пары дней))
Значит как то по частям делать и в крон или асинхронно.
Прошу прощения за сумбур, может у кого какие идеи есть?
используй генератор на yield. Читаешь к примеру по сто строк, обрабатываешь как надо. Дальше опять сто строк. И так до конца файла
V
Затык в том, что они могут звять и поменять все в новом файле
делаешь парсер. Неопознанные строки кидаешь в отдельный файл. Дописываешь парсер, неопознанное опять в другой файл
DP
используй генератор на yield. Читаешь к примеру по сто строк, обрабатываешь как надо. Дальше опять сто строк. И так до конца файла
Спасибо!
V
я так когда-то бд избирателей парсил. Тоже в вольном формате всё было
А
Чем можно нормально почитать log yii2 вижу что он сериализован для какой то проги a:13:{s:6:"config";s:8957:"a:5:{s:10:"phpVersion";s:5:"7.3.9";s:10:"yiiVersion";s:8:"2.0.15.1";s:11:"application";a:8:{s:3:"yii";s:8:"2.0.15.1";s:4:"name";s:3:"App";s:7:"version";s:3:"1.0";s:8:"language";s:5:"en-US";s:14:"sourceLanguage";s:5:"en-US";s:7:"charset";s:5:"UTF-8";s:3:"env";s:3:"dev";s:5:"debug";b:1;}s:3:"php";a:5:{s:7:"version";s:5:"7.3.9";s:6:"xdebug";b:1;s:3:"apc";b:0;s:8:"memcache";b:0;s:9:"memcached";b:0;}
С
Чем можно нормально почитать log yii2 вижу что он сериализован для какой то проги a:13:{s:6:"config";s:8957:"a:5:{s:10:"phpVersion";s:5:"7.3.9";s:10:"yiiVersion";s:8:"2.0.15.1";s:11:"application";a:8:{s:3:"yii";s:8:"2.0.15.1";s:4:"name";s:3:"App";s:7:"version";s:3:"1.0";s:8:"language";s:5:"en-US";s:14:"sourceLanguage";s:5:"en-US";s:7:"charset";s:5:"UTF-8";s:3:"env";s:3:"dev";s:5:"debug";b:1;}s:3:"php";a:5:{s:7:"version";s:5:"7.3.9";s:6:"xdebug";b:1;s:3:"apc";b:0;s:8:"memcache";b:0;s:9:"memcached";b:0;}
это обычный serialize
А
Чем можно нормально почитать log yii2 вижу что он сериализован для какой то проги a:13:{s:6:"config";s:8957:"a:5:{s:10:"phpVersion";s:5:"7.3.9";s:10:"yiiVersion";s:8:"2.0.15.1";s:11:"application";a:8:{s:3:"yii";s:8:"2.0.15.1";s:4:"name";s:3:"App";s:7:"version";s:3:"1.0";s:8:"language";s:5:"en-US";s:14:"sourceLanguage";s:5:"en-US";s:7:"charset";s:5:"UTF-8";s:3:"env";s:3:"dev";s:5:"debug";b:1;}s:3:"php";a:5:{s:7:"version";s:5:"7.3.9";s:6:"xdebug";b:1;s:3:"apc";b:0;s:8:"memcache";b:0;s:9:"memcached";b:0;}
Php serialize()
С
Php serialize()
unserialize)
А
это обычный serialize
Очевидность, это понятно но практика показывает что это для какой то проги
ВС
Очевидность, это понятно но практика показывает что это для какой то проги
Лол. В цитаты
С
Очевидность, это понятно но практика показывает что это для какой то проги
обычный конфиг
А
Очевидность, это понятно но практика показывает что это для какой то проги
Нет. Гугл что такое сериализация данных в php
А
Это типа массив собран в строку.
А
Это типа массив собран в строку.
да это понятно но вангую что что-то придумали для удобочитаемости, не просто так он имеет сериализацию
a
json человекочитаемый