А
PHP сам по себе, схавать 1гб файла сможет по конфигируции php.ini. И представь себе, этот 1Гб файл занимает в ОЗУ..
моэно что то типа такого
https://likegeeks.com/process-large-files-using-php/
Size: a a a
2020 June 25
DP
Но я про то как оптимально это сделать
А
Давно, когда сисадмином работал, тоже приносили флешку, и просили загрузить данные в БД.
Боролся с техподдержкой, чтобы все это было на уровни сети передавать данные.. Добился.
Боролся с техподдержкой, чтобы все это было на уровни сети передавать данные.. Добился.
А
Не все так просто было.
DP
Давно, когда сисадмином работал, тоже приносили флешку, и просили загрузить данные в БД.
Боролся с техподдержкой, чтобы все это было на уровни сети передавать данные.. Добился.
Боролся с техподдержкой, чтобы все это было на уровни сети передавать данные.. Добился.
я живу и работаю в Словакии, а это официальная БД авто от полиции. Думаю тут бороться смысла нет)))
Д
я живу и работаю в Словакии, а это официальная БД авто от полиции. Думаю тут бороться смысла нет)))
читай частями, сравнивай с тем что уже есть в базе, а там уже сам думай, или обновлять запись, если разница есть, или нет.
Д
первый раз долго будет. потом, имхо, побыстрее. 5 миллионов строк не так уж и много.
А
я живу и работаю в Словакии, а это официальная БД авто от полиции. Думаю тут бороться смысла нет)))
Ну, я в госструктуре работал :))) А там, VPN и законы и т.д. ))
А
первый раз долго будет. потом, имхо, побыстрее. 5 миллионов строк не так уж и много.
Не понимаю, как это будет быстрее?
А
Просто знаю, что с такими задачами рано/поздно столкнусь.
А
Даже each или batch не помог при 250к строк.
DP
читай частями, сравнивай с тем что уже есть в базе, а там уже сам думай, или обновлять запись, если разница есть, или нет.
Затык в том, что они могут звять и поменять все в новом файле
А
Затык в том, что они могут звять и поменять все в новом файле
А старые даты тоже обновляются?
DP
А старые даты тоже обновляются?
Там не особо даты. Там VIN и номер машин и куча инфы технической. Размер колес или тип корпуса ну и тому подобное. Но они ее как-то обновляют раз в три месяца
А
Там не особо даты. Там VIN и номер машин и куча инфы технической. Размер колес или тип корпуса ну и тому подобное. Но они ее как-то обновляют раз в три месяца
А старые записи не обновляются? Как думаешь?
a
я бы на каждую версию файла реализовывал по консольной команде импорта, по версиям/датам
консольная команда мигрирует csv в какой-то внутренний стандартный вид, а дальше уже из этого вида сравнивать с базой данных и заносить новое
консольная команда мигрирует csv в какой-то внутренний стандартный вид, а дальше уже из этого вида сравнивать с базой данных и заносить новое
DP
А старые записи не обновляются? Как думаешь?
Этим сегодня занимаюсь. Сравнением нескольких версий. Пока точно сказать не могу. Там еще безумная кодировка. Они пишут словацкими буквами коих 46. И к примеру KIA ceed может быть написана 30 способами
a
по поводу долгой работы - пытался бы распараллелить, написав конвертер на go/java или завернув обработку на сервис очередей
DP
atcq (Алексей)
я бы на каждую версию файла реализовывал по консольной команде импорта, по версиям/датам
консольная команда мигрирует csv в какой-то внутренний стандартный вид, а дальше уже из этого вида сравнивать с базой данных и заносить новое
консольная команда мигрирует csv в какой-то внутренний стандартный вид, а дальше уже из этого вида сравнивать с базой данных и заносить новое
Спасибо!