Size: a a a

2020 May 12

DB

Daniil Berdnikov in sql_ninja
Дмитрий texnix 🇨🇳
доступа к виртуалке нет, доступа к базе нет, чем грузите то?
Библиотека для teradata
источник

V

Victor in sql_ninja
Daniil Berdnikov
Доступ есть на запись в одну табличку)
так в чем сложность записать файлы по отдельности а не весь датафрейм стразу вставлять?
источник

Дt

Дмитрий texnix 🇨🇳... in sql_ninja
имея только библу на терадату и предобработать?
источник

Дt

Дмитрий texnix 🇨🇳... in sql_ninja
нунафиг
источник

Дt

Дмитрий texnix 🇨🇳... in sql_ninja
данные обрабатываются или в приложении или в базе
источник

V

Victor in sql_ninja
так обрабатывать данные перед insert самой субд в чем сложность
источник

DB

Daniil Berdnikov in sql_ninja
Victor
так в чем сложность записать файлы по отдельности а не весь датафрейм стразу вставлять?
Потому что затем надо отсортировать по нужному параметру (это логи)
Части одного и того же сообщения могут быть в разных файлах
Идентификатор сообщения не в каждой строке
Надо отсортировать весь большой Датафрейм и затем заполнить через ffill
источник

DI

Dmitriy Ivanov in sql_ninja
Daniil Berdnikov
Потому что затем надо отсортировать по нужному параметру (это логи)
Части одного и того же сообщения могут быть в разных файлах
Идентификатор сообщения не в каждой строке
Надо отсортировать весь большой Датафрейм и затем заполнить через ffill
и в чем проблема это сделать в питоне?
источник

V

Victor in sql_ninja
сортировать данные перед вставкой в базу? зачем? потом когда будет кто то выгружать эти данные уже для чтения их и сортировать в отчете
источник

DI

Dmitriy Ivanov in sql_ninja
у вас есть индекс - он уже отсортирован
источник

V

Victor in sql_ninja
Dmitriy Ivanov
и в чем проблема это сделать в питоне?
в том что 40г в оперативке надо сортировать )
источник

DI

Dmitriy Ivanov in sql_ninja
Victor
в том что 40г в оперативке надо сортировать )
данные в df  уже отсортированы по индексу, если надо заново пересортировать, то убираем индекс и строим заново.
источник

V

Victor in sql_ninja
так он df собирает из 3.5k файлов
источник

DI

Dmitriy Ivanov in sql_ninja
и что это меняет?
источник

DB

Daniil Berdnikov in sql_ninja
Dmitriy Ivanov
данные в df  уже отсортированы по индексу, если надо заново пересортировать, то убираем индекс и строим заново.
Сортировка должна быть в рамках всех файлов, то есть, во всем фрейме)
источник

DI

Dmitriy Ivanov in sql_ninja
Daniil Berdnikov
Сортировка должна быть в рамках всех файлов, то есть, во всем фрейме)
источник

V

Victor in sql_ninja
я вообще не понимаю зачем собирать df, сразу файлы в базу через bulk, создать в таблице индекс для сортировке нужного вам поля
источник

DI

Dmitriy Ivanov in sql_ninja
ну хочется сортирнуть в питоне, это вообще не проблема.
источник

DB

Daniil Berdnikov in sql_ninja
Victor
я вообще не понимаю зачем собирать df, сразу файлы в базу через bulk, создать в таблице индекс для сортировке нужного вам поля
Я ж вроде написал
Есть возможность только инсерта готовой таблицы в базу, без временных конструкций)
источник

DI

Dmitriy Ivanov in sql_ninja
Все равно не понятно с чем вызваны проблемы сортировки в питоне.
источник