GP
Size: a a a
2020 July 30
AK
Всем привет, стало интерсно, а почему при инсерте, спакр вставляет не по именам, а по номерам слолбцов? Он же все равно падает с ошибкой, если есть одинаковые названия
А где по именам? Ну т.е. я в курсе, что в базочках можно перечислить имена колонок таргет таблицы. Но все равно, если ты перепутаешь где -то порядок колонок, сами они не сматчатся по равенству
A
Nikolay
У кого код Спарка под рукой . Посмотрите в исходниках. Как он insert формирует при вставке.
инсерт куда =)
N
инсерт куда =)
Автор скорее всего вставляет write.jdbc
АЖ
https://subsurfaceconf.com/summer2020/datalake2020
С нашим кейсом по Dremio :)
С нашим кейсом по Dremio :)
Ну шо, С7 в 20:20 :)
A
A
да вроде как название колонок генерит
A
даже интересный коммент есть
// The generated insert statement needs to follow rddSchema's column sequence and
// tableSchema's column names. When appending data into some case-sensitive DBMSs like
// PostgreSQL/Oracle, we need to respect the existing case-sensitive column names instead of
// RDD column names for user convenience.T
а если я читаю через spark.read.csv куда передаю масив путей к файлам ?
Возможно у вас https://issues.apache.org/jira/plugins/servlet/mobile#issue/SPARK-29089 посмотрите логи спарка если вы передаёт массив путей то он там даже ворнинг должен кидать
A
спасибо
T
спасибо
Если это оно, то у вас 2 пути решения ставить свои спарк с патчем или сначало все фаилы переложить в одну деректорию и потом передать только путь на неё в спарк
2020 July 31
N
Почему sbt может не находить депенданси, хотя они точно есть в нексусе и мавен их находит?
GP
Почему sbt может не находить депенданси, хотя они точно есть в нексусе и мавен их находит?
значит их нет; покажи ошибку конкретную
GP
он потому что пишет какие репозитории пытался хитить и ссылки которые пытался и не получилось
GP
скопируй их и открой в браузере
K
ты просто лудший
GP
сделай пожалуйста фотографию этого скриншота и от руки перерисуй, потом отсканируй и отправь факсом
GP
я могу использовать электронный факс для того, что бы получить результат