N
Так и чего, 1 сервер под 3 мастера и ещё 1 для слейвов это ок?
Size: a a a
2019 November 21
AS
да, но никто не мешает тебе поднять больше
типа кластер из нескольких инстанцев на одной машине?
AS
Евгений Глотов
Собеседование раньше: "нам нужны положительные рекомендации с трёх ваших последних мест работы", собеседование сейчас: "этот чувак ответил что-то в чатике про спарк, надо брать"😆
за 15 лет и примерно столько же собеседований, референцы попросили в паре-тройке мест, и только в одном реально позвонили по ним :)
OA
рубрика "сраный sqoop"
импортирую табличку из mysql. на серваке базы стоит таймзона Europe/Warsaw, при импорте скупом указываю в строке коннекта '?serverTimezone=Europe/Warsaw'
падает, зараза, при импорте марта 2019, когда был перевод часов с ошибками типа:
причем если указать UTC, то всё импортится, но с +2 часа сдвигом (т.к. прочитал в СЕТ, а сохранил в UTC), так что не вариант. может кто сражался с таким?
импортирую табличку из mysql. на серваке базы стоит таймзона Europe/Warsaw, при импорте скупом указываю в строке коннекта '?serverTimezone=Europe/Warsaw'
падает, зараза, при импорте марта 2019, когда был перевод часов с ошибками типа:
Caused by: java.sql.SQLException: HOUR_OF_DAY: 2 -> 3
at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:129)
...
... 12 more
Caused by: com.mysql.cj.exceptions.WrongArgumentException: HOUR_OF_DAY: 2 -> 3
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
...
... 16 more
Caused by: java.lang.IllegalArgumentException: HOUR_OF_DAY: 2 -> 3
at java.util.GregorianCalendar.computeTime(GregorianCalendar.java:2829)
at java.util.Calendar.updateTime(Calendar.java:3393)
at java.util.Calendar.getTimeInMillis(Calendar.java:1782)
at com.mysql.cj.result.SqlTimestampValueFactory.localCreateFromTimestamp(SqlTimestampValueFactory.java:108)
... 22 more
причем если указать UTC, то всё импортится, но с +2 часа сдвигом (т.к. прочитал в СЕТ, а сохранил в UTC), так что не вариант. может кто сражался с таким?
EV
Тут в EMR завезли Hudi, кто-то уже успел поиграться?
https://docs.aws.amazon.com/en_us/emr/latest/ReleaseGuide/emr-hudi.html
https://docs.aws.amazon.com/en_us/emr/latest/ReleaseGuide/emr-hudi.html
EV
наканецта будем исполнять GDPR (нет) 🙂
Ik
Привет. Ребята как изменить value колонок используя ее текущее значение с помощью этой функции
Ik
df.withColumn(colName,
when(col(colName).isNull, col(colName))
.otherwise())
when(col(colName).isNull, col(colName))
.otherwise())
Ik
Допустим надо к той дате которая находится в колонке добавить час
Ik
Не совсем просто понмиаю как вытащить дату в таком случае из колонки
AS
df.withColumn(colName,
when(col(colName).isNull, col(colName))
.otherwise(col(colName) + 1 час))
when(col(colName).isNull, col(colName))
.otherwise(col(colName) + 1 час))
Ik
df.withColumn(colName,
when(col(colName).isNull, col(colName))
.otherwise(col(colName) + 1 час))
when(col(colName).isNull, col(colName))
.otherwise(col(colName) + 1 час))
в колонке дата лежит в виде строки.
Ik
допустим дата 12.01.19 23:59. надо чтобы получилось 13.01.19 00.59
Ik
Так можно сделать только оперируя с датами
Ik
Поэтому мне надо как-то ее достать, преобразовтаь к дате и по нормальному добавить час
AS
unix_timestamp($"colName", "yyyy/MM/dd")
Ik
unix_timestamp($"colName", "yyyy/MM/dd")
thx щас попробую
AS
потом + expr("INTERVAL 1 HOURS") я точно не помню но как то так. там путаница у меня в голове всегда с этой кучей типов для времени в спарке
Ik
потом + expr("INTERVAL 1 HOURS") я точно не помню но как то так. там путаница у меня в голове всегда с этой кучей типов для времени в спарке
спасибо
RI
в итоге получилось так
from_unixtime(col("time").cast("long") + (col("diff") * lit(60*60) )))