AN
всем привет, вопрос по spark sql. У меня есть дата и время начало и конец как вывести время DATEDIFF выводит ток дни, года, кварталы, вопрос что можно использовать для минут, часов, секунд???
Size: a a a
2019 November 15
OA
Alibek Nurpeissov
всем привет, вопрос по spark sql. У меня есть дата и время начало и конец как вывести время DATEDIFF выводит ток дни, года, кварталы, вопрос что можно использовать для минут, часов, секунд???
можно перевести в unix_timestamp(), потом можно просто вычесть и получить разность в секундах. дальше просто математика)
AN
хмм. попробую спасибо)
OA
scala> df.withColumn("timestamp", unix_timestamp(col("created_at").cast("timestamp"))).show()
+--------------------+----------+
| created_at| timestamp|
+--------------------+----------+
|2019-05-06T09:45:29Z|1557135929|
|2019-06-06T09:45:29Z|1559814329|
+--------------------+----------+2019 November 18
IP
ребята подскажите почему иплиситы с педалью спарковские стали не нужны
IP
когда было все в классе без них не работало
IP
а щас они почемуто не нужны, ктонибудь в курсе?
EN
имплиситы не просто так же, у тебя ничего не используется из них в объекте
в классе - используются кол и функции имортированы, имплиситы не требуются
в классе - используются кол и функции имортированы, имплиситы не требуются
IP
имплиситы не просто так же, у тебя ничего не используется из них в объекте
в классе - используются кол и функции имортированы, имплиситы не требуются
в классе - используются кол и функции имортированы, имплиситы не требуются
ааа, вот значит что, я на col все поменял, и имплиситы стали не нужны, все понял, спасибо
C
Biggest Giveaways has been banned! Reason: CAS ban.
AR
есть какой нибудь скрипт или тулза позволяющая экспортировать участников групп вк в CSV файл?
AR
API вк нативно поддерживает такой экспорт?
ME
Лучше изучить непосредственно API у ВК
EN
А есть какой-нибудь годный курс по ML Engineering?😒😒
(https://www.udacity.com/course/machine-learning-engineer-nanodegree--nd009t)
какая-то лажа с виду... а больше гугл не рекомендует ничего...
(https://www.udacity.com/course/machine-learning-engineer-nanodegree--nd009t)
какая-то лажа с виду... а больше гугл не рекомендует ничего...
AS
А есть какой-нибудь годный курс по ML Engineering?😒😒
(https://www.udacity.com/course/machine-learning-engineer-nanodegree--nd009t)
какая-то лажа с виду... а больше гугл не рекомендует ничего...
(https://www.udacity.com/course/machine-learning-engineer-nanodegree--nd009t)
какая-то лажа с виду... а больше гугл не рекомендует ничего...
читайте книги, они рулят
https://www.amazon.com/Hands-Machine-Learning-Scikit-Learn-TensorFlow/dp/1492032646
https://www.amazon.com/Hands-Machine-Learning-Scikit-Learn-TensorFlow/dp/1492032646
AS
А есть какой-нибудь годный курс по ML Engineering?😒😒
(https://www.udacity.com/course/machine-learning-engineer-nanodegree--nd009t)
какая-то лажа с виду... а больше гугл не рекомендует ничего...
(https://www.udacity.com/course/machine-learning-engineer-nanodegree--nd009t)
какая-то лажа с виду... а больше гугл не рекомендует ничего...
если к спарку, то есть такая книга
https://www.oreilly.com/library/view/advanced-analytics-with/9781491972946/
https://www.oreilly.com/library/view/advanced-analytics-with/9781491972946/
EN
спасибо
AS
читайте книги, они рулят
https://www.amazon.com/Hands-Machine-Learning-Scikit-Learn-TensorFlow/dp/1492032646
https://www.amazon.com/Hands-Machine-Learning-Scikit-Learn-TensorFlow/dp/1492032646
отличная книга именно с практической точки зрения. только я ее читал еще в предыдущей инкарнации https://www.amazon.com/Hands-Machine-Learning-Scikit-Learn-TensorFlow/dp/1491962291
ME
Подскажите, как лучше решить такую задачку: есть датафрейм, в котором около десятка миллионов строк. Нужно сохранить вывод в файлах по миллиону строк в каждом.