AE
пишите свой. это помимо всего прочего ещё и просто. я всегда так делаю...
Size: a a a
2021 October 13
AE
btw DSL это не обязательно именно язык со словами текстом. это может быть и API со структурой из глаголов и сущностей. или чё-нить в духе AOP, когда эндпойнты увешаны метаданными, которые декларативно задают правила, и сама последовательность вызовов читается как связный текст
AZ
да и графическая нотация может быть, чо уж там
AE
вполне, только обычно это самый неэффективный способ :)
AZ
в пределе может быть прям CNL, навроде ASD STE
AE
по факту, требование к любым DSL только одно: адекватно описывать процесс конкретной предметной области. на то они и domain specific
AS
какой-то старый код, одни var, должны быть const, и где обработка ошибок, хотя о чем это я, это же node, там не принято так делать
K
@tenKe Подскажи пожалуйста , получилось что то найти приемлимое для оч больших джсонов для которых невохможно схему вывести, чтобы их хоть как Map[String,String] получить?
K
зануляет вообще все(
2021 October 14
В
А как это связано с изначальным запросом?
Ну, там DSL для правил используется, ок, как тут и ответили сразу несколько человек.
Ну, там DSL для правил используется, ок, как тут и ответили сразу несколько человек.
K
Всем привет!
Какие есть best-practice для self-join? Работает, не падает, но очень долго.
Стэк:
- Spark 2.4.4
- Hadoop 2.7
Датафрейм parquet 700 GB и примерно 350 млн строк
val df = spark.read.parquet(…)
val df2 = df.select(‘column as “column2”, ‘username_col as “username_col2”)
df.join(df2, df(“column) === df2(“column2”))
Да, возможны тут дубли
Какие есть best-practice для self-join? Работает, не падает, но очень долго.
Стэк:
- Spark 2.4.4
- Hadoop 2.7
Датафрейм parquet 700 GB и примерно 350 млн строк
val df = spark.read.parquet(…)
val df2 = df.select(‘column as “column2”, ‘username_col as “username_col2”)
df.join(df2, df(“column) === df2(“column2”))
Да, возможны тут дубли
AK
Чуваки, кто нибудь знает сайт, где можно руку набить решая типичные задачи на Scala spark?
ИК
localhost с поднятым кластером. Извините)
ММ
Что научиться поднимать, нужно ... поднимать ?
AK
))0)0
ИК
Смотрю на код, не понимаю, зачем join? column и column2 - одна и та же колонка!
AA
видимо должно быть 2 колонки ;). главный BP для всех graph traversal и когдп собрался долго мучать одну таблицу: df.cache()
ИК
df.withColumn(“column2”, ‘column).withColumn(“username_col2”, ‘username_col) - вот плюс 2 колонки, ничего джойнить не надо!
Так это тут всего 700Гб в кеш из сорса пойдёт, а если будет в сто раз больше? И это ещё нераспакованный объём
Так это тут всего 700Гб в кеш из сорса пойдёт, а если будет в сто раз больше? И это ещё нераспакованный объём
KS
hello