AE
это что за костыли такие и зачем они вообще
Size: a a a
2019 November 27
AZ
если будет быстрее цефа это вин
Пробовали bluestore?
AE
"You've written an awesome program in Spark"
лол. спарк это язык программирования что ли?
лол. спарк это язык программирования что ли?
R
Всем привет. Подскажите, чем пользуетесь для тестирования спарк приложений на скале. Есть ли какие-то альтернативы этому?
https://github.com/holdenk/spark-testing-base
https://github.com/holdenk/spark-testing-base
а зачем для этого стронняя либа?
Мы обычно стартуем локальный спарк:
Мы обычно стартуем локальный спарк:
import org.apache.spark.sql.SparkSession
import org.scalatest.{BeforeAndAfterAll, Suite}
trait SparkSupport extends BeforeAndAfterAll {
self: Suite =>
var spark: SparkSession = _
override def beforeAll(): Unit = {
spark = SparkSession.builder()
.appName(“test”)
.master("local[*]")
.config("spark.sql.shuffle.partitions", "1")
.getOrCreate()
super.beforeAll()
}
override def afterAll(): Unit = {
spark.stop()
super.afterAll()
}
}
A
Ну, там всякие полезные фичи есть по типу сравнить датафреймы, например.
DM
"You've written an awesome program in Spark"
лол. спарк это язык программирования что ли?
лол. спарк это язык программирования что ли?
чем нет
DSL дает
DSL дает
R
и потом в тестах:
class SparkTests extends FunSuite with SparkSupport {
test(“spark version”) {
println(spark.version)
}
}DM
а зачем для этого стронняя либа?
Мы обычно стартуем локальный спарк:
Мы обычно стартуем локальный спарк:
import org.apache.spark.sql.SparkSession
import org.scalatest.{BeforeAndAfterAll, Suite}
trait SparkSupport extends BeforeAndAfterAll {
self: Suite =>
var spark: SparkSession = _
override def beforeAll(): Unit = {
spark = SparkSession.builder()
.appName(“test”)
.master("local[*]")
.config("spark.sql.shuffle.partitions", "1")
.getOrCreate()
super.beforeAll()
}
override def afterAll(): Unit = {
spark.stop()
super.afterAll()
}
}
скорее всего там похожее, просто бойлерплейт убран в либу (не пользовался, код не смотрел)
AE
чем нет
DSL дает
DSL дает
ну, из жабы он просто обычная либа
DM
ну, из жабы он просто обычная либа
вот точно я не планирую искать филосовскую грань между набором методов, дсл и джавой
K
а зачем для этого стронняя либа?
Мы обычно стартуем локальный спарк:
Мы обычно стартуем локальный спарк:
import org.apache.spark.sql.SparkSession
import org.scalatest.{BeforeAndAfterAll, Suite}
trait SparkSupport extends BeforeAndAfterAll {
self: Suite =>
var spark: SparkSession = _
override def beforeAll(): Unit = {
spark = SparkSession.builder()
.appName(“test”)
.master("local[*]")
.config("spark.sql.shuffle.partitions", "1")
.getOrCreate()
super.beforeAll()
}
override def afterAll(): Unit = {
spark.stop()
super.afterAll()
}
}
по спарк контексту на сьют
D
а зачем для этого стронняя либа?
Мы обычно стартуем локальный спарк:
Мы обычно стартуем локальный спарк:
import org.apache.spark.sql.SparkSession
import org.scalatest.{BeforeAndAfterAll, Suite}
trait SparkSupport extends BeforeAndAfterAll {
self: Suite =>
var spark: SparkSession = _
override def beforeAll(): Unit = {
spark = SparkSession.builder()
.appName(“test”)
.master("local[*]")
.config("spark.sql.shuffle.partitions", "1")
.getOrCreate()
super.beforeAll()
}
override def afterAll(): Unit = {
spark.stop()
super.afterAll()
}
}
там есть ассерты для датафреймов
K
:D warehouse какой-то один и паралельно нельзя зайти
AE
бойлерплейта не так и много, в конце концлв на выходе будет какая-то рдд, которой можно сказать .collect(), и дальше сравнивать с эталоном любым удобным способом
R
бойлерплейта не так и много, в конце концлв на выходе будет какая-то рдд, которой можно сказать .collect(), и дальше сравнивать с эталоном любым удобным способом
мы как-то так и делаем
D
не то чтобы нельзя было самим их написать, но как потенциальный ответ на твой вопрос
AE
дык, легко и просто это
AE
костыли-то на кой?
A
костыли-то на кой?
Под костылями ты что имеешь в виду? Костыли это как раз самому сидеть и писать что-то. А тут как бы очень активный спарк контрибьютор свою либу сделал, почему нет.
D
короче вечный спор свое против говнолиба с гитхаба