Base classes to use when writing tests with Spark. Contribute to holdenk/spark-testing-base development by creating an account on GitHub.

Spark + AI Summit Europe 2019. Как это было?

Павел Клеменков, Chief Data Scientist (Data Platform) @ NVIDIA
Андрей Титов, Senior Spark Engineer @ NVIDIA
Андрей Жуков, Главный инженер данных @ С7 Техлаб
Алексей Белов, Тимлид @ Сбербанк

В середине октября в Амстердаме прошел Spark + AI Summit. Конференция по Apache Spark, собравшая почти 2500 участников и докладчиков. Мы расскажем, как это было, сделав обзор наиболее понравившихся докладов.

Apache Spark Unit Testing

Евгений Лопаткин, Data Engineer @ Tele2

Прошло 5 лет с момента первого релиза Apache Spark. Тем не менее, в официальной документации по-прежнему отсутствует раздел Unit Testing. Конечно, это не значит, что код Spark не тестируется перед релизом. Более того, Apache Spark имеет обширный фреймворк для юнит тестирования, о котором Spark Commiters не успели рассказать в документации. О нем мы и поговорим.

Автоматизация жизненного цикла ML моделей

Лев Рагулин, Руководитель разработки платформы ML @ One Factor

Я поделюсь как в One Factor решаются…

I've been trying to find a reasonable way to test SparkSession with the JUnit testing framework. While there seem to be good examples for SparkContext, I couldn't figure out how to get a correspond...

This article is about how to use own Spark repository classes for Unit Testing and pretend to fill the gap between code and documentation…

Second part of article series about how to use Spark repository classes for Unit Testing.
Spark SQL package has four sub projects each of…

Third part of article series is about Spark Streaming unit testing. There is one package spark streaming. Tests are placed here.