NN
:)
А для спарка то же самое не изучали?
Size: a a a
2020 December 17
А
А для спарка то же самое не изучали?
подробно так не смотрел, но по доке датабрикса это все есть в spark 3.0 + delta
神
Всем привет. Подскажите, камрады, а есть тулзы для проверки авро схем на предмет соответствия спецификации?
N
神風
Всем привет. Подскажите, камрады, а есть тулзы для проверки авро схем на предмет соответствия спецификации?
schema registry.
神
schema registry.
Ну засчитывается) спасибо. А что-то более удобное?
神
@nblagodarnyy спасибо большое!
SK
Привет 👋
SK
Спрашивал вчера в группе про режимы hadoop. Пытаюсь выставть Fire Sheduler и чёт на хочет
SK
В Spark как был FIFO так и остался..
SK
В yarn-saite.xml прописал пару строк из документации Arenadata (перевод 📄 доки apache) 🙄 остальное вроде как по умолчанию берётся, но Spark говорит про FIFO.
SK
Что-то не доделал? Просто в 📄 документации включение так описано..
ab
Code requests*?
N
Граждане-мавеноводы, помогите разобраться.
Есть мультимодуль проект
Родитель
Чайлд 1
<депы> всякие cкалатесты и мокито из централа </депы>
Чайлд 2, ссылается на 1
Проблема в том, что первый билдится нормально, а второй нет, валится с ошибкой, что не может найти в нексусе пом-родителя
Could not find artifact my.group:datalake-airflow-etl:pom:0.0.1-SNAPSHOT in java-dev-team
Есть мультимодуль проект
Родитель
<groupId>my.group</groupId>
<artifactId>datalake-airflow-etl</artifactId>
<packaging>pom</packaging>
<version>${revision}</version>
<modules>
<module>common</module>
<module>common-test</module>
</modules>Чайлд 1
<parent>
<artifactId>datalake-airflow-etl</artifactId>
<groupId>my.group</groupId>
<version>${revision}</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<groupId>my.group</groupId>
<artifactId>datalake-common-test</artifactId>
<name>datalake-common-test</name>
<version>${revision}</version><депы> всякие cкалатесты и мокито из централа </депы>
Чайлд 2, ссылается на 1
<parent>
<groupId>my.group</groupId>
<artifactId>datalake-airflow-etl</artifactId>
<version>${revision}</version>
</parent>
<artifactId>datalake-common</artifactId>
<name>datalake-common</name>
<dependencies>
<dependency>
<groupId>my.group</groupId>
<artifactId>datalake-common-test</artifactId>
<version>${project.version}</version>
<scope>test</scope>
</dependency>
</dependencies>Проблема в том, что первый билдится нормально, а второй нет, валится с ошибкой, что не может найти в нексусе пом-родителя
Could not find artifact my.group:datalake-airflow-etl:pom:0.0.1-SNAPSHOT in java-dev-team
N
Или я слишком много от него хочу и билдиться будет только весь проект целиком, а отдельные модули со ссылками друг на друга-нет?
N
Если из чайлда_2 убрать депенденси чайлд_1, то все отлично тож.
AE
если сделаешь mvn install, будут и по отдельности собираться
N
ну вот один инсталлится, второй зависимый зачем-то в нексус идет за родительским помом.
AE
install начиная с родительского
AE
т.е. хотя бы один раз mvn install в родителе. закешируется, не будет в нексус ходить