N
С -N?
Size: a a a
2020 December 17
AE
зачем -N? тебе же локально все зависимости кешированные нужны, разве нет?
AE
и родителя, и соседних модулей
P
Граждане-мавеноводы, помогите разобраться.
Есть мультимодуль проект
Родитель
Чайлд 1
<депы> всякие cкалатесты и мокито из централа </депы>
Чайлд 2, ссылается на 1
Проблема в том, что первый билдится нормально, а второй нет, валится с ошибкой, что не может найти в нексусе пом-родителя
Could not find artifact my.group:datalake-airflow-etl:pom:0.0.1-SNAPSHOT in java-dev-team
Есть мультимодуль проект
Родитель
<groupId>my.group</groupId>
<artifactId>datalake-airflow-etl</artifactId>
<packaging>pom</packaging>
<version>${revision}</version>
<modules>
<module>common</module>
<module>common-test</module>
</modules>Чайлд 1
<parent>
<artifactId>datalake-airflow-etl</artifactId>
<groupId>my.group</groupId>
<version>${revision}</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<groupId>my.group</groupId>
<artifactId>datalake-common-test</artifactId>
<name>datalake-common-test</name>
<version>${revision}</version><депы> всякие cкалатесты и мокито из централа </депы>
Чайлд 2, ссылается на 1
<parent>
<groupId>my.group</groupId>
<artifactId>datalake-airflow-etl</artifactId>
<version>${revision}</version>
</parent>
<artifactId>datalake-common</artifactId>
<name>datalake-common</name>
<dependencies>
<dependency>
<groupId>my.group</groupId>
<artifactId>datalake-common-test</artifactId>
<version>${project.version}</version>
<scope>test</scope>
</dependency>
</dependencies>Проблема в том, что первый билдится нормально, а второй нет, валится с ошибкой, что не может найти в нексусе пом-родителя
Could not find artifact my.group:datalake-airflow-etl:pom:0.0.1-SNAPSHOT in java-dev-team
Соберите сначала родителя
P
Ну и просто ‘mvn pkg родитель’ сделайте и будет норм
AE
package родителя просто соберёт и родителя и всех чайлдов. если надо одного чайлда собирать без всего остального (например, всё остальное никогда не меняется), то всё остальное должно быть в кеше
N
зачем -N? тебе же локально все зависимости кешированные нужны, разве нет?
Затем, чтобы он не пошёл собирать всех детей подряд.
Идея как раз в том, чтобы собрать чайлд_1 и потом зависящие от него чайлд_2. А все остальные-только если они менялись.
Идея как раз в том, чтобы собрать чайлд_1 и потом зависящие от него чайлд_2. А все остальные-только если они менялись.
N
package родителя просто соберёт и родителя и всех чайлдов. если надо одного чайлда собирать без всего остального (например, всё остальное никогда не меняется), то всё остальное должно быть в кеше
Так и есть. Делаю инсталл чайлд_1, он ложится в кэш, потом делаю инсталл чайлд_2, которому нужен чайлд_1 и который лег в кэш. Но он идёт за родителем в нексус почему-то. Инсталл родителя -N не помог чёт.
AE
а если -o
AE
и в кеше родитель есть, если посмотреть?
AE
и если его там нету, то хотя бы один раз install на него сделать нужно. чтобы он туда попал
N
и если его там нету, то хотя бы один раз install на него сделать нужно. чтобы он туда попал
очень благодарю. install -U -N -Drevision=нужная_версия помог.
SK
В yarn-saite.xml прописал пару строк из документации Arenadata (перевод 📄 доки apache) 🙄 остальное вроде как по умолчанию берётся, но Spark говорит про FIFO.
Есть что подсказать?
N
У тебя амбари нету?
SK
Нет, я на неделе только про него "загуглил".
N
Если нету, то иди на ресурс менеджер, там я ярн-сайт пропиши путь к файлу fair-scheduler
N
Ну и сам файл по образцу из доки напили и подсунь по прописанному пути.
N
Укажи там очереди какие тебе надо.
N
С разблюдовкой по процентам памяти/вкоров.
SK
Ресурс менеджер там отдельная страничка или UI имеешь ввиду?