Всем привет, а здесь есть кто нибудь кто писал джобы на Scala (ну может Java) для Flink-а?

Лучше конкретное что спрашивай

Пытался unit-test написать для джобы (с использованием embedded-kafka) но он ни в какую не хочет отрабатывать в gitlab, даже если локально проходит

Во фреймворке flink для тестов есть minicluster, но даже с применением этого тест не отрабатывает

А как валится?

Пока нет под рукой ноута, но что то вроде "could not start actor system"

Девопс советовал память увеличить для задачи (при старте миникластера, хип увеличить) но эт не помогло

Ошибку скинь точную потом сюда

Чего гадать

Утром скину, но смысл вопроса - есть ли у кого то опыт в написании тестов на джобы

есть, тут прилично флинко зависимых

Кстати для спарка тесты нормально получались)

Спарк в опеншифте кто-то крутит? Какие дашборды используете?

Точнее:
java.lang.Exception: Could not create actor system
at org.apache.flink.runtime.clusterframework.BootstrapTools.startActorSystem(BootstrapTools.java:267)
ну и так далее..

Ребята, у кого терадата была  и выгружал , падает на выгрузке  slob тередатовским драйвером,причем не всё
Caused by: java.lang.NullPointerException
at com.teradata.jdbc.jdbc_4.statemachine.ReceiveRecordSubState$SlobMapping.processEndSlobData(ReceiveRecordSubState.java:437)
at com.teradata.jdbc.jdbc_4.statemachine.ReceiveRecordSubState.action(ReceiveRecordSubState.java:184)
at com.teradata.jdbc.jdbc_4.statemachine.StatementReceiveState.subStateMachine(StatementReceiveState.java:311)
at com.teradata.jdbc.jdbc_4.statemachine.StatementReceiveState.action(StatementReceiveState.java:200)
at com.teradata.jdbc.jdbc_4.statemachine.StatementController.runBody(StatementController.java:137)
at com.teradata.jdbc.jdbc_4.statemachine.PreparedStatementController.run(PreparedStatementController.java:46)
at com.teradata.jdbc.jdbc_4.TDStatement.executeStatement(TDStatement.java:389)
at com.teradata.jdbc.jdbc_4.TDStatement.executeStatement(TDStatement.java:331)
at com.teradata.jdbc.jdbc_4.TDPreparedStatement.doPrepExecuteQuery(TDPreparedStatement.java:203)
at com.teradata.jdbc.jdbc_4.TDPreparedStatement.executeQuery(TDPreparedStatement.java:2760)
аля 18 тасок фейлится 6 исполняется)

RegFor has been banned! Reason: CAS ban.

Привет! Читала, гуглила, но все же хотелось бы услышать мнение опытных коллег.
Есть БД postgres (обычный, не Про), в кластере. Предполагается в будущем хайлоад нагрузка на нее. В связи с этим вопрос - какими Free инструментами удобнее пользоваться для мониторинга блокировок, отслеживания медленных запросов и выполнения джобов. Для второго, я думаю, модуль pg_state_statements, третьего кроны не очень подходят, кто-нибудь юзает pg_task? Вроде для моей задачи джобов он очень подходит, но вроде не официальный модуль, насколько я понимаю. Буду рада любым отзывам по администрированию постгреса.

🙄у вас сбер, вам проще свой пг написать чем костыли городить

во-первых, постгря не очень подходит для таких задач

и то что вы хотите с оракла на пг переехать из-за импортозамещения, вам мало помогут тут люди увы, мы в дба чатике долго с кейса у челвоека с мтс угорали