та не бот я

подскажите что лучше с таким сделать ?
2021-03-24 23:40:26.432  INFO 121606 --- [ for task 27315] org.apache.spark.executor.Executor       : Running task 0.0 in stage 27315.0 (TID 27315)
2021-03-25 01:53:23.249  INFO 121606 --- [ for task 27315] o.a.s.s.e.datasources.jdbc.JDBCRDD       : closed connection
2021-03-25 01:53:23.250 ERROR 121606 --- [ for task 27315] org.apache.spark.executor.Executor       : Exception in task 0.0 in stage 27315.0 (TID 27315)

com.mysql.cj.jdbc.exceptions.CommunicationsException: The last packet successfully received from the server was 7,976,615 milliseconds ago. The last packet sent successfully to the server was 7,976,615 milliseconds ago. is longer than the server configured value of 'wait_timeout'. You should consider either expiring and/or testing connection validity before use in your application, increasing the server configured values for client timeouts, or using the Connector/J connection property 'autoReconnect=true' to avoid this problem.
       at com.mysql.cj.jdbc.exceptions.SQLError.createCommunicationsException(SQLError.java:174) ~[mysql-connector-java-8.0.21.jar!/:8.0.21]
       at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:64) ~[mysql-connector-java-8.0.21.jar!/:8.0.21]
       at com.mysql.cj.jdbc.ClientPreparedStatement.executeInternal(ClientPreparedStatement.java:953) ~[mysql-connector-java-8.0.21.jar!/:8.0.21]
       at com.mysql.cj.jdbc.ClientPreparedStatement.executeQuery(ClientPreparedStatement.java:1003) ~[mysql-connector-java-8.0.21.jar!/:8.0.21]
       at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD.compute(JDBCRDD.scala:304) ~[spark-sql_2.12-2.4.7.jar!/:2.4.7]

я так понимаю autoReconnect=true ничего не даст, он так и будет висеть часами ожидая wait_timeout. а вот wait_timeout не хотелось бы на сервере трогать, там другие клиенты конектятся и ради них он выкручен

попробовать поставить queryTimeout для spark.jdbc

еще можно поместить

SET session wait_timeout=нужное_колво

 в sessionInitStatement параметр spark.jdbc

у меня коннекция вот задается:
       Dataset<Row> mysqlDf = spark.read()
               .format("jdbc")
               .option("url", env.getProperty("mysql.datasource.url"))

этот queryTimeout просто в строку проперти добавлять через ; ?

в option https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html

ага, понял. спасибо

Равномерно и регулярно оплачиваю сервисы, но в какой-то момент приходит счет от AWS за сервер который подняли и потом забыли удалить и в один укус сжирает мой месячный бюджет

У меня подруга выучила Scala, хочет какой нибудь проект выполнить для закрепления навыков. Не подскажите, в какой сфере поискать? Можно не коммерческий, опенсорсный, но желательно на реальных процессах, а не на выдуманных искусственных.

можно в спарк законтрибьютить)

В смысле, там будет список часто возникающих затруднений и нужно будет писать скрипты в общий доступ или за плату? Не подскажите ? Я с этой темой не пересекался.
А так идея, конечно, вполне привлекательная.

просто issues открыть и фиксить

*посмотреть открытые

ну понятно что фиксить закрытые как-то странно)

ну, не надо типа: “сам открыл, сам пофиксил"

)

Ну если подруга - не долго скрывавший свои алгоритмические таланты от индустрии самородок, то советовать ей пытаться контрибьютить в спарк - это минимум злорадство.

Многие ли из советчиков что-то в спарк законтрибьютили?

Так себе идея имхо