S
Привет
Size: a a a
2020 November 11
S
Товарищи
S
Есть вопрос по спарку. Как через java api сдружить Спарк с ярном?
S
Валится на ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not parse Master URL: 'yarn'
AS
Валится на ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not parse Master URL: 'yarn'
видимо урл должен быть вида spark://yarn_master:18080
N
Валится на ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: Could not parse Master URL: 'yarn'
а у вас вообще есть yarn?
N
вы как спарк ставили?
S
Хадуп с ярном крутятся, webui доступен для обоих
GP
спарк должен быть собран с хадуп профилем и смотреть в класспасс хадупа мне кажется
S
Спарк не стоит как таковой, я смотрел как люди сабмитили с ide
N
яснопонятно
S
Пытаюсь повторить такой же финт ушами
GP
Пытаюсь повторить такой же финт ушами
надо добавить spark-yarn в зависимости
GP
недосмотрели как люди делают видать
S
Уже гуглил это, есть зависимость
S
Один фиг валится
GP
покаж билд файл
N
ярнсайт корсайт хдфссайт есть в ресурсах?
GP
ярнсайт корсайт хдфссайт есть в ресурсах?
ну парсить то он должен уметь
GP
я догадываю что косяк в билд файле