K
( я не уверен что сработает )
Size: a a a
2020 September 06
λ
идея легла вообще
λ
лол
AS
Тарас Александренко
Звучит, как целая вселенная, а не простой инструмент для разработки) Спасибо за ответ, подумаю об этом.
На самом деле просто инструмент
Просто зачастую любой инструмент это в своём роде вселенная
Кайф же не обязательно в этом. Удовольствие от работы - это вообще не про инструмент и даже не про задачи тк зависит от ваших ценностей и мотиваторов. Лучше копайтесь в этом
Просто зачастую любой инструмент это в своём роде вселенная
Кайф же не обязательно в этом. Удовольствие от работы - это вообще не про инструмент и даже не про задачи тк зависит от ваших ценностей и мотиваторов. Лучше копайтесь в этом
ТА
На самом деле просто инструмент
Просто зачастую любой инструмент это в своём роде вселенная
Кайф же не обязательно в этом. Удовольствие от работы - это вообще не про инструмент и даже не про задачи тк зависит от ваших ценностей и мотиваторов. Лучше копайтесь в этом
Просто зачастую любой инструмент это в своём роде вселенная
Кайф же не обязательно в этом. Удовольствие от работы - это вообще не про инструмент и даже не про задачи тк зависит от ваших ценностей и мотиваторов. Лучше копайтесь в этом
Спасибо, тоже пришёл к этому выводу: за меня никто не решит, что мне интересно. Только практика даст ответ.
AS
Тарас Александренко
Спасибо, тоже пришёл к этому выводу: за меня никто не решит, что мне интересно. Только практика даст ответ.
Могу посоветовать тест на мотивационные факторы. Мне понравилось https://www.google.com/url?sa=t&source=web&rct=j&url=https://stratoplan.ru/wp-content/uploads/2019/04/motivation-test-1.pdf&ved=2ahUKEwjmgtbh7dPrAhXvl4sKHXyiAk4QFjAEegQIBRAB&usg=AOvVaw2XI8yTh3jDEpAheVhgJiJP&cshid=1599372274814
ТА
Могу посоветовать тест на мотивационные факторы. Мне понравилось https://www.google.com/url?sa=t&source=web&rct=j&url=https://stratoplan.ru/wp-content/uploads/2019/04/motivation-test-1.pdf&ved=2ahUKEwjmgtbh7dPrAhXvl4sKHXyiAk4QFjAEegQIBRAB&usg=AOvVaw2XI8yTh3jDEpAheVhgJiJP&cshid=1599372274814
Даже не слышал о таких, но выглядит очень многообещающе. Спасибо огромное!
Oℕ
в какой момент тест расскажет, кто я из винкс?
А
напишите работающий пример в скасти, мы поможем на стримы перевести
привет, написал пример https://scastie.scala-lang.org/v1RoBEKGS6OwPiE5heKTPw
но у меня scala 2.11 и пример для spark
но у меня scala 2.11 и пример для spark
Oℕ
привет, написал пример https://scastie.scala-lang.org/v1RoBEKGS6OwPiE5heKTPw
но у меня scala 2.11 и пример для spark
но у меня scala 2.11 и пример для spark
Ну работающий, обычно значит, что он компилируется и запускается в скасти
А
Ну работающий, обычно значит, что он компилируется и запускается в скасти
ок, поправлю
Oℕ
Помимо этого, я не эксперт по спарку, но совмещать параллельные коллекции со спарком кажется не очень мудрым ходом. Кажется, что спарк должен предоставлять всю параллелизацию сам по себе
Oℕ
@krivdathetriewe @pomadchin что скажете о запуске кучи спарк джоб для каждого элемента коллекции, чтобы вытащить всё из субд?
Oℕ
Мне кажется, что просто исходную коллекцию нужно превратить в RDD и потом сделать flatMap с вашим getTable
Oℕ
т.е. sc.parallelize(dbs).flatMap(getTable(_, "test"))
Oℕ
Это обеспечит лучший контроль и уровень параллелизации
Oℕ
ок flatMap в той форме, что я предложил, я не нашёл в API, зато есть union
Oℕ
sc.union(dbs.map(getTable(_, "test"))
AD
@krivdathetriewe @pomadchin что скажете о запуске кучи спарк джоб для каждого элемента коллекции, чтобы вытащить всё из субд?
Там же лучше так не делать