Телеграмм чат группы scala_ru страница 13442

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scala User Group

2223 membersпожаловаться на группу

2021 January 21

AS

Alexey Shcherbakov in Scala User Group

достаточно раскомментить последний withColumn чтобы всё сломать

С этим в spark скорее и момент про не так быстро как хотелось, а какие были ожидания? Если мы говорим о Spark, то он на кластере стартовать минуту может, после чего час/два/три/и тд выполняться и для него это норма.

источник

20:23пожаловаться #1

J

Jorillo in Scala User Group

Если хотите, нужно выложить код в scastie.scala-lang.org
Очень важно сделать так, чтобы код компилировался, чтобы мы знали какие определения и библиотеки вы используете

Я так и не разобрался как со скасти работать, но зато разобрался со своим кодом, который выдаёт теперь ожидаемые результаты. Фиг его знает в чём конкретно была ошибка, но я переписал две функции упростив операции в них и всё заработало. Чисто теоретически ничего не поменялось, что имело бы отношение к добавлению нового столбца в датасет, но проблема куда-то ушла.

источник

20:26пожаловаться #2

J

Jorillo in Scala User Group

Alexey Shcherbakov

С этим в spark скорее и момент про не так быстро как хотелось, а какие были ожидания? Если мы говорим о Spark, то он на кластере стартовать минуту может, после чего час/два/три/и тд выполняться и для него это норма.

Я ожидал, что добавление бесполезного столбца ничего не изменит, так как этот столбец вообще нигде не используется. Но почему-то результат менялся.

источник

20:27пожаловаться #3

☭S

☭ ⤳ λ Shinkevich... in Scala User Group

Я ожидал, что добавление бесполезного столбца ничего не изменит, так как этот столбец вообще нигде не используется. Но почему-то результат менялся.

Вы даже не описали, как именно оно ломало весь код

источник

20:30пожаловаться #4

J

Jorillo in Scala User Group

☭ ⤳ λ Shinkevich

Вы даже не описали, как именно оно ломало весь код

У меня есть код, который делает некоторые рассчёты на датасете. Результат заранее известен, так что я могу точно сказать правильно ли работает мой алгоритм подсчёта.
Прикол был в том, что стоило добавить в датасет новый столбец, который не был никоим образом задействован в рассчётах и вообще никакого отношения не имел ни к чему, и исправный код ломался (т.е. производил неверный результат).

источник

20:32пожаловаться #5

GP

Grigory Pomadchin in Scala User Group

У меня есть код, который делает некоторые рассчёты на датасете. Результат заранее известен, так что я могу точно сказать правильно ли работает мой алгоритм подсчёта.
Прикол был в том, что стоило добавить в датасет новый столбец, который не был никоим образом задействован в рассчётах и вообще никакого отношения не имел ни к чему, и исправный код ломался (т.е. производил неверный результат).

спроси в @hadoopusers
но пример кода все же составь (хотя бы гист воспроизводимый)

в группе больше активных пользователей спарка (аналитика и тп)

источник

20:39пожаловаться #6

☭S

☭ ⤳ λ Shinkevich... in Scala User Group

У меня есть код, который делает некоторые рассчёты на датасете. Результат заранее известен, так что я могу точно сказать правильно ли работает мой алгоритм подсчёта.
Прикол был в том, что стоило добавить в датасет новый столбец, который не был никоим образом задействован в рассчётах и вообще никакого отношения не имел ни к чему, и исправный код ломался (т.е. производил неверный результат).

Могу только допустить, что у вас были вычисления завязанные на определенный порядок колонок

источник

20:39пожаловаться #7

GP

Grigory Pomadchin in Scala User Group

☭ ⤳ λ Shinkevich

Могу только допустить, что у вас были вычисления завязанные на определенный порядок колонок

скорее всего так

источник

20:39пожаловаться #8

J

Jorillo in Scala User Group

Grigory Pomadchin

спроси в @hadoopusers
но пример кода все же составь (хотя бы гист воспроизводимый)

в группе больше активных пользователей спарка (аналитика и тп)

В принципе я уже решил проблему, она куда-то сама собой рассосалась. Я вообще впервые сталкиваюсь со Скалой и Спарком, так что понятия не имею с какой стороны браться чтобы понять где была ошибка.
Могу скинуть свой багнутый код vs исправленный код, но сильно сомневаюсь что у меня хватит сейчас терпения и сил разобраться со scastie:(

источник

20:42пожаловаться #9

☭S

☭ ⤳ λ Shinkevich... in Scala User Group

В принципе я уже решил проблему, она куда-то сама собой рассосалась. Я вообще впервые сталкиваюсь со Скалой и Спарком, так что понятия не имею с какой стороны браться чтобы понять где была ошибка.
Могу скинуть свой багнутый код vs исправленный код, но сильно сомневаюсь что у меня хватит сейчас терпения и сил разобраться со scastie:(

Да хотя-бы чтоб понять, что там просходит с bucketedTrips

источник

20:43пожаловаться #10

J

Jorillo in Scala User Group

Переслано от Jorillo

ReturnTrips.scala

источник

20:43пожаловаться #11

J

Jorillo in Scala User Group

вот багнутая версия

источник

20:43пожаловаться #12

J

Jorillo in Scala User Group

ReturnTrips.scala

вот исправленная и дополненная версия

источник

20:43пожаловаться #13

J

Jorillo in Scala User Group

fde20-bonusproject-2-master.zip

это полный проект, в котором сидит последняя иправленная версия (можно скомпилировать и запустить через ./test.sh)

источник

20:45пожаловаться #14

Oℕ

Oleg ℕizhnik in Scala User Group

Ну хоть узнали, что о спарке речь

источник

20:50пожаловаться #15

AB

Andrey Bel in Scala User Group

Ну хоть узнали, что о спарке речь

я не умничал с самого начала думал итак всем понятно)))

источник

21:09пожаловаться #16

AB

Andrey Bel in Scala User Group

думал вот вот в de чат отправят)

источник

21:09пожаловаться #17

J

Jorillo in Scala User Group

Ну хоть узнали, что о спарке речь

У меня стойкая ассоциация Scala == Spark🙂

источник

21:17пожаловаться #18

J

Jorillo in Scala User Group

Видимо, ошибочная

источник

21:18пожаловаться #19

AB

Andrey Bel in Scala User Group

не это правда точнее спарк это не только скала)

источник

21:18пожаловаться #20