В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1915 membersпожаловаться на группу
2020 August 25

GP

Grigory Pomadchin in Data Engineers
Жмака
У меня есть пакет в котором много кейс классов. Вместо того, чтобы вручную их писать в регистрации kryo в конфиге спарка я пытаюсь через reflections получить массив из этих классов и этот массив сунуть в регистрацию kryo. И созданный массив не получается привести к скаловскому Array[Class[_]]
если у тебя кейс классы то не надо руками их писать
источник
14:27пожаловаться#1

GP

Grigory Pomadchin in Data Engineers
org.apache.spark.serializer.KryoSerializer справится
источник
14:27пожаловаться#2

GP

Grigory Pomadchin in Data Engineers
все кейс классы экстендят сразу Product и Serializable, поэтому дефолтный регистратор подцепит это https://github.com/apache/spark/blob/26e6574d58429add645db820a83b70ef9dcd49fe/core/src/main/scala/org/apache/spark/serializer/KryoSerializer.scala
GitHub
apache/spark
Apache Spark - A unified analytics engine for large-scale data processing - apache/spark
источник
14:28пожаловаться#3

Ж

Жмака in Data Engineers
Grigory Pomadchin
все кейс классы экстендят сразу Product и Serializable, поэтому дефолтный регистратор подцепит это https://github.com/apache/spark/blob/26e6574d58429add645db820a83b70ef9dcd49fe/core/src/main/scala/org/apache/spark/serializer/KryoSerializer.scala
GitHub
apache/spark
Apache Spark - A unified analytics engine for large-scale data processing - apache/spark
Тогда зачем они пишут: Kryo serialization: Spark can also use the Kryo library (version 4) to serialize objects more quickly. Kryo is significantly faster and more compact than Java serialization (often as much as 10x), but does not support all Serializable types and requires you to register the classes you’ll use in the program in advance for best performance
источник
14:32пожаловаться#4

GP

Grigory Pomadchin in Data Engineers
Жмака
Тогда зачем они пишут: Kryo serialization: Spark can also use the Kryo library (version 4) to serialize objects more quickly. Kryo is significantly faster and more compact than Java serialization (often as much as 10x), but does not support all Serializable types and requires you to register the classes you’ll use in the program in advance for best performance
ну во первых регистратор регистрирует
источник
14:33пожаловаться#5

GP

Grigory Pomadchin in Data Engineers
если тебе не хватит его, заэкстендь- и допиши свои классы
источник
14:33пожаловаться#6

GP

Grigory Pomadchin in Data Engineers
Не все классы в программах могут экстендить сериалайзабл
источник
14:34пожаловаться#7

GP

Grigory Pomadchin in Data Engineers
А некоторые не эффективно делают это
источник
14:34пожаловаться#8

AS

Andrey Smirnov in Data Engineers
Grigory Pomadchin
если у тебя кейс классы то не надо руками их писать
это если внутри этих case class ничего необычного будет
источник
14:34пожаловаться#9

GP

Grigory Pomadchin in Data Engineers
Andrey Smirnov
это если внутри этих case class ничего необычного будет
ну да
источник
14:34пожаловаться#10

GP

Grigory Pomadchin in Data Engineers
Andrey Smirnov
это если внутри этих case class ничего необычного будет
но тогда не сериалайзабл будет кейс класс
источник
14:34пожаловаться#11

GP

Grigory Pomadchin in Data Engineers
Это подразумевает что все поля сериализуемы
источник
14:35пожаловаться#12

Ж

Жмака in Data Engineers
То есть если обычный кейс класс с прописанной схемой kryo сам их зарегистрирует потому что они с маркером serializable?
источник
14:35пожаловаться#13

GP

Grigory Pomadchin in Data Engineers
да
источник
14:35пожаловаться#14

GP

Grigory Pomadchin in Data Engineers
Жмака
То есть если обычный кейс класс с прописанной схемой kryo сам их зарегистрирует потому что они с маркером serializable?
дефолтный регистратор спарковый такой потому что
источник
14:35пожаловаться#15

GP

Grigory Pomadchin in Data Engineers
ты в конфиге спарка включи его
источник
14:36пожаловаться#16

Ж

Жмака in Data Engineers
То есть достаточно только в конфиге записать kryo? А спарк в логах пишет где то, какие классы он регистрирует в kryo?
источник
14:36пожаловаться#17

GP

Grigory Pomadchin in Data Engineers
в конфиге включай требование крайо юзать и регистратор укажи тот который я тебе скинул
источник
14:37пожаловаться#18

AE

Alexey Evdokimov in Data Engineers
Oleksandr Averchenko
https://github.com/oracle/coherence
https://coherence.community/
Глядите чего Оракл заоупенсорсил.
GitHub
oracle/coherence
Oracle Coherence Community Edition. Contribute to oracle/coherence development by creating an account on GitHub.
эт чё, микропрофиль работает? хелидон взлетел, и его можно юзать?

если так, то хорошая новость
источник
14:37пожаловаться#19

GP

Grigory Pomadchin in Data Engineers
Жмака
То есть достаточно только в конфиге записать kryo? А спарк в логах пишет где то, какие классы он регистрирует в kryo?
Если требование врубишь - будет все; (попытается все сериалишовывать)
источник
14:37пожаловаться#20