В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1971 membersпожаловаться на группу
2020 September 29

N

Nikita Blagodarnyy in Data Engineers
работало до пятницы, в пн отъехало
источник
15:01пожаловаться#1

AB

Andrey Bel in Data Engineers
Всем привет,может кто сталкивался, гугл слабо помог пока - я  создаю авро через avro4s делаю кейс класс  и мне нужно получить одно поле

{  "type" : "string",
 "avro.java.string" : "String"  }
а получаю
          { "type" : "string"}
и на этом падает джоба большая, спросил уже у буржуя одного , нашел пост с такой же проблемой он пишет просто сменил на java avro api
видел еще варианты имплисит SchemaFor и еще кое что но хотелось бы более простое решение.
Заранее спасибо
источник
15:50пожаловаться#2

АЖ

Андрей Жуков... in Data Engineers
Nikita Blagodarnyy
да по-дедовски, spark.read.parquet(«path»).filter(dt=param1)
попробуй с дебагом - может, он на чтении меты с ума сходит?
источник
15:56пожаловаться#3

GP

Grigory Pomadchin in Data Engineers
Andrey Bel
Всем привет,может кто сталкивался, гугл слабо помог пока - я  создаю авро через avro4s делаю кейс класс  и мне нужно получить одно поле

{  "type" : "string",
 "avro.java.string" : "String"  }
а получаю
          { "type" : "string"}
и на этом падает джоба большая, спросил уже у буржуя одного , нашел пост с такой же проблемой он пишет просто сменил на java avro api
видел еще варианты имплисит SchemaFor и еще кое что но хотелось бы более простое решение.
Заранее спасибо
Версии авро совпадают?
источник
15:58пожаловаться#4

GP

Grigory Pomadchin in Data Engineers
и что делаешь то? какой код, где падает?
источник
16:01пожаловаться#5

N

Nikita Blagodarnyy in Data Engineers
Андрей Жуков
попробуй с дебагом - может, он на чтении меты с ума сходит?
да похоже на то. по прямому пути проблем нет. говорят, сильно много данных завезли на выходных.
источник
16:01пожаловаться#6

АЖ

Андрей Жуков... in Data Engineers
может,  футеры где-то поломались?
источник
16:01пожаловаться#7

AB

Andrey Bel in Data Engineers
Grigory Pomadchin
Версии авро совпадают?
это даже не смотрел- сделал диф моей схемы с целевой там явные различия как в посте
генерю авро не по схеме а через кейс класса

там замороченная система вообщем собираются кейсклассы а потом  через шейплес создается org.apache.avro.generic.GenericRecord
источник
16:02пожаловаться#8

GP

Grigory Pomadchin in Data Engineers
я видел в скала группе твой пост, я имел ввиду не это
источник
16:03пожаловаться#9

GP

Grigory Pomadchin in Data Engineers
как код ломается? как ты его используешь так что что-то ломается
источник
16:03пожаловаться#10

GP

Grigory Pomadchin in Data Engineers
Авро столькими способами можно использовать в спарке
источник
16:04пожаловаться#11

GP

Grigory Pomadchin in Data Engineers
да и не только в спарке
источник
16:04пожаловаться#12

GP

Grigory Pomadchin in Data Engineers
схематично накидай что б понять что ты хочешь
источник
16:04пожаловаться#13

AB

Andrey Bel in Data Engineers
код ломается не у меня))код ломается когда джоба основной системы читает мой авро
источник
16:04пожаловаться#14

AB

Andrey Bel in Data Engineers
попробую
источник
16:04пожаловаться#15

GP

Grigory Pomadchin in Data Engineers
что значит Джоба читает авро?
источник
16:05пожаловаться#16

GP

Grigory Pomadchin in Data Engineers
Читает как?
источник
16:05пожаловаться#17

GP

Grigory Pomadchin in Data Engineers
Датасорс?
источник
16:06пожаловаться#18

AB

Andrey Bel in Data Engineers
имею ввиду что я записываю авро на хадуп а после этого другая джоба его читает, я к ней отношения не имею, я только записываю
источник
16:06пожаловаться#19

GP

Grigory Pomadchin in Data Engineers
как записываешь то и читаешь?
источник
16:06пожаловаться#20