Телеграмм чат группы hadoopusers страница 2812

больше 1 способа это делать

16:07пожаловаться #1

import com.sksamuel.avro4s.{AvroName, AvroNamespace}

case class AttributeStringValue(string: String)

@AvroName("StringAttribute")
@AvroNamespace("ru.

blabla

.domain.avro")
case class StringAttributeField(id: Long, value: AttributeStringValue)

вот кейс класс
я его заполняю и через шейплес записываю в org.apache.avro.generic.GenericRecord
потом этот дженерик рекорд пишу в хадуп

16:09пожаловаться #2

пишу .saveAsNewAPIHadoopFile(

16:09пожаловаться #3

оО

16:10пожаловаться #4

и как надо было до этого догадаться что ты пишешь хадуп апи

16:10пожаловаться #5

А читает джоба как?

16:10пожаловаться #7

другая джоба

16:10пожаловаться #8

а вот как читает я хз, это не в моей компетенции

16:11пожаловаться #9

и как надо было до этого догадаться что ты пишешь хадуп апи

а че плохой вариант?

16:11пожаловаться #10

ну вроде сейчас датасорс апи больше популярно что для записи что для чтения))

16:12пожаловаться #11

Andrey Bel

а вот как читает я хз, это не в моей компетенции

ну вот ответ на твой вопрос - ты пишешь не то

16:12пожаловаться #12

а что не то не ясно; очевидно что джоба которая читает ожидает другой формат

16:12пожаловаться #13

С этим ничего не поделать, если авро4с не то генерит - руками кодеки авровые пиши

16:12пожаловаться #14

а что не то не ясно; очевидно что джоба которая читает ожидает другой формат

ну да я же об этом в начале написал, ей нужен другой формать стринги

16:12пожаловаться #15

Andrey Bel

ну да я же об этом в начале написал, ей нужен другой формать стринги

Но ты не сказал как она читает

16:13пожаловаться #16

ну ты узнай схему которую Рид джоба использует, сгенерируй кодек на ее основе и кодируй

16:13пожаловаться #17

ну ты узнай схему которую Рид джоба использует, сгенерируй кодек на ее основе и кодируй

схема есть, а насчте сгенерить подробнее можно?

16:14пожаловаться #18

ну ты узнай схему которую Рид джоба использует, сгенерируй кодек на ее основе и кодируй

типо через implicit val a = new SchemaFor ?

16:14пожаловаться #19

https://avro.apache.org/docs/1.8.2/api/java/org/apache/avro/Schema.Parser.html

Andrey Bel

схема есть, а насчте сгенерить подробнее можно?