Size: a a a

2020 September 29

GP

Grigory Pomadchin in Data Engineers
больше 1 способа это делать
источник

AB

Andrey Bel in Data Engineers
import com.sksamuel.avro4s.{AvroName, AvroNamespace}
case class AttributeStringValue(string: String)

@AvroName("StringAttribute")
@AvroNamespace("ru.
blabla.domain.avro")
case class StringAttributeField(id: Long, value: AttributeStringValue)

вот кейс класс
я его заполняю и через шейплес записываю в org.apache.avro.generic.GenericRecord
потом этот дженерик рекорд пишу в хадуп
источник

AB

Andrey Bel in Data Engineers
пишу .saveAsNewAPIHadoopFile(
источник

GP

Grigory Pomadchin in Data Engineers
оО
источник

GP

Grigory Pomadchin in Data Engineers
и как надо было до этого догадаться что ты пишешь хадуп апи
источник

GP

Grigory Pomadchin in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
А читает джоба как?
источник

GP

Grigory Pomadchin in Data Engineers
другая джоба
источник

AB

Andrey Bel in Data Engineers
а вот как читает я хз, это не в моей компетенции
источник

AB

Andrey Bel in Data Engineers
Grigory Pomadchin
и как надо было до этого догадаться что ты пишешь хадуп апи
а че плохой вариант?
источник

GP

Grigory Pomadchin in Data Engineers
ну вроде сейчас датасорс апи больше популярно что для записи что для чтения))
источник

GP

Grigory Pomadchin in Data Engineers
Andrey Bel
а вот как читает я хз, это не в моей компетенции
ну вот ответ на твой вопрос - ты пишешь не то
источник

GP

Grigory Pomadchin in Data Engineers
а что не то не ясно; очевидно что джоба которая читает ожидает другой формат
источник

GP

Grigory Pomadchin in Data Engineers
С этим ничего не поделать, если авро4с не то генерит - руками кодеки авровые пиши
источник

AB

Andrey Bel in Data Engineers
Grigory Pomadchin
а что не то не ясно; очевидно что джоба которая читает ожидает другой формат
ну да я же об этом в начале написал, ей нужен другой формать стринги
источник

GP

Grigory Pomadchin in Data Engineers
Andrey Bel
ну да я же об этом в начале написал, ей нужен другой формать стринги
Но ты не сказал как она читает
источник

GP

Grigory Pomadchin in Data Engineers
ну ты узнай схему которую Рид джоба использует, сгенерируй кодек на ее основе и кодируй
источник

AB

Andrey Bel in Data Engineers
Grigory Pomadchin
ну ты узнай схему которую Рид джоба использует, сгенерируй кодек на ее основе и кодируй
схема есть, а насчте сгенерить подробнее можно?
источник

AB

Andrey Bel in Data Engineers
Grigory Pomadchin
ну ты узнай схему которую Рид джоба использует, сгенерируй кодек на ее основе и кодируй
типо через implicit val a = new SchemaFor ?
источник

GP

Grigory Pomadchin in Data Engineers
Andrey Bel
схема есть, а насчте сгенерить подробнее можно?
источник