YL
Там за 100 полей. Ну понятно, что мне в итоге нужны далеко не все. Т.е. в итоге правильно подложить свою схему, например (по User.class - 7 полей, например), сериализовать с ее помощью в объект User?
Size: a a a
2021 March 30
UR
Там за 100 полей - так все равно pojo должно быть обьявлено.
YL
Сорян, если тупые вопросы, это все новое для меня
UR
причем локально. Вот этот самый GenericRecord
YL
ConfluentRegistryAvroDeserializationSchema.forGeneric(schema) - есть такая вариация
UR
Yuri Lyulchenko
ConfluentRegistryAvroDeserializationSchema.forGeneric(schema) - есть такая вариация
подозреваю в обертке schema pojo все равно есть
А
Кто-нить пользовался БД Terrarium - это правда что они заявляют?
UR
Yuri Lyulchenko
Сорян, если тупые вопросы, это все новое для меня
А с жабой теперь всегда все будет новое, из нее SAP делают ;)
UR
Я думаю если показать этот код автору любой книжки по java 10летней давности тогда - он бы повесился
AZ
это Synerise?
А
это Synerise?
да
AZ
да
кмк их нельзя с КХ напрямую сравнивать, Сайнрайз это готовые сервисы. а не дата менеджмент платформа
YL
@Uncle_Ruckus А еще вот последний вариант, который вы предложили в самом начале:
private static FlinkKafkaConsumer<GenericRecord> getConsumer(String topic) {
Schema schema = ReflectData.get().getSchema(User.class);
return new FlinkKafkaConsumer<>(
topic,
AvroDeserializationSchema.forGeneric(schema),
getConsumerProperties());
}
java.io.EOFException
at org.apache.avro.io.BinaryDecoder.ensureBounds(BinaryDecoder.java:510)
at org.apache.avro.io.BinaryDecoder.readInt(BinaryDecoder.java:150)
at org.apache.avro.io.ValidatingDecoder.readInt(ValidatingDecoder.java:82)
at org.apache.avro.generic.GenericDatumReader.readInt(GenericDatumReader.java:551)
at org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:195)
at org.apache.avro.generic.GenericDatumReader.readArray(GenericDatumReader.java:298)
at org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:183)
at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:160)
at org.apache.avro.generic.GenericDatumReader.readField(GenericDatumReader.java:259)
at org.apache.avro.generic.GenericDatumReader.readRecord(GenericDatumReader.java:247)
at org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:179)
at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:160)
at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:153)
at org.apache.flink.formats.avro.AvroDeserializationSchema.deserialize(AvroDeserializationSchema.java:139)
at org.apache.flink.api.common.serialization.DeserializationSchema.deserialize(DeserializationSchema.java:82)
at org.apache.flink.streaming.connectors.kafka.internals.KafkaDeserializationSchemaWrapper.deserialize(KafkaDeserializationSchemaWrapper.java:58)
at org.apache.flink.streaming.connectors.kafka.internals.KafkaFetcher.partitionConsumerRecordsHandler(KafkaFetcher.java:179)
at org.apache.flink.streaming.connectors.kafka.internals.KafkaFetcher.runFetchLoop(KafkaFetcher.java:142)
at org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase.run(FlinkKafkaConsumerBase.java:826)
at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:110)
at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:66)
at org.apache.flink.streaming.runtime.tasks.SourceStreamTask$LegacySourceFunctionThread.run(SourceStreamTask.java:241)YL
Можете подсказать, куда копнуть?
А
кмк их нельзя с КХ напрямую сравнивать, Сайнрайз это готовые сервисы. а не дата менеджмент платформа
ну они сами себя сравнивают https://www.linkedin.com/pulse/synerise-terrarium-massive-scale-in-memory-storage-built-krolewski
AZ
ну они сами себя сравнивают https://www.linkedin.com/pulse/synerise-terrarium-massive-scale-in-memory-storage-built-krolewski
ну я про это ничего не слышал, и он пишет что только "soon Terrarium will debut as a standalone product" - видимо тогда и поглядим
AZ
SQL не умеет (я запутался уже, это значит что продукт хороший или плохо? 😊)
А
ну они пишут, что хорошо)
AZ
отлично значит, пусть цветут все цветы
AZ
вон как популярна MongoDB для аналитики, значит и эти заживут 🙃