Телеграмм чат группы proKafka страница 1261

Size: a a a

pro.kafka

2020 March 17

ὦan

Еще дурацкий вопрос - никто в авро схемы не объвлял массив?
Просто в доке написано

Arrays use the type name "array" and support a single attribute:
items: the schema of the array's items.

https://avro.apache.org/docs/current/spec.html#Arrays
Если делать так

        {
           "type": "array",
           "items": "long"
        }

То получаем

No field name: {"type":"array","items":"long"}

Если сделать так

        {
           "type": "array",
           "items": {
                "name": "ids",
                "type": "long"
           }
        }

То опять же

No field name: {"type":"array","items":{"name":"ids","type":"long"}}

В гугле я посмотрел и не нашел примера

{
"name" : "requiredArray",
"type" : {
"type" : "array",
"items" : "string"
}
}

Примеры:
https://github.com/apache/avro/blob/master/lang/java/avro/src/test/resources/SchemaBuilder.avsc#L142

GitHub

apache/avro

Apache Avro. Contribute to apache/avro development by creating an account on GitHub.

источник

11:02пожаловаться #1

ὦ

ὦan in pro.kafka

{
"name": "ids",
"type": {
"items": "long",
"type": "array"
}
}

источник

11:04пожаловаться #2

ὦ

ὦan in pro.kafka

Да вот только что додумался

источник

11:04пожаловаться #3

ὦ

ὦan in pro.kafka

Но чет если честно для меня очень странно

источник

11:05пожаловаться #4

Nikita Ryanov in pro.kafka

В спеке просто не совсем корректный пример с точки зрения полноценного поля - только его тип, без имени)

источник

11:05пожаловаться #5

ὦ

ὦan in pro.kafka

То ли я тупой и dsl не понял

источник

11:05пожаловаться #6

ὦ

ὦan in pro.kafka

То ли пример плохой

источник

11:05пожаловаться #7

ὦ

ὦan in pro.kafka

Спасибо большое :)

источник

11:05пожаловаться #8

Vitaly Dobrovolsky in pro.kafka

Товарищи, подскажите, почему такое может быть, что в одной партиции не удаляются старые сегменты?
303G /srv/kafka/disk-4/logs/{topic}-0/
11G /srv/kafka/disk-3/logs/{topic}-1/
11G /srv/kafka/disk-1/logs/{topic}-2/

брокеры(2.4.0):
log.retention.hours=168
log.retention.check.interval.ms=300000
топик:
Configs for topic '{topic}' are retention.ms=302400000

И некоторые файлы в партиции 0 уже давно за неделю. А в партициях 1 и 2 все корректно удаляется.

источник

14:10пожаловаться #9

Andrey Ustinov in pro.kafka

конфиг точно применился на брокер? может поменяли и забыли рестарт?

источник

14:35пожаловаться #10

Vitaly Dobrovolsky in pro.kafka

Ребутали. Странно то, что в друх других партициях изменение retention.ms в рантайме удаляет старые логи нормально.

источник

14:41пожаловаться #11

Andrey Ustinov in pro.kafka

странно что за неделю не чистит 0ю