Телеграмм чат группы kubernetes

Так можно брать все подряд и отсеивать ненужное по лейблам

отсеивать на каком этапе? у меня файлбит все отсеивает

filebeat.autodiscover:
      providers:
        - type: kubernetes
          templates:
            - condition:
                equals:
                  kubernetes.labels.puzl-cloud-logging: "true"
              config:
                - type: container
                  paths:
                    - /var/lib/docker/containers/${data.kubernetes.container.id}/*.log
                  processors:
                    - decode_json_fields:
                        process_array: true
                        overwrite_keys: true
                        target: ""
                        fields: ["message"]
                        max_depth: 3

Dmitry Gadeev in Kubernetes — русскоговорящее сообщество

14:52пожаловаться #1

Есть у него подсказки

пока не сходить в аписервер, единственная инфа - в имени файла, а если мониторить не /var/log/containers а прям докерные файлы json, в имени файла нету ничего, кроме айди контейнера

14:53пожаловаться #2

Sergey Monakhov

отсеивать на каком этапе? у меня файлбит все отсеивает

filebeat.autodiscover:
      providers:
        - type: kubernetes
          templates:
            - condition:
                equals:
                  kubernetes.labels.puzl-cloud-logging: "true"
              config:
                - type: container
                  paths:
                    - /var/lib/docker/containers/${data.kubernetes.container.id}/*.log
                  processors:
                    - decode_json_fields:
                        process_array: true
                        overwrite_keys: true
                        target: ""
                        fields: ["message"]
                        max_depth: 3

У меня примерно так выглядит

    filebeat.inputs:
    - type: container
      paths:
        - /var/lib/docker/containers/*/*.log
      processors:
      - add_kubernetes_metadata:
          host: ${NODE_NAME}
    processors:
    - drop_fields:
        fields: 
          - "kubernetes.labels"
          - "kubernetes.container.image"
          - "kubernetes.pod"
          - "kubernetes.replicaset"
          - "agent"
          - "log"
          - "ecs"
          - "input"
          - "beats_type"
          - "host"
        ignore_missing: true
    output.logstash:
      hosts: 'graylog-tcp.logs.svc.cluster.local:5044'

14:53пожаловаться #3

Ну и в процессорах можно что угодно поменять/повыкидывать

14:53пожаловаться #4

У меня вот лейблы дропаются, но можно и сами ивенты

14:54пожаловаться #5

@LuckySB а https://github.com/heptiolabs/eventrouter не пробовали?

A simple introspective kubernetes service that forwards events to a specified sink. - heptiolabs/eventrouter

heptiolabs/eventrouter

Lucky SB in Kubernetes — русскоговорящее сообщество

15:04пожаловаться #6

@LuckySB а https://github.com/heptiolabs/eventrouter не пробовали?

A simple introspective kubernetes service that forwards events to a specified sink. - heptiolabs/eventrouter

heptiolabs/eventrouter

Нет

Dmitry Sergeev in Kubernetes — русскоговорящее сообщество

15:36пожаловаться #7

Lucky SB

https://github.com/max-rocket-internet/k8s-event-logger

max-rocket-internet/k8s-event-logger

Watches k8s cluster events and logs them to to stdout in JSON - max-rocket-internet/k8s-event-logger

Спасибо большое 🙏, утащи себе. Задумывал уже свой писать

Lucky SB in Kubernetes — русскоговорящее сообщество

15:37пожаловаться #8

Dmitry Sergeev

Спасибо большое 🙏, утащи себе. Задумывал уже свой писать

вон там от хептио показали - оно навороченнее ))

Dmitry Sergeev in Kubernetes — русскоговорящее сообщество

15:37пожаловаться #9

@LuckySB а https://github.com/heptiolabs/eventrouter не пробовали?

A simple introspective kubernetes service that forwards events to a specified sink. - heptiolabs/eventrouter

heptiolabs/eventrouter

спасибо 🙏. Тоже утащил

Dmitry Sergeev in Kubernetes — русскоговорящее сообщество

15:38пожаловаться #10

У меня примерно так выглядит

    filebeat.inputs:
    - type: container
      paths:
        - /var/lib/docker/containers/*/*.log
      processors:
      - add_kubernetes_metadata:
          host: ${NODE_NAME}
    processors:
    - drop_fields:
        fields: 
          - "kubernetes.labels"
          - "kubernetes.container.image"
          - "kubernetes.pod"
          - "kubernetes.replicaset"
          - "agent"
          - "log"
          - "ecs"
          - "input"
          - "beats_type"
          - "host"
        ignore_missing: true
    output.logstash:
      hosts: 'graylog-tcp.logs.svc.cluster.local:5044'

а почему поля kubernetes.* дропаешь? Потом откуда всё это дотсаешь?

15:41пожаловаться #11

Ну вот конкретно это мне не нужны

15:41пожаловаться #12

Это же не все существующие

Dmitry Sergeev in Kubernetes — русскоговорящее сообщество

15:42пожаловаться #13

Ну вот конкретно это мне не нужны

а как потом отличаешь откуда логи прилетели? Или там уже не важно - такая специфика?

15:42пожаловаться #14

Dmitry Sergeev

а как потом отличаешь откуда логи прилетели? Или там уже не важно - такая специфика?

Там уже не важно, да. Интересует с какого деплоймента, остается всякое такое

15:43пожаловаться #15

Eugene Petrovich in Kubernetes — русскоговорящее сообщество

оставляй kubernetes.pod

Dmitriy Startsev in Kubernetes — русскоговорящее сообщество

15:45пожаловаться #16

как в helm задать в requirements.yaml ссылку на чарт в гитхабе?

Dmitriy Startsev in Kubernetes — русскоговорящее сообщество

15:52пожаловаться #17

на этот, например https://github.com/rowanruseler/helm-charts/tree/master/charts/pgadmin4

Curated applications for Kubernetes. Contribute to rowanruseler/helm-charts development by creating an account on GitHub.

rowanruseler/helm-charts

Let Eat Bee in Kubernetes — русскоговорящее сообщество

15:53пожаловаться #18

Digital Owl

Доброго дня, коллеги. Поставили мне тут интересную задачу. В общем - в андерлее ESXi, сам куб должен крутиться в виртуалках на этом ESXi, а хранилка подана в виртуалки с SAN по FC. И вот я сижу ломаю голову как приклеить теперь PV к кластеру. Нет идей? Причём не просто приклеить, а чтобы оно ещё и провижило само :<

я очень сомневаюсь, что вам дадут в голом ESXi виртуалку, скорее всего у вас там vSphere, для которого есть нормально работающий cloud-proivder для интеграции с кубом. Вам надо будет создать datastore и настроить права, чтобы провайдер мог ходить по API в vSphere и создавать/удалять в нём диски для подов.

Let Eat Bee in Kubernetes — русскоговорящее сообщество

15:56пожаловаться #19

Digital Owl

Как lun подадут тоже пока не понятно, но сказали, что на выходе будет блочник на всех нодах кластера.

требуйте большего. один lun на каждую ноду кластера это бессмысленное ограничение, пусть создадут datastore и дадут вам права, тогда ваш куб будет сам нарезать и монтировать диски