Телеграмм чат группы ru_hashicorp страница 1319

По ошибке похоже что было переименование или неправильный экспорт импорт

17:35пожаловаться #1

A

2020-12-11T15:34:56.418+0100 [INFO] agent.server.serf.lan: serf: EventMemberJoin: mbz-job-1 10.0.1.9
2020-12-11T15:34:56.587+0100 [INFO] agent.server.serf.lan: serf: EventMemberUpdate: mbz-job-1
2020-12-11T15:34:58.517+0100 [WARN] agent.fsm: EnsureRegistration failed: error="failed inserting node: Error while renaming Node ID: "ee669524-0a7d-f646-d32a-f7686ad149ed": Node name mbz-job-1 is reserved by node 059e2f3c-1d9c-9634-87dc-b08d37fdc819 with name mbz-job-1 (10.0.1.9)"
2020-12-11T15:35:00.618+0100 [WARN] agent.fsm: EnsureRegistration failed: error="failed inserting node: Error while renaming Node ID: "ee669524-0a7d-f646-d32a-f7686ad149ed": Node name mbz-job-1 is reserved by node 059e2f3c-1d9c-9634-87dc-b08d37fdc819 with name mbz-job-1 (10.0.1.9)"

Во

17:36пожаловаться #2

A

Отлично

17:36пожаловаться #3

A

https://github.com/hashicorp/consul/issues/4741

GitHub

Duplicate Node IDs after upgrading to 1.2.3 · Issue #4741 · hashicorp/consul

After upgrading to 1.2.3 hosts begin reporting the following when registering with the catalog. The node name for the host making the new reservation and the node name for the conflicted always mat...

17:38пожаловаться #4

A

Почитай

17:38пожаловаться #5

A

Но перед манипуляциями пробекапиться надо. Всегда

17:38пожаловаться #6

S

угу, снапшот снят 🙂 читаю.

17:39пожаловаться #7

A

The agent has various configuration options that can be specified via the command-line or via configuration files. All of the configuration options are completely optional. Defaults are specified with their descriptions.

Навскидку попробуй https://www.consul.io/docs/agent/options.html?#disable_host_node_id

Consul by HashiCorp

S

спс

A

Да не за что.
По результату отпиши. Интересно

17:39пожаловаться #10

S

кстати траблов не было до 1.9 - раньше я сидел на 1.7.8 но раз уж тут случился переезд, захотелось обновится почем зря )

17:43пожаловаться #11

c

citius in ru_hashicorp

кстати траблов не было до 1.9 - раньше я сидел на 1.7.8 но раз уж тут случился переезд, захотелось обновится почем зря )

у меня был такой эффект на старых версиях. при апгрейде видимо перепутались имена нод. получилось что локальный кеш рафта лежит от ноды X c UUID1, а консул на ней запустился с именем Y, но все еще с UUID1, т.к. кеш лежит на диске.

17:45пожаловаться #12

c

citius in ru_hashicorp

если вернуть имена нод на место, то все заведется без лишних манипуляций.
еще можно зачистить кеш на конкретной ноде и запустить консул начисто.

17:47пожаловаться #13

S

Alexander

Да не за что.
По результату отпиши. Интересно

Нет, к сожалению не помогло. Возможно в рафте уже каша. У этих 4 неудаляемых нод был перепутан node-id (как туда попал новый ID непонятно совсем), вернул на те что ожидает консул - все встало уже без ошибок про rename, но сервисы так и не удаляются

19:13пожаловаться #14

A

Нет, к сожалению не помогло. Возможно в рафте уже каша. У этих 4 неудаляемых нод был перепутан node-id (как туда попал новый ID непонятно совсем), вернул на те что ожидает консул - все встало уже без ошибок про rename, но сервисы так и не удаляются

Ноды обнулял?

19:14пожаловаться #15

c

citius in ru_hashicorp

Нет, к сожалению не помогло. Возможно в рафте уже каша. У этих 4 неудаляемых нод был перепутан node-id (как туда попал новый ID непонятно совсем), вернул на те что ожидает консул - все встало уже без ошибок про rename, но сервисы так и не удаляются

попробуй на этих же нодах зарегать снова сервисы с таким же именем, и потом их удалить штатно

19:15пожаловаться #16

S

ага тестану на одной. с номадовскими сервисами конечно сложнее чуть. в консуле вроде сервисы надо убирать с той же ноды где они были заведены

19:17пожаловаться #17

S

поэтому может сработать, да

19:18пожаловаться #18

S

видно как проблемные ноды не могут покинуть кластер:

2020-12-11T17:17:51.223+0100 [INFO] agent.server: deregistering member: member=mbz-elk-1 reason=left
2020-12-11T17:17:51.231+0100 [WARN] agent.fsm: DeleteNode failed: error="failed to insert usage entry for "service-names": delta will cause a negative count"
2020-12-11T17:18:51.193+0100 [INFO] agent.server: deregistering member: member=mbz-es-3 reason=left
2020-12-11T17:18:51.203+0100 [WARN] agent.fsm: DeleteNode failed: error="failed to insert usage entry for "service-names": delta will cause a negative count"
2020-12-11T17:18:51.203+0100 [INFO] agent.server: deregistering member: member=mbz-job-1 reason=left
2020-12-11T17:18:51.208+0100 [WARN] agent.fsm: DeleteNode failed: error="failed to insert usage entry for "service-names": delta will cause a negative count"
2020-12-11T17:18:51.208+0100 [INFO] agent.server: deregistering member: member=mbz-web-1 reason=left
2020-12-11T17:18:51.215+0100 [WARN] agent.fsm: DeleteNode failed: error="failed to insert usage entry for "service-names": delta will cause a negative count"
2020-12-11T17:18:51.215+0100 [INFO] agent.server: deregistering member: member=mbz-elk-1 reason=left
2020-12-11T17:18:51.219+0100 [WARN] agent.fsm: DeleteNode failed: error="failed to insert usage entry for "service-names": delta will cause a negative count"

19:19пожаловаться #19

S

citius

попробуй на этих же нодах зарегать снова сервисы с таким же именем, и потом их удалить штатно

херня, остается пересобрать кластер и молится чтобы больше это не повторялось