помогает только каждый раз в консоли запускать eval $(ssh-agent); ssh-add ~/.ssh/id_rsa. Не понятно почему так. После перезагрузки снова все надо делать, и вирт менеджер тоже хадалбливает вопросами про пассфразу к приватному ключу. Может у меня служба какая-то не работает