Зависит от сложности пароля и наличия его в различных базах утёкших паролей.
Сейчас брутом занимаются бот-фермы из взломанных устройств мира IoT (различные роутеры, умные утюги, камеры, микроволновки, холодильники и т.д.).
Установка fail2ban или смена номера порта также никак не помогут, т.к. такие фермы координируются единым сервером. Сервер выдаёт каждому боту задание проверить ряд IP-адресов и номеров портов, затем он делает не более 2 коннектов и сообщает серверу результат. Далее этот же IP начинает брутить следующий бот и т.д. Когда будет найден валидный SSH сервер, начнётся попытка подобрать пароль для root, а если он заблокирован, то для других юзеров с самыми популярными именами.
Таким образом, каждый бот в единицу времени делает не более 1-2 соединений, но т.к. ботов очень много, простые пароли они подбирают достаточно быстро.
Пароль не простой, порт не стандартный, хотя может имеет смысл его усложнить. Чем мне не нравятся ключи - это если мою тачку взломают, в руках будут ключи, которыми смогут соединится.