Таки смог поднять сервер по его родному ip.. Надо было сконфигурировать в Vapor ip сервера как
0.0.0.0, а то там локальная петля стоит по умолчанию. Но вот странно, в терминале ssh он по этому ip поднимается, а в браузере извне - нет. Настройки файрволла (вроде стандартный убунту, только дал доступ для OpenSSL)