очень просто.
ставите HAproxy, в 2х экземплярах, к нему ставите keepalived, вешаете ViP.
В виде бэкграунда у каждого HAproxy указываете все мастера, фронт - выводите на Vip.
В случае падения 1ого HAproxy, у вас ViP едет на 2ой. Все воркеры натравливаете на этот ViP.