Мне вспоминается, что вроде бы я видел ровно такое поведение ровно в такой конфигурации - но вроде-бы это были единичные запросы в момент переключения мастера, так что все забили.
делал такую схему, и на проблемы не натыкался в момент переезда ip все сессии на клиенте всеравно рвутся, и они устанавливают новые уже к тому серверу, куда этот ip переехал