Происходит от народной русской пословицы «дожидайся Юрьева дня, пока рак свиснет», впервые зафиксированной в 1848 г. Если верить сделавшему это этнографу А. В. Терещенко, по народной легенде в этот день рак свистит (хотя независимых подтверждений её существования нет).
Видимо, пословица отражала иронию крестьян, для которых Юрьев день был очень долгожданным в связи с тем, что до крепостного права у них была возможность переходить от одного помещика к другому после окончания в этот день осенних сельхозработ, ср. вот тебе, бабушка, и Юрьев день.