Я конечно опоздал на срачик, но тоже вставлю пять копеек со своим никому не нужным мнением.
На собственном опыте могу сказать что ivy и его братья мне оч сильно добавляли ментальной нагрузки из-за того что можно получить один и тот же результат разными действиями. В том числе из-за экшнов. В итоге приходилось думать какое из этих действий нужно совершить. Сейчас же, для каждой задачи есть ровно один способ как её решить. Мне стало проще думать.
К примеру, я тогда пользовался и rgrep'ом, и rg и counsel-rg. И вот все три способа дают примерно один результат когда нужно получить статичный список.
По похожей причине мне не нравится держать fd-dired и find-dired из-за того что где-то на каком-то сервере может не оказаться fd. Приходится помнить оба синтаксиса.
Или вот еще пример. Нужно прыгнуть к дефинишну елисп команды. В ivy я могу это сделать и через describe-function, и через M-x и еще как-то. Сейчас же юзаю только find-function