Спасибо, исчерпывающее описание.

Это была ирония :)

А как же там: каждый мужчина должен вращать дерево, отрендерить дом...

Я в этой связи вспоминаю одного из лучших преподов в моей жизни . Звали его Михаил Александрович Колодий.
Он рассказывал, что с практикой письменных экзаменов у него появился скил. Посмотрев на письменный ответ, он точно знал, какие доп вопросы задать человеку, чтобы тот не ответил.
Он долго думал, что делать с таким скилом, потому что если бы он им пользовался, 95% просто бы получали двойки после одного-двух доп вопросов.
Поэтому он сказал, что действует очень формально. Доп. вопросы строго ограничиваются тематикой вопроса. Если собеседуемый может защитить свой ответ без доп. вопросов из пред. тем, ответ засчитывается.

Почему мне кажется формализация таких опросов хорошей идеей?
Потому что некоторое число собеседующих и экзаминаторов проходят этап, когда им чудится, будто они понимают, как человеческий разум работает.
Как шестерёнки крутятся, как решения мутятся.
И они приобрели уже вот тот замечательный скилл "деления человеков на два типа", и могут брать только людей правильного типа.
Часто оказывается, что этот их когнитологический талант - это всего лишь рефлексия. Талантливыми и умными им кажутся люди, которые прошли примерно такой же путь как они, использующие в решении задач примерно те же приёмы, что они.
Людей, которые не знают чего-то, что знают они, но знают и умеют применять что-то совсем другое, они с большой вероятностью отсеют.

Такой собеседователь будет преимущественно брать человеков, похожих на себя. Так в чём же проблема? Ну вот талантливый инженер наберёт примерно таких же талантливых инженеров, только на другой стадии развития.
Но к несчастью, такой подход приведёт к тому, что команда будет довольно однородная, люди будут, вероятнее всего, хорошо справляться с задачами одного типа и плохо с задачами другого.
Когда, кажется, довольно много довольно хороших исследований на тему того, что разнородные, или "сбалансированные" команды эффективнее.
В последнем слайде график, на котором видно, что: "В среднем трудно решаемая задача чаще приводит к не очень качественным решениям, с обоснованностью которых согласятся все "клоны" собеседущего, и эти проблемы будут постепенно копиться, в итоге понижая качество и повышая стоимость владения продуктом"

Т.е. более правильной тактикой я считаю набор строго сформулированных задач, и оценка исключительно измеримых качеств решения.

"Т.е. более правильной тактикой я считаю набор строго сформулированных задач, и оценка исключительно измеримых качеств решения."

Не приведет ли это к тому же отбору клонов, но уже коллективного собеседующего?

что такое клон коллективного собеседующего?

А тлдр в чем - ребята как обычно себя закопали?

ничего не меняется

Это некие представления об идеальном разработчике сложившиеся в данном коллективе и оформленные в виде набора формализованных требований типа знания парадигм(по краткому описанию угадает название) знание какие фреймверки хорошо, а какие плохо.

Ну или человеку дают задачу - вот поток целых чисел, нужно сделать плавающее среднее

Я не оч понимаю, давайте пример, вот человеку дают задачу - реализовать какой-то распределённый сервер для туду листов с использованием CRDT.
Стек собеседуемый выбирает полностью сам.
Оценивается реализация необходимых фич, а если всё есть - срупут, латенси, консистенси при сбоях.
Как здесь выглядят коллективный собеседующий и его клоны?

Потом приходят на собес пара архилидеров, назовём их Егол и Ернайд. Просят объяснит своё решение.
Егол говорит "человек не упомянул коммутативные моноиды ни разу, такой тип людей нам не нужен"

Ернайд в свою очередь "кажется, он мог использовать Interlocked.MemoryBarrierProcessWide() но использовал просто "MemoryBarrier(), кажется он плохо знаком с .NET memory model, не вижу в нём глубоких знаний"
И человека не берут

Как предполагается оценивать решение данной задачи?

Я же сказал как.
Пройтись по пунктам - сделал то, сё, объяснил понятно, перфоманс хороший, сделал ту и ту оптимизацию, вот такие и такие случаи фейла нод обработал, а вот такой дабыл 93/100"