Ученые сделали программу, которая отличала по фото хаски от волка. Ну, не 100%, но лучше, чем люди, и чаще, чем если тыкать в случайный вариант. Решили проверить, а как она их отличает? В чем разница? Мех, силуэт, глаза, выражение морды, что?
Оказалось — по снегу! Волков чаще фотографируют на снегу. Программе не важно, насколько это тупая идея. Главное, что на тренировочных данных она сработала, и программа выработала правило снег = волк.
А в одной больнице алгоритм научился определять больных с пневмонией, а потом оказалось, что он цеплялся за слово "портативный" на снимках, а портативно рентген делали самым тяжело больным. Соответственно, при другом формате снимков это не работало.
via