🧐 Сегодня мы в партнерстве с Яндексом рассказываем, как поисковик учится точно и ёмко давать фактовые ответы, то есть моментально отвечать на конкретный вопрос, не заставляя нас «гулять» по ссылкам из выдачи.
Главный вопрос, который возник перед разработчиками на заре создания фактовых ответов, звучал так: где эти самые ответы брать? Начинали с самого простого: сначала просили специальных людей (асессоров) анализировать наиболее популярные запросы и выбирать из них те, на которые можно найти короткий ответ. Потом подключили краудсорсинг — толокеров, которые на эти вопросы отвечали, пополняя базу фактовых ответов. Но с ручным трудом была одна проблема — асессоры и толокеры могли охватить только наиболее популярные запросы, а длинный хвост прочих запросов оставался без внимания. Ручной разметкой с миллионами таких запросов точно не справиться.
И здесь на выручку пришел опыт поискового ранжирования, который материализовался в технологию Fact Snippet. Так как в описаниях ссылок иногда уже содержатся фактовые ответы, то было бы странно их не использовать. Однако информативное описание страницы далеко не всегда совпадает с хорошим ответом на прямой вопрос, поэтому Fact Snippet строит факты параллельно с описаниями страниц, но на основе других параметров, чтобы результат был похож на ответ. А затем благодаря нейросетевой модели выбирается наиболее качественный результат.
Однако Fact Snippet работал только с «классическими» фактовыми ответами: короткими, исчерпывающими, как в энциклопедии. В какой-то момент разработчики захотели выйти за рамки привычных фактов и помочь пользователям мгновенно получать ответы и на более сложные запросы. Так появился Fact Snippet 2.0, который отличался от первой версии отсутствием требования найти «исчерпывающий ответ». Он так же работает в два этапа: оценивает «фактовость» запроса и после ищет ответ. Однако теперь в нем оба этапа адаптированы так, чтобы находить ответы на более широкий срез вопросов — они не претендуют на энциклопедическую полноту, но всё равно полезны пользователям.
Fact Snippet 2.0 учел огромное количество запросов, однако множество «уникальных» все равно остались за бортом. Причем их существенная доля — это иные формулировки уже известных алгоритмам запросов. Чтобы решить эту проблему, в Яндексе придумали механизм, который на лету понимает, что пришедший запрос — это алиас другого запроса. Таким образом фактовый ответ формируется сразу для группы похожих запросов, что гораздо проще и быстрее. Так это работает на текущий момент, но может быть есть куда расти?
Да, это так. Поэтому сейчас разработчики поисковика работают над тем, чтобы в качестве фактового ответа мог выступать не только фрагмент текста, найденный в Сети, а чтобы его могла генерировать нейросеть. Причем так, чтобы он полностью соответствовал запросу и содержал в себе ничего лишнего. Речь идет о нейросуммаризации поиска, о котором ребята из Яндекса надеются рассказать в следующий раз.
Подробнее о том, как работают фактовые ответа Яндекса «под капотом», читайте по ссылке:
https://habr.com/ru/company/yandex/blog/502542/
