У Яндекса есть единая метрика качества выдачи
Правда, полностью все аспекты качества поиска она не охватывает. "У нас есть метрика pfound, являющаяся близким родственником классической метрики DCG, и в основном мы оцениваем выдачу по ней", - пишет Роман Поборчий в блоге Яндекс.Поиска. "Некоторые аспекты качества поиска такими метриками не ловятся. Например, не ловится разнообразие выдачи, так как каждый документ мы оцениваем независимо от остальных. Для этих аспектов приходится придумывать отдельные способы оценки".
В своей записи под заголовком "Сеанс черной магии с последующим разоблачением" Роман также рассказал, как асессоры оценивают выдачу по узкоспециализированным запросам. Чтобы оценить релевантность сайта запросу в сложной профессиональной тематике, например, медицине, сотрудники поискового отдела находят специалиста в этой области и просят его помочь. Правда, делать это приходится очень редко, так как, по словам Романа, "кроме программистов, мало кто ищет в поисковике ответ на по-настоящему сложный вопрос, связанный со своей работой".
Подготовлено по материалам .