В интервью Дэнни Салливану, руководителю отдела поиска Google, я попытался получить более подробную информацию о Navboost и его роли в основных обновлениях и общем рейтинге. Я был очень разочарован (я хорошо проигрываю). При этом вот несколько старых сообщений бывших сотрудников Google (насколько я могу судить) на тему Navboost с форумов Hacker News.
Первая цитата принадлежит Грегу (gregw134) Хакерские новостицитата, которую вы, вероятно, видели раньше:
Бывший инженер-исследователь Google (2019–2023). Я знаю, что многие старшие инженеры были расстроены, когда Бен Гомес был отстранен от игры. Вероятно, самым большим изменением, насколько я слышал, стала потеря Амита Сингхала, который руководил исследованиями до 2016 года. Амит боролся с растущей сложностью. Существует полуизвестный внутренний документ, в котором он выступал против других руководителей поисковых систем, утверждая, что Google следует использовать меньше машинного обучения или, по крайней мере, сдерживать его как можно больше, чтобы рейтинги были отлаженными и понятными инженерам, проводившим человеческие исследования. Мне кажется, что с тех пор, как он ушел, сложность резко возросла: каждая команда запускает как можно больше проектов глубокого обучения (как это делает любая другая крупная технологическая компания). Проблема, однако, в том, что в старых системах были очевидные проблемы, в то время как в новых системах есть скрытые ошибки и концептуальные проблемы, которые часто не проявляются в показателях и со временем ухудшаются по мере накопления сложности. Например: я обнаружил однобайтовую ошибку в формуле из старого запуска, которая изменила порядок верхних результатов для 15% запросов с 2015 года. Я передал ее, когда ушел, но не знаю, исправил ли это кто-то на самом деле или нет.
Я описал все известные мне ошибки поиска во внутреннем документе под названием «navboost второй страницы», так что, если кто-то, работающий над поиском в Google, читает это и ему нужен быстрый старт, проверьте это.
Второй, я думаю, вы его никогда не видели. Это Кевин Лакер, ныне технический директор в Parse, но он был инженером по поиску в Google и работал в отделе качества поиска Google, разрабатывая алгоритмы поиска в период с января 2005 по ноябрь 2009 года. Он опубликовал 9 месяцев назад. Хакерские новости:
Ну, дети в наши дни. Это не ревизионизм. Я работал над качеством исследований в эпоху ручного кодирования эвристики, с 2005 по 2009 год. Часть этого времени я провел, работая в команде navboost, которая использовала щелчок по данным для изменения результатов поиска. Даже в 2007 году данные о кликах были очень ценными и, возможно, самым важным компонентом алгоритма.
Алгоритм, конечно, был написан вручную. Для использования данных о кликах не требуется машинное обучение. Все, что нужно, — это несколько человек, которые уже выполнили поиск по этому конкретному запросу. Когда кто-то нажимает на результат и остается там какое-то время, это «длинный щелчок», и вы повышаете результат поиска по этому запросу.
Затем я нашел эти интересные ссылки от людей на Hacker News за годы до того, как документы Министерства юстиции были опубликованы на Navboost. Я не знаю, исходят ли они от гуглеров или нет.
Google больше не использует рейтинг страниц. У них есть сигнал navboost, который является самым сильным сигналом, когда дело касается ранжирования и восстановления. И эта идея взята из статьи Yahoo, в которой они раскрыли жемчужины алгоритмов поисковых систем: https://www.kdd.org/kdd2016/papers/files/adf0361-yinA.pdf
Этот PDF-файл является патентом Yahoo.
Sundar известен своей панелью инструментов Google для MSIE. В то время это была большая новинка. Он привязал Google Search к MSIE и в конечном итоге помог улучшить качество поиска.
Тогда он был менеджером по продукту в команде Chrome. Я не знаю, был ли он тем, кто заставил Пейджа создать Chrome.
Что ? Google почти всегда использовал клики («navboost»), это один из самых сильных сигналов для всех основных поисковых систем в Интернете. Я думаю, лучший вопрос заключается в том, почему они не оптимизируют рейтинг непосредственно по кликам, зачем до сих пор возиться со всеми этими дорогостоящими человеческими проверками… ну, оптимизация по кликам помогает, но только до определенного момента, после которого она начинает вредить. актуальность за счет чрезмерного продвижения старых популярных результатов и кликбейта. Но в качестве составляющей общего рейтинга, так или иначе, они и все остальные, безусловно, используют данные о кликах.
Берите что угодно из этих цитат, но мне они показались интересными.
Обсуждение на форуме Хакерские новости.
