На недавней конференции меня спросили, имеет ли значение llms.txt. Лично я не фанат, и ниже мы поймем, почему. Я послушал подругу, которая сказала мне, что мне нужно узнать об этом больше, поскольку она считала, что я не до конца понял это предложение, и я должен признать, что она была права. После более глубокого изучения этого вопроса я теперь понимаю это гораздо лучше. К сожалению, это лишь укрепило мои первоначальные опасения. И хотя это может звучать так, будто идея не нравится одному человеку, на самом деле я пытаюсь взглянуть на это с точки зрения поисковой системы или платформы искусственного интеллекта. Почему они приняли или почему не приняли этот протокол? И эта точка зрения привела меня к некоторым, как мне кажется, интересным выводам.

Мы все знаем, что поиск больше не является единственным уровнем обнаружения. Инструменты на основе моделей большого языка (LLM) меняют способы поиска, потребления и представления веб-контента. Предлагаемый протокол под названием llms.txt призван помочь веб-сайтам управлять этими инструментами. Но эта идея несет в себе те же вызовы доверия, которые уничтожили ранее сигналы «помоги машине понять меня». В этой статье рассматривается, для чего предназначен файл llms.txt (насколько я это понимаю), почему платформы будут этому сопротивляться, как им можно злоупотреблять и что необходимо изменить, прежде чем он станет значимым.

Что надеялся исправить llms.txt

Современные веб-сайты созданы для браузеров людей: тяжелый JavaScript, сложная навигация, межстраничные объявления, реклама, динамические шаблоны. Но большинство LLM, особенно во время вывода, работают в ограниченных средах: ограниченные контекстные окна, однопроходное чтение документов и более простой поиск, чем традиционные поисковые индексаторы. Оригинальное предложение от Ответ.AI предлагает добавить llms.txt markdown-файл в корне сайта, в котором перечислены наиболее важные страницы, при необходимости со сглаженным содержимым, чтобы системам искусственного интеллекта не приходилось бороться с шумом.

Сторонники описывать файл как «созданная вручную карта сайта для инструментов искусственного интеллекта», а не как файл блокировки сканирования. Короче говоря, теория: представляйте наиболее ценный контент вашего сайта в более чистом и доступном формате, чтобы инструменты не пропускали его и не неверно истолковывали.

Проблема доверия, которая никогда не умирает

Если вы сделаете шаг назад, вы обнаружите, что это знакомая закономерность. В начале истории Интернета что-то вроде мета-тега ключевых слов позволяло сайту заявить, о чем он; им широко злоупотребляли и в конечном итоге игнорировали. Точно так же разметка авторства (rel=author и т. д.) пыталась помочь машинам понять авторитет, и снова последовали манипуляции. Структурированные данные (schema.org) добились успеха только после многих лет управления и совместного внедрения поисковыми системами. llms.txt находится прямо внутри этой линии: самопровозглашенный сигнал, который обещает ясность, но доверяет издателю говорить правду. Без проверки каждый маленький стандарт корневого файла становится вектором манипуляций.

Пособие по борьбе со злоупотреблениями (что сразу видят спам-команды)

То, что касается групп по политике платформы, ясно: если веб-сайт публикует файл с именем llms.txt и заявляет все, что ему нравится, как платформа узнает, что то, что указано в списке, соответствует реальному контенту, который видят пользователи, или ему можно каким-либо образом доверять? Открывается несколько путей эксплойта:

1. Клоакинг через манифест. Сайт перечисляет в файле страницы, которые скрыты от обычных посетителей или за платным доступом, а затем инструмент искусственного интеллекта поглощает контент, который никто больше не видит.
2. Вброс ключевых слов или сброс ссылок. Файл становится каталогом, наполненным партнерскими ссылками, малоценными страницами или якорями с большим количеством ключевых слов, предназначенными для поиска игр.
3. Отравление или предвзятое содержание. Если агенты больше доверяют записям манифеста, чем сканированию беспорядочного HTML-кода, злоумышленник может разместить манипулятивные инструкции или предвзятые списки, которые повлияют на последующие результаты.
4. Сторонние цепочки ссылок. Файл может указывать на URL-адреса вне домена, фермы перенаправления или острова контента, что делает ваш сайт каналом или усилителем для некачественного контента.
5. Отмывание доверия. Наличие манифеста может привести к тому, что LLM присвоит более высокий вес перечисленным URL-адресам, поэтому тонкая или заспамленная страница получает преимущество исключительно за счет внешнего вида структуры.

Более широкий комментарий отмечает этот риск. Например, некоторые отраслевые обозреватели утверждают что llms.txt «создает возможности для злоупотреблений, таких как маскировка». И отзывы сообщества, по-видимому, подтверждают минимальное фактическое понимание: «Ни один LLM их не читает.По иронии судьбы, отсутствие использования означает меньше реальных примеров злоупотреблений, но это также означает, что было протестировано меньше механизмов безопасности.

Почему платформы колеблются

С точки зрения платформы расчет прагматичен: новые сигналы увеличивают затраты, риски и бремя обеспечения соблюдения требований. Вот как работает логика.

Первый, качество сигнала. Если записи в файле llms.txt содержат шум, содержат спам или не соответствуют действующему сайту, доверие к ним может скорее снизить, чем повысить качество контента. Платформы должны задаться вопросом: повысит ли этот файл точность ответов нашей модели или создаст риск дезинформации или манипуляций?

Второй, стоимость проверки. Чтобы доверять манифесту, вам необходимо перекрестно проверить его на соответствие живому HTML, каноническим тегам, структурированным данным, журналам сайта и т. д. Это требует ресурсов. Без проверки манифест — это просто еще один список, который может лгать.

Третий, обработка злоупотреблений. Если злоумышленник публикует манифест llms.txt, в котором перечислены вводящие в заблуждение URL-адреса, которые получает LLM, кто возьмется за последствия? Владелец сайта? Платформа ИИ? Поставщик модели? Эта проблема ответственности реальна.

В-четвертых, риск причинения вреда пользователю. LLM, цитирующий содержание манифеста, может дать неточные или предвзятые ответы. Это только усугубляет текущую проблему, с которой мы уже сталкиваемся, связанную с неточными ответами и людьми, дающими неправильные, неправильные или опасные ответы.

Google уже заявил что это будет нет полагаются на llms.txt для функции «Обзоры AI» и продолжают следовать «обычному SEO». и Джон Мюллер написал: «На данный момент ни одна система ИИ не использует llms.txt». Таким образом, инструменты, которые могли бы использовать манифест, по большей части остаются в стороне. Это отражает идею о том, что стандарт корневого файла без установленного доверия является обузой.

Почему усыновление без управления терпит неудачу

У каждого успешного веб-стандарта есть общая ДНК: руководящий орган, четкий словарный запас и пути обеспечения соблюдения. Все стандарты, которые выживают, сразу отвечают на один вопрос: «Кому принадлежат правила?»

Schema.org сработал, потому что ответ был ясен. Все началось как коалиция Bing, Google, Yahoo и Яндекс. Сотрудничество определило ограниченный словарь, согласованный синтаксис и обратную связь с издателями. Когда возникали злоупотребления (фейковые отзывы, фейковые данные о продуктах), эти системы координировали правоприменение и уточняли документацию. Сигнал сохранился, потому что он не принадлежал ни одной компании и не был оставлен на самоконтроле.

Robots.txt, напротив, выжил, будучи минимальным. Он не пытался описать качество или семантику контента. Это только сообщало сканерам, что нет прикоснуться. Эта простота уменьшила площадь поверхности для злоупотреблений. Это практически не требовало доверия между веб-мастерами и платформами. Худшее, что могло случиться, — это чрезмерная блокировка вашего собственного контента; не было никакого стимула лгать внутри файла.

llms.txt находится в противоположный мир. Он предлагает издателям самостоятельно заявить о том, что важнее всего, и, в полнотекстовом варианте, какова «правда» этого контента. Нет консорциума, контролирующего формат, нет стандартизированной схемы, на которую можно было бы валидировать, и нет группы контроля, которая бы проверяла злоупотребления. Опубликовать его может любой желающий. Никто не обязан это уважать. И сегодня известно, что ни один крупный поставщик LLM не использует его в производстве. Может быть, в частном порядке, но публично никаких заявлений об усыновлении нет.

Что необходимо изменить, чтобы доверие укрепилось

Чтобы перейти от необязательной четкой идеи к действительно надежному сигналу, необходимо выполнить несколько условий, и каждое из них влечет за собой затраты либо в долларах, либо в человеческом времени, то есть, опять же, в долларах.

• Первый, проверка манифеста. Подпись или проверка на основе DNS могут связать файл llms.txt с владельцем сайта, снижая риск подделки. (стоимость для сайта)
• Второй, перекрестная проверка. Платформы должны проверять, соответствуют ли перечисленные URL-адреса действующим общедоступным страницам, и выявлять несоответствия или маскировку с помощью автоматических проверок. (стоимость движка/платформы)
• Третий, прозрачность и логирование. Публичные реестры манифестов и журналы обновлений сделают существенные изменения видимыми и позволят проводить аудит сообщества. (стоит кому-то)
• В-четвертых, измерение выгоды. Платформам необходимы эмпирические доказательства того, что использование llms.txt приводит к значительному улучшению правильности ответов, точности цитирования или представления бренда. А пока это спекулятивно. (стоимость движка/платформы)
• Окончательно, сдерживание злоупотреблений. Необходимо создать механизмы для обнаружения и наказания за спам или манипулятивное использование манифеста. Без этого спам-команды просто предполагают отрицательную выгоду. (стоимость движка/платформы)

Пока эти элементы не будут на месте, платформы будут рассматривать llms.txt в лучшем случае как необязательный, а в худшем — нерелевантный. Так может быть, вы получите небольшую выгоду? А может и нет…

Реальная ценность сегодня

Для владельцев сайтов файл llms.txt по-прежнему может иметь некоторую ценность, но не как гарантированный путь к трафику или «рейтинг AI». Он может функционировать как инструмент выравнивания контента, помогая внутренним командам определять приоритетные URL-адреса, которые вы хотите, чтобы системы ИИ видели. Для сайтов с большим количеством документации, внутренних агентских систем или партнерских инструментов, которыми вы управляете, может иметь смысл опубликовать манифест и провести эксперимент.

Однако, если ваша цель — повлиять на крупные публичные результаты, полученные с помощью LLM (например, от Google, OpenAI или Perplexity), вам следует действовать осторожно. Есть никаких публичных доказательств эти системы пока что учитывают llms.txt. Другими словами: относитесь к llms.txt как к «зеркалу» вашей контент-стратегии, а не как к «магниту», притягивающему трафик. Конечно, это означает создание файлов и их поддержание, поэтому учитывайте добавленную работу и любую отдачу, которую, по вашему мнению, вы получите.

Заключительные мысли

Сеть продолжает пытаться научить машины самой себе. Каждое поколение изобретает новый формат, новый способ заявить: «Вот что важно». И каждый раз ее судьбу решает один и тот же вопрос: «Можно ли этому сигналу доверять?» Идея llms.txt здравая, но механизмы доверия еще не встроены. До тех пор, пока не появятся проверка, управление и эмпирические доказательства, llms.txt будет находиться в серой зоне между обещанием и проблемой.

Дополнительные ресурсы:

---

Этот пост был первоначально опубликован на Дуэйн Форрестер декодирует.

---

Рекомендованное изображение: Роман Самборский/Shutterstock