Разработчики и специалисты по маркетингу предлагается добавить файлы llms.txt на свои сайты, чтобы помочь крупным языковым моделям (LLM) «понять» их контент.

Но что такое llms.txt, кто его использует, и — что более важно — вы волнуетесь?

Llms.txt — это стандарт, предлагаемый для помощи LLM доступа и интерпретировать структурированный контент с веб -сайтов. Вы можете прочитать полное предложение на llmstext.orgПолем

Одним словом, это текстовый файл, предназначенный для того, чтобы сказать LLMS, где найти Хорошие вещи: Документация API, политика возврата, таксономии продукта и другие богатые ресурсы в контексте. Цель состоит в том, чтобы удалить двусмысленность, предоставляя языковые модели организованный высоко ценного контента, чтобы им не нужно было угадать, что имеет значение.

Теоретически, это кажется хорошей идеей. Мы уже используем такие файлы, как robots.txt и sitemap.xml, чтобы помочь поисковым системам понять, что находится на сайте и где искать. Почему бы не применить ту же логику к LLMS?

Но прежде всего, Ни один крупный поставщик LLM в настоящее время поддерживает LLMS.Txt. Не открыт. Не антропический. Не Google.

Как я уже сказал во вступлении, llms.txt — это предложить стандартный Я также мог бы предложить стандарт (давайте назовем его, пожалуйста, Feel-Me-Trafic-Robot-Overlords.txt), но если только основные поставщики LLM не подходят для его использования, это не имеет смысла.

Здесь мы находимся с llms.txt: это спекулятивная идея без официального усыновления.

Вот как выглядит файл llms.txt на практике. Это скриншот Anpropic’s Real LLMS.Txt::

По сути, llms.txt Снижение Документ (своего рода специально форматированный текстовый файл). Он использует заголовки H2, чтобы организовать ссылки на ключевые ресурсы. Вот образец структуры, который вы могли бы использовать:

# llms.txt
## Docs
- /api.md
A summary of API methods, authentication, rate limits, and example requests.
- /quickstart.md
A setup guide to help developers start using the platform quickly.
## Policies
- /terms.md
Legal terms outlining service usage.
- /returns.md
Information about return eligibility and processing.
## Products
- /catalog.md
A structured index of product categories, SKUs, and metadata.
- /sizing-guide.md
A reference guide for product sizing across categories.

Вы можете сделать свой собственный llms.txt за несколько минут:

1. Начните с базы Файл разметкиПолем
2. Используйте H2S, чтобы объединить ресурсы по типу.
3. Ссылка на структурированный и пользовательский контент.
4. Держите это в курсе.
5. Установите его в корневом поле: https://yourdomain.com/llms.txt

Вы можете создать его самостоятельно или использовать генератор LLMS.TXT бесплатно (так) сделать это для вас.

Я читал о некоторых разработчиках, также экспериментирующих с метаданными, специфичными для LLM в их файлах LLMS.TXT, таких как бюджеты токенов или любимые форматы файлов (но нет никаких доказательств того, что это уважают роботы или модели LLM).

Вы можете увидеть список компаний, использующих llms.txt в Directory.llmstxt.cloud— Индекс между сообществом llms.txt public файлов.

Вот несколько примеров:

• Гиер: Платформа документации разработчика.
• Птица: Real -Time Data API.
• Cloudflare: Перечисляет документы производительности и безопасности.
• Антроп: Публикуйте полную карту бренда своих документов API.

Но как насчет великих игроков?

До сих пор, Ни один крупный поставщик LLM официально не принял llms.txt Как часть их протокола робота:

• OpenAI (GPTBOT): Honors robots.txt, но официально не использует llms.txt.
• Антроп (Клод): Публикует свой собственный llms.txt, но не заявляет, что его роботы используют стандарт.
• Google (Gemini / Bard): Используйте robots.txt (через пользовательский агент: Google-Exted), чтобы управлять поведением AI Crawl, без упоминания о поддержке llms.txt.
• Цель (пламя): Нет робота или общественных консультаций, и нет никаких признаков использования llms.txt.

Это подчеркивает важный момент: создание llms.txt — это не то же самое, что применять его в поведении робота. В настоящее время большинство продавцов LLM рассматривают LLMS.TXT как интересную идею, а не то, что они согласились расставить приоритеты и следовать.

На мой взгляд, нет, пока нет.

Нет никаких доказательств того, что llms.txt улучшает восстановление ИИ, повышает трафик или повышает точность модели. И ни один поставщик не предпринял его проанализировать.

Но это также очень легко установить. Если у вас уже есть структурированный контент, такой как страницы продукта или документы разработчика, компиляция LLMS.TXT тривиальна. Это файл разметки, размещенный на вашем собственном веб -сайте. Там не может быть никакого преимущества, не наблюдаемого, но риска тоже нет. Если LLM в конечном итоге следует по нему как стандарт, может быть небольшое преимущество в том, чтобы быть ранними последователями.

Я думаю, что llms.txt набирает обороты, потому что мы все хотим влиять на видимость LLM, но у нас нет инструментов для этого. Итак, мы держимся за идеи, которые чувствовать как контроль.

Но, с моей личной точки зрения, llms.tx является решением в поисках проблемы. Поисковые системы уже широко распространены и включают ваш контент, используя существующие стандарты, такие как robots.txt и sitemap.xml. LLM используют большую часть той же инфраструктуры.

Как сказал Джон Мюллер из Google Reddit Post недавно::

AFAIK, ни одна из служб искусственного интеллекта не сказала, что они используют llms.txt (и вы можете сказать, когда вы смотрите газеты на сервере, что они даже не проверяют это). Для меня это сопоставимо с Meta Meta Meta Tag—это то, что владелец сайта утверждает, что его сайт касается … (действительно ли это сайт? Ну, вы можете проверить его. В то время, почему бы просто не проверить сайт напрямую?)

В разногласи со мной, или вы хотите поделиться противоположным примером? Пришлите мне сообщение на Лиентин Или ХПолем