Robots.txt управлява обхождането, не пази тайни и не гарантира премахване от търсенето. Разрешение за AI търсене и разрешение за обучение са различни решения. Преди промяна определете коя система искате да допуснете и защо.
Обхождане и индексиране не са едно
Google може да открие забранен URL чрез други връзки и да го покаже без описание. За изключване от индекса се използва noindex при достъпно обхождане или защита с парола. Не блокирайте в robots.txt страница, от която очаквате Google да прочете noindex.
Частните файлове се защитават със сървърни права и автентикация. Публичен Disallow не е защитна стена, а самият robots.txt показва описаните пътища.
Как разграничавате AI ботовете?
| Име | Цел | Какво не означава |
|---|---|---|
| OAI-SearchBot | Откриване за търсенето на OpenAI. | Не е същото като разрешение за обучение. |
| GPTBot | Съдържание, което може да се използва за обучение. | Блокирането му не блокира автоматично OAI-SearchBot. |
| ChatGPT-User | Посещение по действие на потребител. | Не е автоматичният бот за Search; robots.txt може да не се прилага. |
За AI функциите в Google Search достъпът се управлява чрез Googlebot. Не смесвайте този контрол с Google-Extended или с обучението на други продукти. Проверете текущата документация за конкретния продукт, преди да добавите правило.
Какво проверявате след промяна?
- Файлът е достъпен на корена на правилния host.
- Синтаксисът и групите User-agent са правилни.
- Няма случайна забрана за важни изображения, CSS и JavaScript.
- CDN или хостингът не блокира разрешения бот отделно.
- Критичните URL отговарят и остават индексируеми.
Нужен ли е llms.txt?
Не го представяйте като условие за AI видимост. Google казва, че не използва специални AI текстови файлове като llms.txt за включване в Search. Други системи могат да имат различни правила; доказателството е документацията и наблюдението, не обещание на плъгин.
Разрешаването гарантира ли цитиране?
Не. Достъпът е условие за откриване, не обещание за избор на страницата в отговор.
Трябва ли да копирате чужд robots.txt?
Не. Пътищата и целите са различни. Проверете ефекта върху вашия сайт преди и след промяната.
Разделете целта преди правилото
Запишете отделно решенията за търсене, обучение и посещение по заявка на човек. Имената на ботовете не са взаимозаменяеми, а правилата трябва да се сверяват с текущата документация.
Ограничен учебен пример
Следният откъс разрешава OAI-SearchBot и забранява GPTBot. Това е пример за разграничение на целите, не готов robots.txt за копиране и не промяна на този сайт.
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /OAI-SearchBot обслужва търсенето на OpenAI, а GPTBot е свързан със съдържание, което може да се използва за обучение. ChatGPT-User посещава по действие на потребител; според OpenAI robots.txt правилата може да не се прилагат към такива посещения. Проверете текущото описание на ботовете, а не само копиран пример.
Проверка извън файла
Проверете HTTP отговора на robots.txt, реалния достъп до избрана страница и блокиране от CDN, защитна стена или вход. Разрешението във файла не преодолява друга преграда и не гарантира включване или цитиране.
Частно съдържание се пази с контрол на достъпа. За изключване от Google индекс noindex трябва да може да бъде прочетен; robots.txt не е заместител. Google описва тези ограничения. Преди промяна съхранете текущия файл и проверете всички засегнати групи правила.
Източници и дата на проверка
Проверено на 4 октомври 2026 г. Google: robots.txt; OpenAI: ботове; Google: AI функции; Google: AI оптимизация.
Автор: Николай Галинов. SEO специалист от 2008 г. Това е практическа редакция на съществуващия материал, не обещание за позиции или продажби.
