У веб-сайтов часто бывает несколько версий: DEV (разработка), PROD (продакшен) и иногда STAGE (промежуточная). DEV-версия используется для разработки и тестирования новых функций, поэтому она не должна быть доступна широкой публике, а также индексироваться поисковыми системами.
Почему DEV-версию нужно закрывать от индексации?
- Она может содержать незавершенные или нестабильные функции, которые могут негативно повлиять на ваше SEO.
- DEV-версия может содержать конфиденциальную информацию, которую не следует публиковать.
- Индексация DEV-версии может привести к дублированию контента, что негативно влияет на SEO вашего основного сайта (PROD).
Как закрыть DEV-версию от индексации?
1. Закрытие паролем через .htpasswd:
- Этот метод прост в реализации, но может быть неудобным, если вам нужно часто предоставлять доступ к DEV-версии другим людям.
- Вам нужно будет создать файл .htpasswd с именами пользователей и паролями, а затем добавить его в корневой каталог DEV-версии сайта.
- В robots.txt нужно добавить правило, которое запрещает индексацию DEV-версии.
2. Запрет индексации через код:
- Этот метод более сложен, но он более удобен и надежен.
- Вам нужно будет добавить код в заголовок каждой страницы DEV-версии сайта, который запрещает индексацию этой страницы.
- Вы можете использовать различные методы для запрета индексации, например:
- Мета-тег robots:
HTML<meta name="robots" content="noindex,nofollow">
- HTTP-заголовок X-Robots-Tag:
PHPheader("X-Robots-Tag: noindex,nofollow");
- Мета-тег robots:
Какой метод выбрать?
Выбор метода зависит от ваших потребностей и технических навыков. Если вам нужен простой и быстрый метод, вы можете использовать .htpasswd. Если вам нужен более удобный и надежный метод, вы можете использовать код.
Важно:
- После того, как вы закрыли DEV-версию сайта от индексации, вам нужно проверить, что она не индексируется поисковыми системами.
- Вы можете использовать Google Search Console, чтобы проверить, какие страницы вашего сайта индексируются Google.
Заключение:
Закрытие DEV-версии сайта от индексации поисковиков — это важный шаг, который поможет вам защитить конфиденциальную информацию и улучшить SEO вашего основного сайта.