Как закрыть DEV-версию сайта от индексации поисковиками

У веб-сайтов часто бывает несколько версий: DEV (разработка), PROD (продакшен) и иногда STAGE (промежуточная). DEV-версия используется для разработки и тестирования новых функций, поэтому она не должна быть доступна широкой публике, а также индексироваться поисковыми системами.

Почему DEV-версию нужно закрывать от индексации?

• Она может содержать незавершенные или нестабильные функции, которые могут негативно повлиять на ваше SEO.
• DEV-версия может содержать конфиденциальную информацию, которую не следует публиковать.
• Индексация DEV-версии может привести к дублированию контента, что негативно влияет на SEO вашего основного сайта (PROD).

Как закрыть DEV-версию от индексации?

1. Закрытие паролем через .htpasswd:

• Этот метод прост в реализации, но может быть неудобным, если вам нужно часто предоставлять доступ к DEV-версии другим людям.
• Вам нужно будет создать файл .htpasswd с именами пользователей и паролями, а затем добавить его в корневой каталог DEV-версии сайта.
• В robots.txt нужно добавить правило, которое запрещает индексацию DEV-версии.

2. Запрет индексации через код:

• Этот метод более сложен, но он более удобен и надежен.
• Вам нужно будет добавить код в заголовок каждой страницы DEV-версии сайта, который запрещает индексацию этой страницы.
• Вы можете использовать различные методы для запрета индексации, например:
  • Мета-тег robots:
    
    HTML

    <meta name="robots" content="noindex,nofollow">
    

    Используйте код с осторожностью.

    content_copy

  • HTTP-заголовок X-Robots-Tag:
    
    PHP

    header("X-Robots-Tag: noindex,nofollow");
    

    Используйте код с осторожностью.

    content_copy

Какой метод выбрать?

Выбор метода зависит от ваших потребностей и технических навыков. Если вам нужен простой и быстрый метод, вы можете использовать .htpasswd. Если вам нужен более удобный и надежный метод, вы можете использовать код.

Важно:

• После того, как вы закрыли DEV-версию сайта от индексации, вам нужно проверить, что она не индексируется поисковыми системами.
• Вы можете использовать Google Search Console, чтобы проверить, какие страницы вашего сайта индексируются Google.

Заключение:

Закрытие DEV-версии сайта от индексации поисковиков — это важный шаг, который поможет вам защитить конфиденциальную информацию и улучшить SEO вашего основного сайта.