Продвигаемый сайт должен содержать только работающие страницы. Если сайт создавался с помощью таких серверных скриптов как perl, php или asp, нужно проследить, чтобы не генерировались одинаковые или пустые страницы…
Если скрипты используют сессии, то для поисковых роботов нужно выдавать страницы без них. Этот момент можно отслеживать с использованием user-agent’а или ip. Эти данные можно найти на официальном сайте любой поисковой системы.
Ненужные страницы сайта нужно запретить к индексации. Проще всего осуществить это можно с помощью такого файла как «robots.txt», к которому будут обращаться поисковые роботы при индексации сайта. Выкладывать этот файл необходимо в корневой папке.
Конечно же, можно использовать и специальные мета-теги в коде, однако этот вариант несколько хуже, потому что не уменьшает количество обращений к ресурсу и занимает больше места. Поисковым роботам нужно еще обнаружить эти теги на страницах, а robots.txt- это тот файл, к которому они обращаются в первую очередь.
Многие банковские сайты содержат версии страниц для печати. Такие страницы, по сути, являются копиями оригинальных страниц, но без «лишней» информации и навигации.
Если пользователь перейдет на такую страницу из поисковой системы, то ему будет доступен только текст и он не сможет переходить на другие страницы ресурса по причине отсутствия меню. Так что такие страницы желательно тоже запрещать к индексации.
Если вы хотите запрещать к индексации страницу, расположенную по адресу “Some_site.ru/pages/some_page.html”, то создайте файл «robots.txt» со следующим текстом:
User-agent: *
Disallow: pages/some_page.html