Только что созданный сайт появится в результатах поиска не сразу. Сначала его должна проиндексировать поисковая система. Это означает, что поисковый робот должен зайти на ваш сайт, оценить его и сохранить информацию о нем в базе данных поисковой системы.
Если страница есть в индексе поисковой системы, она показывается в результатах поиска. Если ее нет в индексе, то поисковик о ней просто не знает, а значит не сможет никак использовать информацию, которая находится на этой странице.
Как правило, сайты среднего размера (т.е. те, число страниц на которых колеблется от нескольких десятков до нескольких сотен) индексируются поисковой системой корректно. И все же при работе над сайтом следует учитывать несколько моментов.
Поисковик может узнать о том, что в Сети появился новый сайт, двумя способами:
- добавление адреса сайта вручную с помощью соответствующей формы поисковика. Фактически вы сами сообщаете поисковой системе о том, что создан новый сайт, и его адрес оказывается в очереди на индексацию. Стоит добавлять только главную страницу, все остальные поисковый робот обнаружит по ссылкам;
- вам придется ждать, пока поисковый робот самостоятельно найдет ваш сайт. Здесь пригодятся внешние ссылки: если существует хотя бы одна ссылка на ваш сайт с другого ресурса, робот найдет и проиндексирует его очень быстро. Подобная тактика более предпочтительна – от получения внешних ссылок до индексации проходит немного времени, тогда как ручное добавление сайта способно привести к обратному результату, т.е. увеличить время ожидания поискового робота.
В зависимости от поисковой системы время индексации составляет от 2 дней до 2 недель. Самый быстрый процесс индексации у Google.
Чтобы сайт проиндексировался правильно, сделайте его дружественным для роботов. Для этого необходимо учитывать следующее:
- по возможности сделайте так, чтобы даже на самую отдаленную страницу вашего сайта можно было попасть максимум в 3 перехода. Если не получается, то используйте карту сайта, чтобы соблюсти это правило;
- обратитесь к разделу «Распространенные ошибки», изучите и не повторяйте их (старайтесь не использовать идентификаторы сессий, дублируйте ссылки, созданные с помощью скриптов и т.д.);
- поисковые системы в состоянии проиндексировать максимум 100-200 Кб текста, имеющегося на странице. Поэтому, если хотите проиндексировать страницы полностью, делайте их в указанных размерах. Если же объем страницы будет больше 100 Кб, то проиндексируется только текст в самом ее начале.
Существуют и способы управления поисковыми роботами. С помощью файла robots.txt можно дать разрешение или, наоборот, установить запрет на индексацию той или иной страницы. Российские поисковые системы поддерживают специальный тег NOINDEX, которым можно «закрыть» для индексации часть страницы. Зарубежные поисковики на данный тег не реагируют.
Количество проиндексированных страниц вашего ресурса может варьироваться, что неудивительно – ведь в базе данных поисковой системы постоянно происходят какие-то изменения, обновления, записи в ней могут исчезать и вновь появляться.
Чаще всего выпадение страницы из индекса связано с тем, что поисковый робот не смог зайти на сайт для индексации. Такое случается при недоступности сервера. Однако через некоторое время после того, как работоспособность сервера будет восстановлена, сайт вновь появится в индексе.
Стоит учитывать, что скорость переиндексации зависит от количества внешних ссылок на сайт – чем их больше, тем быстрее.
Процесс индексации можно отслеживать с помощью специальных лог-файлов, в которых содержится информация обо всех посещениях поисковых роботов. О программах, которые позволяют это сделать, будет рассказано в соответствующем разделе.
Постовой: продвижение сайта в топ.