Во-первых, давайте опишем то, о чем мы говорим. “Бот” является частью программного обеспечения поисковых систем, построенного пройти через каждую страницу вашего сайта, классифицировать его, и поместить в базу данных.
Google имеет три хорошо известных бота: Adsense бот, Freshbot и DeepCrawl.
Adsense бот, как вы догадались, используется для издателей, которые имеют рекламу Adsense на своих сайтах. Как только новая страница создается, JavaScript в пределах кода Adsense посылает сообщение для Adsense бот, и он приходит в течение 15 минут индексировать страницу, для того чтобы определить наиболее релевантные объявления для показа.
Но в этой статье мы подробно поговорим только о DeepCrawl и Freshbot.
Freshbot обходит самые популярные страницы на вашем сайте. Не имеет значения сколько их, одна страница или тысячи. Такие сайты, как Amazon.com и CNN.com имеют страницы, которые сканируются каждые десять минут, так как Google стало известно, что эти страницы очень часто обновляются. Типичный сайт может рассчитывать на посещения Freshbot каждые 1 до 14 дней, в зависимости от популярности этих страниц.
После посещение Freshbot вашего сайта, он находит все наиболее глубокие ссылки и записывает их в базу данных, так что, когда DeepCrawl приходит, он имеет адреса всех страниц вашего сайта.
Один раз в месяц, DeepCrawl бот посещает ваш сайт и переходит по всем ссылкам найденым Freshbot. Это главная причина того, почему индексирование вашего сайта Google может занять до одного месяца – даже с добавлением Google Sitemap.
Так что, будьте терпеливы и продолжайте добавлять содержимое, и работать на получение ценных обратных ссылок на ваш сайт – Google вознаградит вас за это.