Thursday, July 21, 2011

О поисковых роботах

Наверняка, такое есть у каждого сайта с отличной от нуля посещаемостью. Если посмотреть логи сайта, то можно найти кучу запросов от роботов поисковых систем, причем именно таких систем, пользователи которых на данный сайт практически не приходят.
Например, для linkstore.ru таким бомбилой долгое время был Рамблер. Переходов из поиска Рамблер практически не было, но его роботы потребляли контент со страшной силой и интенсивностью. Куда они его девали? :-)
А судя по последним данным, упавшее из рук Рамблера знамя подхватил bing. И спрашивает много, и по нескольку раз в секунду один и тот же URL терзает и т.д. Посетителей, правда, это не прибавляет :-)

1 comment:

Anonymous said...

в роботы.тхт вроде как можно ограничить интенсивность доступа роботов