bitlybot

Обнаружено в логе сервера:

Agent: bitlybot

Это некий бот от сервиса по укорачиванию ссылок Bit.ly. Приходил за URL, который укорачивался с помощью этого сервиса URL. Интересно, для каких целей им нужно содержимое URL? Создают свой индекс "активных" страниц - типа свой поиск будет? Архивируют страницы или что?

Кстати, вот практический эффект этого бота. Мэшап Secure notes позволяет создавать "одноразовые" сообщения. Они автоматически удаляются после первого чтения (открытия). Так вот такие сообщения (ссылки) пакуются (сокращаются) сервисом tinyurl. Использовать bit.ly нельзя - вызов упаковщика эквивалентен обращению к странице. Она тут же и удаляется :-)