© 2024 Каталог сайтов 8500.RU
Проверьте имя своего бота, просканируйте им страничку http://8500.ru/scan-user-agent.html?, а за результатом наблюдайте ниже. История результатов доступна в течение суток.
Если вы разрабатываете веб-приложения для сети интернет и различные программы сканирования сайтов, то можете быстро и наглядно протестировать своих ботов. В окне истории отображается время сканирования странички и наименование бота. Имя бота отображается в виде строки user-agent, в том виде, как её определяют различные веб-серверы.
Протестировать бота очень просто. В начале страницы сообщается url, который необходимо просканировать вашим ботом, а в окне истории можно просто наблюдать за результатами. Например, если вы откроете вышеуказанный url в новой вкладке, то вам откроется страничка, содержащая всего лишь одну строку — user-agent вашего браузера. Затем, если вы вернетесь на эту страницу и нажмете кнопку "Обновить", то в окне истории увидите тот запрос со строкой user-agent. Результаты можно обновить вручную по кнопке, или включить автоматическое обновление. При автоматическом обновлении данные обновляются раз в три секунды. Если в течение трёх минут новые данные не поступают, то автоматическое обновление приостанавливается. Его можно включить повторно.
Роботов-сканеров, ботов или спайдеров используют разные компании, в основном это поисковые системы. Поисковые системы не только сканируют странички для поиска на них информации, но и для поиска на них вредоносного программного обеспечения.
Некоторые компании используют роботов-сканеров и ботов, чтобы собрать статистику. Например, сколько доменов имеют нормально работающие сайты и какой хостинг используют, какое серверное программное обеспечение используется на сервере, какой CMS управляются сайты. Результаты таких исследований являются общедоступными и посмотреть их можно свободно в интернете, например, одно такое исследование проводит известная компания RuCenter, результат доступны на странице stat.nic.ru/reports/whist-ru/cms.html.
Комментарий отправлен и ожидает модерации. Отправить новый комментарий.