Нет комментариев Robots
.jpg)
Нет комментариев Robots. txt – самый честный текстовый файл: во-первых, он открыт для просмотра всем – изучай, копируй, критикуй. Во-вторых, он никого не принуждает следовать его инструкциям, и полезен будет только тем кто ориентируется на честные (белые) поисковые системы, которые не игнорируют его рекомендации, но следуют им. Всё это очень напоминает уличные контейнеры для сбора сортированного мусора. На одном написано “для стекла”, на другом “для пластика” и т. д. Если человек понимает для чего эти призывы к разделению, а главное у него есть желание сделать этот мир немного чище, он будете следовать этим рекомендациям, если ему все равно – выбросит всё в один, или вообще рядом с контейнером. Так и в мире Интернет поисковых технологий. Роботы белых поисковых систем, такие как GoolgeBot и Yandex, будут следовать рекомендациям нашего файла, искать свои директивы (сортировочные контейнеры), и учитывая их обходить наш веб-ресурс, а роботы Bing или Yahoo, к примеру, поступят так как посчитают нужным. Ну, и большинство роботов вообще сочтут robots. txt бесполезным текстовым файлом, так вот для таких БотТрамваев у нас есть свой стрелочник – конфигурационный серверный файл. htaccess.