Полное и точное индексирование сайта рассматривается как гарантия любви к сайту со стороны поисковых систем. В то же время, сложность для поисковых роботов переползать контент часто рассматривается как предпосылка для низкого рейтинга и малоценного трафика для веб-мастеров. В конце четырех месяцев мы провели эксперимент, чтобы выяснить, в какой степени правила GoogleBot в файле Robots.txt, отвечающие за показ/скрытие скриптов, стилей CSS и изображений, влияют на позицию веб-страницы в Google. Поиск.
Отдельно была сделана заметка о том, как правильно составить файл Robots.txt для WordPress (см. здесь). Этот опыт направлен на выявление конкретных факторов, которые не подвержены влиянию.
Исходные данные
Ранее эти элементы сайта считались служебными, и поисковые роботы не были заинтересованы в их просмотре. В результате они получили доступ только к основному текстовому содержанию сайта и дали понять, что не допустят ничего официального (поскольку для поиска им придется читать сайт). поисковые роботы).
Однако в какой-то момент в руководстве поисковой системы появилось уведомление, рекомендующее раскрывать GoogleBot все похожие элементы. Это связано с тем, что их сокрытие может поставить под угрозу процесс индексации и привести к тому, что сайт будет ранжироваться ниже, чем ожидалось.
Источники с абсолютными основаниями для утверждения можно найти здесь.
Некоторые веб-мастера, включая веб-мастеров Google, получили сообщение «Googlebot не может получить доступ к CSS и JS файлам вашего сайта…». сообщение.
Это связано с тем, что пользователи и боты должны воспринимать сайт одинаково. При использовании правильной акции ‘View as Googlebot’ отображался правильный рендеринг.
Визуальное изображение сопровождалось полным списком того, чего поисковый бот не смог достичь. Например
В Интернете существует огромное количество информации, и даже официальные источники от авторитетных компаний не всегда работают так, как предлагают их создатели. После этого было решено не только представить то, что написали власти западного конкурента «Яндекса», но и проследить за последствиями этих действий.
Нас интересовало, как изменится рейтинг сайта в SERP и поисковый трафик Google, а также как будет открыт доступ к JavaScript, стилям CSS и всем изображениям сайта в файле Robots.txt.
Что было сделано в ходе эксперимента
Анализ скриншотов, сравнивающих иллюзии сайта для людей и Googlebot, и списка заблокированных элементов, показал, что боты могли видеть скрипты, стили, изображения, плагины, используемые в предоставленных темах оформления WordPress, в Список заблокированных элементов показал, что бот не имел доступа к папкам, в которых хранятся скрипты, стили, изображения, используемые плагины и изображения предоставляемых тем WordPress. Сообщение сохраняется.
Все настройки были выполнены 5 июня 2015 года.
После определения некоторых путей к необходимым модулям, в Robots.txt были добавлены условия, позволяющие поисковым роботам получить к ним доступ. В моем случае эти критерии были следующими.
Первая строка — это активный шаблон сайта, где хранятся все стили, личные скрипты и дизайн, относящиеся к данной теме. Вторая и третья строки ссылаются на объединенные файлы WordPress и предоставляют доступ к дополнениям и скриптам. В строке 4 указывается путь к разделу, где хранятся опубликованные изображения из заметки.
После этой операции недоступные элементы практически исчезли (остались только элементы, ведущие к внешним источникам), и бот и человек стали видеть практически идентичные изображения.
Остается только дождаться, когда все конфигурации будут проиндексированы и активированы поисковыми системами.
Результаты эксперимента
Прошло четыре месяца, и можно увидеть параметры популярности сайта и результаты поиска. Они оказались правы: в
Трафик из Google
Как видите, конфигурация Google не повлияла на популярность Google. Кроме того, на этом этапе увеличилось количество заметок на сайте, а трафик с Яндекса практически удвоился.
Средняя поисковая позиция
К сожалению, вебмастера Google запретили информацию о средней позиции в поисковых запросах только за последние 90 дней. Это связано с тем, что данное изменение означало, что опыт был недоступен после первого месяца графика (Liveinternet также не предоставляет изображение).
Однако я иногда удаляю их собственный сайт аудитора позиций поисковых систем. Поэтому я вычислил среднее значение поисковых запросов, за которыми я слежу, и получил правильную цифру.
Разница не столь значительна и находится в пределах погрешности измерений. В целом, график состава рейтинга Google за 90 дней показывает очень похожую картину.
Итоги и выводы по эксперименту
Мой опыт доказывает, что не только скрипты и стили CSS оказывают незначительное влияние на рейтинг сайта в результатах поиска Google, но и изображения, помещенные в текст и используемые как часть тематического дизайна сайта, не оказывают никакого влияния. Не повышают рейтинг страницы.
Возможно, в будущем, когда поисковые системы будут включать в свои скрипты не только другие понятия, этот элемент станет более важным, поэтому оставьте композицию (после завершения) такой, какая она есть. До тех пор все зависит от релевантности страниц и их поведения.
Обладаете ли вы аналогичными навыками настройки сайтов? Если да, то какие результаты вы наблюдали?
