Эксперимент. Как доступ GoogleBot к скриптам, CSS стилям и изображениям в Robots. txt влияет на позиции сайта в поиске

Полное и точное индексирование сайта рассматривается как гарантия любви к сайту со стороны поисковых систем. В то же время, сложность для поисковых роботов переползать контент часто рассматривается как предпосылка для низкого рейтинга и малоценного трафика для веб-мастеров. В конце четырех месяцев мы провели эксперимент, чтобы выяснить, в какой степени правила GoogleBot в файле Robots.txt, отвечающие за показ/скрытие скриптов, стилей CSS и изображений, влияют на позицию веб-страницы в Google. Поиск.

Заработок на автомате с помощью SERM. Нереально крутая тема.
9 часов назад
Crypto News: заработок на размещении микро-новостей от 100 000 рублей.
10 часов назад

googlebot не может получить доступ к js и css файлам на сайте

Отдельно была сделана заметка о том, как правильно составить файл Robots.txt для WordPress (см. здесь). Этот опыт направлен на выявление конкретных факторов, которые не подвержены влиянию.

Исходные данные

Ранее эти элементы сайта считались служебными, и поисковые роботы не были заинтересованы в их просмотре. В результате они получили доступ только к основному текстовому содержанию сайта и дали понять, что не допустят ничего официального (поскольку для поиска им придется читать сайт). поисковые роботы).

Однако в какой-то момент в руководстве поисковой системы появилось уведомление, рекомендующее раскрывать GoogleBot все похожие элементы. Это связано с тем, что их сокрытие может поставить под угрозу процесс индексации и привести к тому, что сайт будет ранжироваться ниже, чем ожидалось.

Источники с абсолютными основаниями для утверждения можно найти здесь.

Некоторые веб-мастера, включая веб-мастеров Google, получили сообщение «Googlebot не может получить доступ к CSS и JS файлам вашего сайта…». сообщение.

Это связано с тем, что пользователи и боты должны воспринимать сайт одинаково. При использовании правильной акции ‘View as Googlebot’ отображался правильный рендеринг.

Экспериментальный googlebot

Визуальное изображение сопровождалось полным списком того, чего поисковый бот не смог достичь. Например

В Интернете существует огромное количество информации, и даже официальные источники от авторитетных компаний не всегда работают так, как предлагают их создатели. После этого было решено не только представить то, что написали власти западного конкурента «Яндекса», но и проследить за последствиями этих действий.

Нас интересовало, как изменится рейтинг сайта в SERP и поисковый трафик Google, а также как будет открыт доступ к JavaScript, стилям CSS и всем изображениям сайта в файле Robots.txt.

Что было сделано в ходе эксперимента

Анализ скриншотов, сравнивающих иллюзии сайта для людей и Googlebot, и списка заблокированных элементов, показал, что боты могли видеть скрипты, стили, изображения, плагины, используемые в предоставленных темах оформления WordPress, в Список заблокированных элементов показал, что бот не имел доступа к папкам, в которых хранятся скрипты, стили, изображения, используемые плагины и изображения предоставляемых тем WordPress. Сообщение сохраняется.

Все настройки были выполнены 5 июня 2015 года.

«Smart Partner» - Скрипт автозаработка и система продаж.
7 часов назад
Заработайте от 1000$ в месяц на телеграмм-ботах. Денежная система "Торнадо"
7 часов назад

После определения некоторых путей к необходимым модулям, в Robots.txt были добавлены условия, позволяющие поисковым роботам получить к ним доступ. В моем случае эти критерии были следующими.

Первая строка — это активный шаблон сайта, где хранятся все стили, личные скрипты и дизайн, относящиеся к данной теме. Вторая и третья строки ссылаются на объединенные файлы WordPress и предоставляют доступ к дополнениям и скриптам. В строке 4 указывается путь к разделу, где хранятся опубликованные изображения из заметки.

После этой операции недоступные элементы практически исчезли (остались только элементы, ведущие к внешним источникам), и бот и человек стали видеть практически идентичные изображения.

Затем googlebot

Остается только дождаться, когда все конфигурации будут проиндексированы и активированы поисковыми системами.

Результаты эксперимента

Прошло четыре месяца, и можно увидеть параметры популярности сайта и результаты поиска. Они оказались правы: в

Трафик из Google

Черная карта Тинькофф

Как видите, конфигурация Google не повлияла на популярность Google. Кроме того, на этом этапе увеличилось количество заметок на сайте, а трафик с Яндекса практически удвоился.

Средняя поисковая позиция

К сожалению, вебмастера Google запретили информацию о средней позиции в поисковых запросах только за последние 90 дней. Это связано с тем, что данное изменение означало, что опыт был недоступен после первого месяца графика (Liveinternet также не предоставляет изображение).

Однако я иногда удаляю их собственный сайт аудитора позиций поисковых систем. Поэтому я вычислил среднее значение поисковых запросов, за которыми я слежу, и получил правильную цифру.

Разница не столь значительна и находится в пределах погрешности измерений. В целом, график состава рейтинга Google за 90 дней показывает очень похожую картину.

Итоги и выводы по эксперименту

Мой опыт доказывает, что не только скрипты и стили CSS оказывают незначительное влияние на рейтинг сайта в результатах поиска Google, но и изображения, помещенные в текст и используемые как часть тематического дизайна сайта, не оказывают никакого влияния. Не повышают рейтинг страницы.

Возможно, в будущем, когда поисковые системы будут включать в свои скрипты не только другие понятия, этот элемент станет более важным, поэтому оставьте композицию (после завершения) такой, какая она есть. До тех пор все зависит от релевантности страниц и их поведения.

Обладаете ли вы аналогичными навыками настройки сайтов? Если да, то какие результаты вы наблюдали?

Заработок на автомате с помощью SERM. Нереально крутая тема.
8 часов назад
Быстрые деньги. До 250 000 рублей на готовой системе
6 часов назад

Читайте также
«ДЕНЕЖНЫЙ ВЫБОР» 280 000 в месяц на автомате
6 часов назад
Crypto News: заработок на размещении микро-новостей от 100 000 рублей.
7 часов назад
Ниша дропшиппинга. Полный курс по Дропшиппингу
6 часов назад
Быстрые деньги. До 250 000 рублей на готовой системе
7 часов назад
Быстрые деньги. До 250 000 рублей на готовой системе
10 часов назад
«Smart Partner» - Скрипт автозаработка и система продаж.
10 часов назад
Мануал "Как добывать море недорогих клиентов из РСЯ"
9 часов назад
«ДЕНЕЖНЫЙ ВЫБОР» 280 000 в месяц на автомате
6 часов назад
Ежедневный заработок от 918 рублей на поиске информации
7 часов назад
Идеально для новичков: заработок на размещении ссылок до 100 000 рублей в месяц
9 часов назад
Ежедневный заработок от 918 рублей на поиске информации
6 часов назад
«ДЕНЕЖНЫЙ ВЫБОР» 280 000 в месяц на автомате
6 часов назад
ПАРТНЕРСКИЕ АВТОВОРОНКИ. Серьезные комиссии на полуавтомате.
8 часов назад