Мастер-группа IMBV: Технический аудит сайта

TehAydit2Что такое ? Технический аудит – это комплекс важных мероприятий, которые должны проводить оптимизаторы всякий раз, когда принимают в работу новый сайт. Но одним это делать лень, другие для аудита используют доморощенные методы, не зная, что существует достаточно софта, который мог бы помочь (хотя единого сервиса для техаудита пока действительно не существует).

Технический аудит – проверка и анализ сайта для выявления технических ошибок (серверные факторы, битые ссылки, дубли страниц и т. п.). Из своего опыта я знаю, что многие сеошники практикуют только один из видов аудита – SEO-аудит, в который включают все, что только можно: проверку текста, юзабилити, поисковой оптимизации, коммерческих факторов. Я не рекомендую смешивать аудиты. Начинать стоит с аудита бизнеса вашего Клиента, чтобы понять, в чем именно он нуждается больше всего, поможет ли ему SEO и будут ли продажи с приведенного вами на сайт трафика.  Screenshot_2Проводя технический аудит, нужно концентрироваться только на технических факторах и параметрах ресурса. Все остальные виды аудитов нужно делать отдельно и, соответственно, оформлять в отдельные отчеты. Рекомендации по каждому из аудитов нужно внедрять поэтапно. Не стоит создавать огромный, на 50-60 листов отчет, а потом долго и мучительно внедрять его в течение многих месяцев. Будьте последовательны: сделали один аудит внедрили рекомендации переходите к следующему.

Примерный чек-лист для технического аудита

1. Индексация сайта.

2. Robots.txt.

3. Поиск битых ссылок.

4. Коды ответа сервера и их настройка + LastModified (проверка и наладка реакции сервера).

5. Зеркала сайта.

6. Несуществующие страницы.

7. Идентификаторы сессий.

8. Дубликаты страниц.

9. Правильная кодировка документов.

10. Настройка псевдостатики.

11. Фреймы (удаление).

12. Flash.

13. Favicon.ico.

14. Скорость отклика сервера.

На Мастер-группе IMBV мы разобрали все эти пункты. Здесь обсудим только несколько.

1. Индексация сайта

Нужно понимать, насколько адекватно сайт индексируется двумя поисковыми машинами – Яндекс и Google. Существует ряд автоматизированных сервисов и онлайн-программ, позволяющих проверить адекватность индексации сайта.

Screenshot_3Кроме трех сервисов, указанных в перечне, есть еще много полезного софта. Нужно только выбрать самый удобный для вас. Если вы пользуетесь оператором поиска, вы сможете проверять, сколько у вас проиндексировано страниц.

Какие могут быть варианты:

У вас может быть сайт, у которого Яндексом проиндексировано сто страниц, а Google видит полторы тысячи. Такая резкая разница говорит нам о существующих проблемах: дубликатах (быстро индексируются Google), технические проблемы или попадание под фильтр поисковика части страниц.

2. Robots.txt

Screenshot_4Этот файл нужен оптимизатору, чтобы закрыть все лишнее от индексации. В том числе это касается определенных администраторских частей, предназначенных для внутреннего пользования. Наверняка вы вспомните скандал, когда Яндекс проиндексировал огромный объем личных сообщений пользователей сайта мобильного оператора МегаФон. Причина подобного казуса была в неаккуратной работе тамошних админов с файлом Robots.txt.

Robots.txt должен быть настроен и лежать в корневой директории сайта. В нем необходимо указать основное зеркало и дать ссылку на sitemap. Пример, взятый с сайта ВебПроекты, вы можете посмотреть на Рис.

Screenshot_5Вы можете посмотреть, что именно я предпочитаю закрывать на сайте (блоки, дубль Главной, страницы со знаками вопроса от прошлого движка, без псевдостатики и пр.). По такому образцу вы можете строить собственный файл Robots.txt.

Robots.txt, директивы и команды

Host: указываете основное зеркало.

Disallow: страницы, подразделы, директории, которые не должны индексироваться, либо правила для запрета индексации отдельных страниц.

Sitemap: передает поисковому роботу ссылку на Sitemap, проходя по которому он помещает страницы для индексации.

User-agent: поисковый робот Яндекс/Googlebot.

* – любой юзерагент

/ – в Disallow означает запрет индексации всего контента.

Указывайте все разделы и подразделы, которые запрещены для индексации.

Какие страницы нужно закрыть, потому что они не нужны в индексе:

  • страницы сайта для печати;

  • страницы переходов (пагинации) с одинаковым описанием;

  • дубли страниц, особенно дубли главной страницы, генерируемый движком;

  • результаты сортировок (по цене, названию);

  • страницы, оставшиеся от старой CMS.

Дополнительная информация

О том, как нужно составлять robots.txt (в особенности для Яндекса), можно почитать на странице Помощь в Яндекс.Вембастер или http://robotstxt.org.ru/.

После создания robots.txt стоит проверить, как его видит Яндекс. Для этого используйте инструмент Яндекс.Вебмастер.

В моей практике был случай, когда оптимизатор элементарно ошибся в написании названия директивы Disallow. Робот среагировал соответственно: в индекс попало все. Этот «глюк» был обнаружен случайно.

Рекомендуется к закрытию:

  • профили пользователей (замусоривают индекс);

  • страница результатов поиска;

  • страница создания новых тем на форумах;

  • страница аутентификации и личного кабинета – все личное, включая админский доступ;

  • служебные страницы перемещения тем и сообщений;

  • страница создания новой темы;

  • страницы личных сообщений и пр.

3. Поиск битых ссылок

Screenshot_6К счастью, этот процесс уже достаточно автоматизирован. Зачем нужно искать битые ссылки:

  • они отрицательно влияют на результаты и поведенческие факторы;

  • битая ссылка всегда раздражает посетителей сайта – растет показатель отказов.

Более того, если такая ссылка будет обнаружена асессором – позиции сайта ухудшатся.

Софт для поиска «битых» ссылок

  1. Xenu – бесплатная программа.
  1. Page Weight – условно-платный софт.

  1. Webmaster.yandex.ru – бесплатная программа.

Лично я использую первые два варианта. Естественно, все три программы не уникальны в своем роде, и вы можете использовать те из них, которые посчитаете удобными для вашей работы. Или можете написать свои скрипты

Screenshot_7Xenu выдает список битых ссылок, который можно выгрузить отдельной таблицей, чтобы иметь возможность предметно работать с ними. На Рис. 8 можно увидеть отчет, который формируется в Page Weight.

Screenshot_8Средствами Webmaster.yandex.ru вы тоже можете увидеть битые ссылки (Рис. 9).

Screenshot_9На вкладке «Индексирование сайта» можно посмотреть страницы с http-статусом 404, страницы с битыми ссылками и исправить ошибки.

Универсальных рецептов для сайтов нет: вы всегда должны исходить из специфики каждого веб-ресурса, его структуры и тематики.

Техническому аудиту полностью посвящено это занятие мастер-группы. Наша группа открыта для всех желающих – присоединяйтесь.

Запись опубликована автором Иван Севостьянов