Техническое SEO: что это и зачем нужно вашему сайту

Техническое SEO — это всё, что позволяет поисковику найти страницы сайта, правильно их прочитать и не запутаться в копиях. Тексты, заголовки и ссылки — отдельная работа. Но если техника сломана, хорошие тексты просто не попадают в поиск или конкурируют сами с собой.

Ниже — что я проверяю на сайте в первую очередь, с ориентацией на Яндекс: он для большинства моих клиентов главный источник поискового трафика.

Чем техническое SEO отличается от контентного

Контентное SEO отвечает на вопрос «о чём страница и насколько хорошо она отвечает на запрос». Техническое — на вопросы «может ли робот вообще её найти, видит ли он одну страницу или десять копий, какой адрес считать главным, отдаёт ли сервер правильный ответ». Первое без второго не работает: если карточка товара доступна по пяти адресам, Яндекс сам выберет, какой из них показывать, и далеко не всегда тот, который вы продвигаете.

С чего начать: Яндекс Вебмастер

Почти всю базовую диагностику можно сделать бесплатно в Вебмастере. Вот разделы, которые я открываю первыми.

• Диагностика. Критичные и возможные проблемы: недоступность сайта, ошибки в robots.txt и sitemap, одинаковые title и description на многих страницах. Начинайте с красных пунктов.
• Индексирование → Страницы в поиске. Самый полезный отчёт. Во вкладке исключённых страниц видна причина исключения: дубль, неканоническая страница, редирект, ошибка 404, малоценная или маловостребованная страница. Если исключённых в несколько раз больше, чем страниц в поиске, — на сайте почти наверняка проблема с дублями.
• Индексирование → Статистика обхода. Какие адреса робот посещает и какие коды ответа получает. Много 404 и 5xx — повод разбираться.
• Индексирование → Файлы Sitemap. Принята ли карта сайта и нет ли в ней ошибок.
• Инструменты. Анализ robots.txt и проверка ответа сервера: какой код и какое содержимое получает робот по конкретному адресу. А через «Переобход страниц» в разделе индексирования можно попросить робота заново посетить важные страницы.

Дубли: главная болезнь коммерческих сайтов

Дубль — это одна и та же страница, доступная по разным адресам. Поисковик тратит на копии время обхода, а сигналы, которые должны работать на одну страницу, размазываются по нескольким.

Откуда они берутся

• Зеркала. Сайт открывается и по http, и по https, и с www, и без него. Должен остаться один вариант, остальные — с постраничным 301-редиректом на него.
• Слеш в конце адреса. /uslugi и /uslugi/ для поисковика — разные страницы. Выбирается один формат, второй перенаправляется.
• Метки и служебные параметры. utm_source, yclid, идентификаторы сессий, параметры сортировки и количества товаров на странице. Содержимое то же, адрес другой.
• Фильтры каталога. Каждое сочетание фильтров создаёт новый адрес. В магазине с десятком фильтров это тысячи страниц, большинство из которых никому не нужны. Как решать это на уровне структуры, я разбирал в статье про структуру каталога для SEO.

Чем лечить

• Clean-param в robots.txt. Директива, которую понимает Яндекс: она говорит роботу, что параметр не меняет содержимое страницы и адреса с ним нужно считать одним. Например, строка Clean-param: utm_source&utm_medium&utm_campaign&yclid склеит все адреса с рекламными метками. Google эту директиву не использует, для него нужен canonical.
• Canonical. Тег <link rel="canonical"> в коде страницы указывает, какой адрес главный. Его стоит прописывать на всех страницах, включая главную, — на самих себя, а на копиях — на основной адрес.
• 301-редирект. Для зеркал, слешей и старых адресов, которых больше не должно быть.
• Disallow в robots.txt. Для служебных разделов: корзина, личный кабинет, поиск по сайту, сравнение. Важно: если страница закрыта через Disallow, робот не прочитает её canonical, поэтому для одной и той же страницы эти способы не совмещают.

robots.txt и sitemap

Самые частые ошибки, которые я встречаю в robots.txt:

• сайт целиком закрыт строкой Disallow: /, оставшейся с разработки;
• закрыты папки со стилями и скриптами — робот не может отрисовать страницу и оценить мобильную версию;
• закрыты нужные разделы, а служебные открыты;
• остаётся директива Host — Яндекс давно её не учитывает, главное зеркало определяется 301-редиректом.

В sitemap должны быть только живые канонические страницы, которые отдают код 200. Адреса с редиректами, закрытые страницы и страницы пагинации там не нужны. Если на сайте часто появляются новые страницы, имеет смысл подключить протокол IndexNow: сайт сам сообщает Яндексу о новых и изменённых адресах, не дожидаясь обхода.

Коды ответа и ошибки

• Несуществующая страница должна отдавать 404. Частая ошибка — красивая страница «Ничего не найдено» с кодом 200. Для поисковика это нормальная страница, и таких «пустых» страниц в индексе может набраться много.
• Цепочки редиректов. Старый адрес → промежуточный → новый. Каждое звено — лишняя задержка и риск, что робот не дойдёт до конца. Редирект должен вести сразу на конечную страницу.
• Битые внутренние ссылки. Ссылки в меню и тексте на удалённые страницы. Ищутся любым краулером сайта, например Screaming Frog.

Скорость и мобильная версия

Это тоже часть технического SEO: медленная страница с неудобной мобильной вёрсткой проигрывает конкурентам через поведение посетителей. Подробно — в статье о том, почему сайт тормозит.

Типовые проблемы OpenCart и WordPress

С этими системами я работаю чаще всего, и у каждой свой набор привычных ошибок.

• OpenCart: не включены ЧПУ, и товары живут по адресам вида index.php?route=product/product&product_id=…; один товар доступен по разным адресам через разные категории; параметры сортировки, лимита и фильтров плодят дубли категорий; у страниц пагинации тот же title и текст, что у первой страницы.
• WordPress: в индексе страницы вложений для каждой картинки, архивы авторов, меток и дат, которые повторяют содержимое блога; параметр replytocom из комментариев; галочка «попросить поисковые системы не индексировать сайт», которую забыли снять после запуска.

Отдельный риск: редизайн и переезд

Больше всего технических ошибок появляется не со временем, а в один день — при запуске нового сайта или смене движка. Меняются адреса, теряются title, тестовый домен попадает в индекс. Как подготовиться к этому, я разобрал в статье о том, как не потерять позиции при редизайне.

Чек-лист: что проверить в первую очередь

1. Вебмастер → Диагностика: нет ли критичных проблем.
2. Сайт открывается по одному адресу: https, с www или без, с остальных вариантов — 301.
3. robots.txt не закрывает нужное и закрывает служебное.
4. Sitemap принят Вебмастером и содержит только живые страницы.
5. В «Страницах в поиске» исключённых не в разы больше, чем проиндексированных; причины исключения понятны.
6. Метки и служебные параметры склеены через Clean-param, на страницах есть canonical.
7. Несуществующие адреса отдают 404, редиректы без цепочек.
8. У каждой важной страницы свой title, description и один H1.
9. Мобильная версия удобна, страница быстро открывается с телефона.

Если хотите, чтобы это сделал я, — в услуге технический SEO-аудит стоит от 15 000 ₽, от 7 дней: на выходе список ошибок с приоритетами и тем, как их исправить. Базовая оптимизация с исправлением найденного — от 30 000 ₽, от 14 дней. Адрес сайта можно прислать через бриф.