XML-карти: що таке sitemap.xml і як їй користуватися

1. Індексація
2. Як поліпшити якість сайту
3. З точки зору користі для відвідувача, є два типи сторінок:
4. Ситуація 1: У XML-карти вказані тільки цільові сторінки.
5. Ситуація 2: в XML-карти вказані і цільові, і обслуговуючі сторінки.
6. Як користуватися Robots. txt і мета-тегом robots
7. Як вирішити проблеми з індексацією
8. Як автоматично оновлювати XML-карти
9. Як створити XML-карту для відео
10. Що в підсумку:

XML-карта (вона ж sitemap.xml) - це спосіб повідомити пошуковим системам інформацію про сторінки веб-сайту. Якщо неправильно налаштувати XML-карти, ви втратите позиції у видачі. XML-карту часто плутають з HTML-картою. Різниця в тому, що HTML-карта націлена на людей, а XML-карта - на роботів.

Спробуємо розібратися, як користуватися XML-картами.

Індексація

Коли ви завантажуєте XML-карту, ви підказуєте пошуковикам інформацію про сторінки вашого сайту. XML-карта додається в Google Search Console або Яндекс.Вебмайстер.

XML-карта робить індексацію сайту розумніше, але пошуковики ставляться до неї як до підказкою, а не керівництву до дії.

Крім XML-карти є ще два способи роботи з індексацією, які доповнюють XML-карту:

Файл robots. txt. Це звичайний текстовий файл. Створіть і покладіть його в кореневу папку вашого сайту. Robots.txt забороняє або дозволяє пошуковим системам індексувати розділи сайту або окремі сторінки. Принцип роботи добре пояснили в Яндексі:

Мета-тег robots. Тег допомагає зрозуміти пошуковим системам, можна індексувати саме цю сторінку і переходити за посиланнями, які вона містить.

Мета-тег прописується в шапку сторінки і має чотири значення:

• Index - можна індексувати
• Noindex - не можна індексувати
• Follow - можна переходити за посиланнями на сторінці
• Nofollow - не можна переходити за посиланнями

Значення можна використовувати в парі:

Значення не чутливі до регістру і їх можна комбінувати.

Не можна одночасно додавати сторінку в XML-карту і robots.txt: так ви відправите пошуковик індексувати заборонену до індексації сторінку. Якщо не хочете індексувати окрему сторінку, пропишіть "noindex, follow". Якщо ви прописали "noindex, follow", не додавайте таку сторінку в XML-карту.

Як поліпшити якість сайту

Принцип оцінки сайту невідомий: алгоритми ранжирування постійно змінюються. Яндекс і Гугл дають загальні поради:

• Думати про користувачів, а не пошукових системах. Дизайн і контент повинні бути зручні людині.
• Залучати людей тільки по тим запитам, на які сайт дає відповіді.
• Чи не накручувати рейтинг штучно.

З точки зору користі для відвідувача, є два типи сторінок:

• Обслуговуючі сторінки (utility pages).
• Цільові сторінки (landing pages).

Обслуговуючі сторінки спрощують роботу з сайтом, але самі по собі відвідувачеві не потрібні. Найчастіше це елементи інтерфейсу і сторінки без унікального контенту. Забороніть пошуковикам індексувати допоміжні сторінки: забороніть індексацію в robots.txt або пропишіть мета-тег "noindex, follow". Не вказуйте їх в XML-карті.

Цільові сторінки. Це сторінки, які відвідувач шукає цілеспрямовано: каталог товарів, тематичні статті і т. Д. Не блокуйте їх в robots.txt або мета-тегом "noindex". Обов'язково вкажіть їх в XML-карті.

Припустимо, є сайт на 1000 сторінок, 10 з яких - цільові. Якщо пошуковик відправить відвідувача на одну з 10 сторінок, то швидше за все відвідувач піде на одну з 990 сторінок, де немає корисної інформації. Відвідувач піде з сайту і не вирішить проблему. Навіщо пошуковику відправляти відвідувача на такий сайт?

Тепер уявімо, що цільових і обслуговуючих сторінок на сайті порівну:

• 500 цільових сторінок
• 500 допоміжних сторінок

Сторінки, які ви вкажете в XML-карті, пошуковики розцінять як цільові. Можуть скластися дві ситуації:

Ситуація 1: У XML-карти вказані тільки цільові сторінки.

Пошуковик з радістю просуне сайт у видачі, адже для нього сайт складається з 500 корисних сторінок. 500 допоміжних сторінок не беруть участь в індексації та не позначаються на якості сайту.

Ситуація 2: в XML-карти вказані і цільові, і обслуговуючі сторінки.

Пошуковик не захоче просувати такий сайт. Він як і раніше добре оцінить цільові сторінки, але якість сайту постраждає: обслуговуючі сторінки пошуковик розцінить як цільові. Оскільки обслуговуючі сторінки не несуть користь, пошуковик оцінить їх на «трійки» і «двійки». Якість сайту постраждає, його позиція у видачі буде нижче.

Сторінки, які не вказані в XML-карті, все одно можуть індексуватися, тому може повторитися друга ситуація.

Щоб побачити індексовані сторінки, вбийте в Яндексі або Гуглі «site: search». Ви швидко знайдете допоміжні сторінки: як правило вони йдуть в кінці видачі. Якщо таких сторінок трохи, заблокуйте їх мета-тегом «noindex, follow» або в robots.txt.

Приклад використання site: search

А ось виявлена ​​сторінка, яка не несе користі для відвідувача:

Як користуватися Robots. txt і мета-тегом robots

Використовуйте Robots.txt, щоб заборонити індексацію цілих розділів. Пошуковики нічого не будуть там індексувати або переходити за посиланнями. Сторінки заблокованого розділу залишають поза передачею свою вагу інших сторінок і не показуються в пошуковій видачі.

Тут блокуються сторінки, які є скриптами: ми не хочемо, щоб такі сторінки передавали контрольний вагу іншим сайтам і індексувалися як цільові сторінки.

Можна прописати «disallow: / scripts /», тоді всі скрипти в папці «scripts" не будуть індексуватися.

Щоб окремі сторінки не індексувалися, але передавали вага, пропишіть мета-роботів "noindex, follow".

Сторінка «Зв'яжіться з нами» - обслуговує сторінка, але у неї великий контрольний вагу: на неї часто клікають. Оскільки це обслуговуюча сторінка, ми не хочемо її індексувати, але хочемо, щоб вона передавала свою вагу інших розділів сайту. Щоб заборонити індексацію і не втратити контрольний вагу, ми прописуємо для цієї сторінки "noindex, follow".

Є тонкість: не використовуйте robots.txt для того, щоб заховати особисту інформацію користувачів. На цю інформацію можуть вести сторонні посилання, і інформація буде висвітлена в пошуковій видачі. Пропишіть мета-тег "noindex, follow" в шапці сторінки.

Якщо сайт великий, пошуковики можуть постійно його індексувати. Це може вплинути на швидкість роботи сайту.

Якщо ви хочете в першу чергу проіндексувати часто оновлюються розділи, блог або продуктові категорії, вкажіть їх в XML-карті. Так ви підкажете пошуковику, що вважаєте ці сторінки більш пріоритетними. Пошуковик проиндексирует їх в першу чергу, а що залишилися цільові сторінки проиндексирует пізніше.

Як вирішити проблеми з індексацією

У цьому прикладі в XML-карті перераховано 2698 сторінок, але Гугл проіндексував лише 1155.

Google Search Console покаже число проіндексованих сторінок, але не самі сторінки.

Припустимо, у вас електронний магазин на 125 000 сторінок. Всі сторінки цільові і діляться на 3 категорії:

• 100 000 продуктових сторінок
• 20 000 підкатегорій товару
• 5 000 сторінок категорій товару

Ви відправляєте XML-карту на 125 000 сторінок, але пошуковик індексує тільки 87 000 сторінок. Як знайти непроіндексовані сторінки?

Створіть окремі XML-карти для кожної категорії сторінок. Можна навіть створити XML-карти для підкатегорій (XML-карта для 5 000 товарів - XML-карта для 4000 пилососів і XML-карта на 1000 комп'ютерів). Додайте одні і ті ж продуктові сторінки в різні XML-карти - нічого страшного не буде.

Так ви отримаєте індексацію, близьку до 100%. Якщо індексація далека від 100%, потрібно пропрацювати самі сторінки: додати опис, збільшити вагу посилань. Ви можете виявити, що є товарні категорії без товару. Для таких категорій краще прописати "noindex, follow» (не індексувати сторінку, але переходити за посиланнями в ній) і прибрати з XML-карти.

Щоб виявити проблему, створіть XML-карту по кожній товарній категорії, але з невеликою вибіркою - 100 сторінок в кожній категорії досить.

Проблеми можуть бути такими:

• Сторінки без картинок не індексуються пошуковою системою
• Сторінки з дуже коротким описом (менше 200 слів унікального опису) не індексуються
• Сторінки без коментарів не індексуються

Ваша мета - виявити проблемні елементи, які заважають індексації. Використовуйте загальний відсоток індексації кожної XML-карти для виявлення проблемних елементів.

Припустимо, сторінки не індексуються через опису: всього 100 000 сторінок, і одна п'ята частина, 20 000 сторінок, містить занадто короткий опис. Розширте опис або забороніть індексацію через "noindex, follow". Якщо сторінки не приваблюють багато трафіку, а опис ви берете з сайту виробника, то не витрачайте час на опис для всіх 20 000 сторінок. Приберіть їх з індексації: пошуковик все одно їх не проиндексирует, а вони тільки погіршать якість сайту. Не забудьте виключити ці сторінки з XML-карти.

Як автоматично оновлювати XML-карти

Якщо у вас сайт на 100 000 сторінок, як постійно відстежувати: чи треба додати або виключити сторінку з XML-карти?

XML-карти не зобов'язані бути статичними файлами або мати розширення .xml. використовуйте автоматичний генератор XML-карт .

У генераторі ви можете задати правила, за якими сторінка потрапить в XML-карту або їй присвоїти "noindex, follow". Повертаючись до нашого прикладу: як тільки ви збільшите опис з 50 слів до 200, сторінка автоматично потрапить в XML-карту і їй присвоїти вже "index, follow".

Як створити XML-карту для відео

У Яндекса є інструкція , як це зробити. Якщо у вас багато відеоматеріалів і ви використовуєте власний плеєр, вам слід проіндексувати.

Що в підсумку:

1. Користуйтеся XML-картами. Вони допомагають пошуковим системам краще зрозуміти структуру вашого сайту.
2. Робіть сайт для людей, а не пошукових систем. Продумайте дизайн, створюйте актуальний контент.
3. Акуратно працюйте з robots.txt і мета-тегами robots. Не відправляйте пошуковик на заблоковані сторінки.
4. Зрозумійте, які сторінки цільові, а які - допоміжні. Цільові Індексуйте, допоміжні закривайте в robots.txt або за допомогою "noindex, follow".
5. Використовуйте в пошуковику «site: search», щоб побачити всі індексовані сторінки. Виявити допоміжні сторінки, додайте їх в robots.txt або пропишіть "noindex, follow".
6. Створюйте кілька XML-карт, щоб виявити проблеми з індексацією.
7. Використовуйте XML-генератори для створення динамічних XML-карт.
8. Використовуйте XML-карти для відео.

Бажаємо успіхів!

за матеріалами moz.com