- Індексація
- Як поліпшити якість сайту
- З точки зору користі для відвідувача, є два типи сторінок:
- Ситуація 1: У XML-карти вказані тільки цільові сторінки.
- Ситуація 2: в XML-карти вказані і цільові, і обслуговуючі сторінки.
- Як користуватися Robots. txt і мета-тегом robots
- Як вирішити проблеми з індексацією
- Як автоматично оновлювати XML-карти
- Як створити XML-карту для відео
- Що в підсумку:
XML-карта (вона ж sitemap.xml) - це спосіб повідомити пошуковим системам інформацію про сторінки веб-сайту. Якщо неправильно налаштувати XML-карти, ви втратите позиції у видачі. XML-карту часто плутають з HTML-картою. Різниця в тому, що HTML-карта націлена на людей, а XML-карта - на роботів.
Спробуємо розібратися, як користуватися XML-картами.
Індексація
Коли ви завантажуєте XML-карту, ви підказуєте пошуковикам інформацію про сторінки вашого сайту. XML-карта додається в Google Search Console або Яндекс.Вебмайстер.
XML-карта робить індексацію сайту розумніше, але пошуковики ставляться до неї як до підказкою, а не керівництву до дії.
Крім XML-карти є ще два способи роботи з індексацією, які доповнюють XML-карту:
Файл robots. txt. Це звичайний текстовий файл. Створіть і покладіть його в кореневу папку вашого сайту. Robots.txt забороняє або дозволяє пошуковим системам індексувати розділи сайту або окремі сторінки. Принцип роботи добре пояснили в Яндексі:
Мета-тег robots. Тег допомагає зрозуміти пошуковим системам, можна індексувати саме цю сторінку і переходити за посиланнями, які вона містить.
Мета-тег прописується в шапку сторінки і має чотири значення:
- Index - можна індексувати
- Noindex - не можна індексувати
- Follow - можна переходити за посиланнями на сторінці
- Nofollow - не можна переходити за посиланнями
Значення можна використовувати в парі:
Значення не чутливі до регістру і їх можна комбінувати.
Не можна одночасно додавати сторінку в XML-карту і robots.txt: так ви відправите пошуковик індексувати заборонену до індексації сторінку. Якщо не хочете індексувати окрему сторінку, пропишіть "noindex, follow". Якщо ви прописали "noindex, follow", не додавайте таку сторінку в XML-карту.
Як поліпшити якість сайту
Принцип оцінки сайту невідомий: алгоритми ранжирування постійно змінюються. Яндекс і Гугл дають загальні поради:
- Думати про користувачів, а не пошукових системах. Дизайн і контент повинні бути зручні людині.
- Залучати людей тільки по тим запитам, на які сайт дає відповіді.
- Чи не накручувати рейтинг штучно.
З точки зору користі для відвідувача, є два типи сторінок:
- Обслуговуючі сторінки (utility pages).
- Цільові сторінки (landing pages).
Обслуговуючі сторінки спрощують роботу з сайтом, але самі по собі відвідувачеві не потрібні. Найчастіше це елементи інтерфейсу і сторінки без унікального контенту. Забороніть пошуковикам індексувати допоміжні сторінки: забороніть індексацію в robots.txt або пропишіть мета-тег "noindex, follow". Не вказуйте їх в XML-карті.
Цільові сторінки. Це сторінки, які відвідувач шукає цілеспрямовано: каталог товарів, тематичні статті і т. Д. Не блокуйте їх в robots.txt або мета-тегом "noindex". Обов'язково вкажіть їх в XML-карті.
Припустимо, є сайт на 1000 сторінок, 10 з яких - цільові. Якщо пошуковик відправить відвідувача на одну з 10 сторінок, то швидше за все відвідувач піде на одну з 990 сторінок, де немає корисної інформації. Відвідувач піде з сайту і не вирішить проблему. Навіщо пошуковику відправляти відвідувача на такий сайт?
Тепер уявімо, що цільових і обслуговуючих сторінок на сайті порівну:
- 500 цільових сторінок
- 500 допоміжних сторінок
Сторінки, які ви вкажете в XML-карті, пошуковики розцінять як цільові. Можуть скластися дві ситуації:
Ситуація 1: У XML-карти вказані тільки цільові сторінки.
Пошуковик з радістю просуне сайт у видачі, адже для нього сайт складається з 500 корисних сторінок. 500 допоміжних сторінок не беруть участь в індексації та не позначаються на якості сайту.
Ситуація 2: в XML-карти вказані і цільові, і обслуговуючі сторінки.
Пошуковик не захоче просувати такий сайт. Він як і раніше добре оцінить цільові сторінки, але якість сайту постраждає: обслуговуючі сторінки пошуковик розцінить як цільові. Оскільки обслуговуючі сторінки не несуть користь, пошуковик оцінить їх на «трійки» і «двійки». Якість сайту постраждає, його позиція у видачі буде нижче.
Сторінки, які не вказані в XML-карті, все одно можуть індексуватися, тому може повторитися друга ситуація.
Щоб побачити індексовані сторінки, вбийте в Яндексі або Гуглі «site: search». Ви швидко знайдете допоміжні сторінки: як правило вони йдуть в кінці видачі. Якщо таких сторінок трохи, заблокуйте їх мета-тегом «noindex, follow» або в robots.txt.
Приклад використання site: search
А ось виявлена сторінка, яка не несе користі для відвідувача:
Як користуватися Robots. txt і мета-тегом robots
Використовуйте Robots.txt, щоб заборонити індексацію цілих розділів. Пошуковики нічого не будуть там індексувати або переходити за посиланнями. Сторінки заблокованого розділу залишають поза передачею свою вагу інших сторінок і не показуються в пошуковій видачі.
Тут блокуються сторінки, які є скриптами: ми не хочемо, щоб такі сторінки передавали контрольний вагу іншим сайтам і індексувалися як цільові сторінки.
Можна прописати «disallow: / scripts /», тоді всі скрипти в папці «scripts" не будуть індексуватися.
Щоб окремі сторінки не індексувалися, але передавали вага, пропишіть мета-роботів "noindex, follow".
Сторінка «Зв'яжіться з нами» - обслуговує сторінка, але у неї великий контрольний вагу: на неї часто клікають. Оскільки це обслуговуюча сторінка, ми не хочемо її індексувати, але хочемо, щоб вона передавала свою вагу інших розділів сайту. Щоб заборонити індексацію і не втратити контрольний вагу, ми прописуємо для цієї сторінки "noindex, follow".
Є тонкість: не використовуйте robots.txt для того, щоб заховати особисту інформацію користувачів. На цю інформацію можуть вести сторонні посилання, і інформація буде висвітлена в пошуковій видачі. Пропишіть мета-тег "noindex, follow" в шапці сторінки.
Якщо сайт великий, пошуковики можуть постійно його індексувати. Це може вплинути на швидкість роботи сайту.
Якщо ви хочете в першу чергу проіндексувати часто оновлюються розділи, блог або продуктові категорії, вкажіть їх в XML-карті. Так ви підкажете пошуковику, що вважаєте ці сторінки більш пріоритетними. Пошуковик проиндексирует їх в першу чергу, а що залишилися цільові сторінки проиндексирует пізніше.
Як вирішити проблеми з індексацією
У цьому прикладі в XML-карті перераховано 2698 сторінок, але Гугл проіндексував лише 1155.
Google Search Console покаже число проіндексованих сторінок, але не самі сторінки.
Припустимо, у вас електронний магазин на 125 000 сторінок. Всі сторінки цільові і діляться на 3 категорії:
- 100 000 продуктових сторінок
- 20 000 підкатегорій товару
- 5 000 сторінок категорій товару
Ви відправляєте XML-карту на 125 000 сторінок, але пошуковик індексує тільки 87 000 сторінок. Як знайти непроіндексовані сторінки?
Створіть окремі XML-карти для кожної категорії сторінок. Можна навіть створити XML-карти для підкатегорій (XML-карта для 5 000 товарів - XML-карта для 4000 пилососів і XML-карта на 1000 комп'ютерів). Додайте одні і ті ж продуктові сторінки в різні XML-карти - нічого страшного не буде.
Так ви отримаєте індексацію, близьку до 100%. Якщо індексація далека від 100%, потрібно пропрацювати самі сторінки: додати опис, збільшити вагу посилань. Ви можете виявити, що є товарні категорії без товару. Для таких категорій краще прописати "noindex, follow» (не індексувати сторінку, але переходити за посиланнями в ній) і прибрати з XML-карти.
Щоб виявити проблему, створіть XML-карту по кожній товарній категорії, але з невеликою вибіркою - 100 сторінок в кожній категорії досить.
Проблеми можуть бути такими:
- Сторінки без картинок не індексуються пошуковою системою
- Сторінки з дуже коротким описом (менше 200 слів унікального опису) не індексуються
- Сторінки без коментарів не індексуються
Ваша мета - виявити проблемні елементи, які заважають індексації. Використовуйте загальний відсоток індексації кожної XML-карти для виявлення проблемних елементів.
Припустимо, сторінки не індексуються через опису: всього 100 000 сторінок, і одна п'ята частина, 20 000 сторінок, містить занадто короткий опис. Розширте опис або забороніть індексацію через "noindex, follow". Якщо сторінки не приваблюють багато трафіку, а опис ви берете з сайту виробника, то не витрачайте час на опис для всіх 20 000 сторінок. Приберіть їх з індексації: пошуковик все одно їх не проиндексирует, а вони тільки погіршать якість сайту. Не забудьте виключити ці сторінки з XML-карти.
Як автоматично оновлювати XML-карти
Якщо у вас сайт на 100 000 сторінок, як постійно відстежувати: чи треба додати або виключити сторінку з XML-карти?
XML-карти не зобов'язані бути статичними файлами або мати розширення .xml. використовуйте автоматичний генератор XML-карт .
У генераторі ви можете задати правила, за якими сторінка потрапить в XML-карту або їй присвоїти "noindex, follow". Повертаючись до нашого прикладу: як тільки ви збільшите опис з 50 слів до 200, сторінка автоматично потрапить в XML-карту і їй присвоїти вже "index, follow".
Як створити XML-карту для відео
У Яндекса є інструкція , як це зробити. Якщо у вас багато відеоматеріалів і ви використовуєте власний плеєр, вам слід проіндексувати.
Що в підсумку:
- Користуйтеся XML-картами. Вони допомагають пошуковим системам краще зрозуміти структуру вашого сайту.
- Робіть сайт для людей, а не пошукових систем. Продумайте дизайн, створюйте актуальний контент.
- Акуратно працюйте з robots.txt і мета-тегами robots. Не відправляйте пошуковик на заблоковані сторінки.
- Зрозумійте, які сторінки цільові, а які - допоміжні. Цільові Індексуйте, допоміжні закривайте в robots.txt або за допомогою "noindex, follow".
- Використовуйте в пошуковику «site: search», щоб побачити всі індексовані сторінки. Виявити допоміжні сторінки, додайте їх в robots.txt або пропишіть "noindex, follow".
- Створюйте кілька XML-карт, щоб виявити проблеми з індексацією.
- Використовуйте XML-генератори для створення динамічних XML-карт.
- Використовуйте XML-карти для відео.
Бажаємо успіхів!
за матеріалами moz.com
Навіщо пошуковику відправляти відвідувача на такий сайт?Як знайти непроіндексовані сторінки?