1. Чому дублі сторінок погано впливають на ранжування сайту?
2. Звідки беруться дублі?
3. Як знайти дублі сторінок?
4. Як усунути дублі сторінок?

Дубль сторінки - це ще одна копія сторінки сайту, аналогічна за змістом і наповненням. Виділяють два види дублів:

1. Повний дублікат сторінки - коли вміст повністю ідентично;
2. Частковий дублікат - коли наповнення сторінки по більшою мірою однакове, але є окремі різні елементи.

Чому дублі сторінок погано впливають на ранжування сайту?

Пошукові системи сприймають ці сторінки, як окремі сторінки сайту, тому їх наповнення через дублювання інформації перестає бути унікальним. Крім того, знижується контрольний вагу сторінки, якщо вона має дубль. Невелика кількість дубльованих сторінок може не стати великою проблемою, проте якщо їх більше 50% - вам терміново потрібно виправляти ситуацію.

Звідки беруться дублі?

Найпоширеніша причина - це генерація дублів сторінок системою управління через неправильні налаштування. Найвідоміший приклад - CMS Joomla, з проблемою дублів на ній доводиться стикатися мало не на кожному сайті.

Часткові дублі часто зустрічаються на сайтах інтернет-магазинів:

• Вони можуть з'являтися на сторінках пагінацію, якщо ті містять однаковий текст, змінюючи лише товари;
• Неправильні налаштування фільтра за каталогом можуть породжувати часткові і повні дублі;
• Сторінки карток товарів можуть стати дублікатами, якщо товар, наприклад, відрізняється лише кольором або розміром (для таких товарів потрібно робити одну картку із зазначенням всіх характеристик).

Як знайти дублі сторінок?

Є кілька способів пошуку дублікатів сторінок, кожен з яких може дати різні результати.

1. Деякі поширені варіанти дублів можна перевірити вручну.

• Налаштована головне дзеркало сайту (чи доступний він з www і без www);
• Чи є нечіткі дублі зі / і без / на кінці url;
• Наявність дублів з index.html, index.asp, index.php в кінці url;
• Доступність сторінки з буквами як в нижньому, так і в верхньому регістрі, також породжує дублі.

2. Проаналізувати сторінки, проіндексовані пошуковими системами.

Для цього в Google досить ввести запит site: mysite.com - він покаже сторінки загального індексу, тобто все, що пошуковик встиг проіндексувати на сайті.

3. Пошук за фрагментом тексту

Вбиваючи в пошук довгі фрагменти тексту, можна знайти місця, де він повторюється (а заодно і сайти, які скопіювали ваш текст). Але тут є два мінуси: метод підходить, якщо на сайті мало сторінок, і те, що пошукова система може аналізувати запит до певної довжини.

4. Заглянути в панель вебмастера Google

У розділі «Вид в пошуку» знаходимо вкладку «оптимізація HTML» і шукаємо значення поля «повторюються метаописания» і «Що повторюються заголовки». Натиснувши на них, можна побачити список всіх сторінок з повторюваними тегами title і description і самі заголовки та описи.

5. Скористатися програмою Xenu`s Link Sleuth

Програма поширюється безкоштовно і здатна визначити url всіх сторінок сайту, включаючи скрипти і картинки, а також зовнішні посилання. Крім дублікатів в ній зручно шукати биті посилання - сторінки, які повертають код 404.

Як усунути дублі сторінок?

Для цього існує 4 дієвих способу, найжорсткішими з яких. На нашу думку, є перші два.

1. Ручне видалення

Це можна зробити на невеликих сайтах, гарненько розібравшись в своїй системі управління і зробивши правильні настройки, щоб запобігти подальшому появу дублікатів сторінок.

2. Налаштування 301 редиректу

301 редирект - це постійне перенаправлення користувачів з однієї сторінки на іншу, що призводить до їх склеювання. Він дозволяє передати сторінці до 99% посилального ваги, як внутрішнього, так і зовнішнього.

З приводу використання 301 редіректу написані цілі мануали. Тому тут ми коротко наведемо найпотрібніші для усунення дублів. Налаштовується він або через файл .htaccess в кореневій директорії сайту, або через програмний код.

Щоб налаштувати головне дзеркало, необхідно прописати наступний код:

1 - для редиректу з www на без www

RewriteCond% {HTTP_HOST} ^ www.site.com $ [NC] RewriteRule ^ (. *) $ Http://site.com/$1 [R = 301, L]

2 - для редиректу з без www на з www

RewriteCond% {HTTP_HOST} ^ site.com $ [NC] RewriteRule ^ (. *) $ Http://www.site.com/$1 [R = 301, L]

Щоб склеїти нечіткі дублі зі / і без нього, скористайтеся кодом:

1 - прибрати слеш

RewriteCond% {HTTP_HOST} (. *) RewriteCond% {REQUEST_URI} / $ [NC] RewriteRule ^ (. *) (/) $ $ 1 [L, R = 301]

2 - додати слеш

RewriteCond% {REQUEST_FILENAME}! -F RewriteCond% {REQUEST_URI}! (. *) / $ RewriteRule ^ (. * [^ /]) $ $ 1 / [L, R = 301]

Постранічний редирект виглядає так:

Redirect 301 /oldpage.html http://www.site.com/newpage.html

Для формування більш складних редиректів потрібно скористатися правилами. Існують спеціальні сервіси, де можна згенерувати код для настройки редиректу за певним шаблоном:

3. Використовувати Rel = "Canonical"

Цей варіант краще використовувати в разі часткових дублів, так як неканонічна сторінка при цьому не видаляється фізично з сайту і доступна користувачам.

Для того, щоб налаштувати канонічні url, в коді сторінок в блоці head прописується посилання:

«Link rel =" canonical "href =" http://site.com/kopiya "/"

4. Налаштування Robots.txt

Також дієвий спосіб, але видалити вже проіндексовані дублікати таким чином буде складно.

За допомогою директиви Disallow вказуються всі адреси і їх типи, на які роботам пошукових систем не варто заходити для індексації. наприклад:

User-agent: Yandex

Disallow: / index *

- говорить про те, що пошуковому боту Яндекс не варто заходити на сторінки, url яких містить index.

Знайти і усунути всі дублікати - основне завдання на перших етапах просування сайту, інакше можна взятися просто не за ті сторінки, і довго шукати проблему.

повернутися