Impactul conținutului duplicat asupra vizibilității în căutările AI

Microsoft a oferit recent noi îndrumări cu privire la conținutul duplicat, concentrându-se pe impactul acestuia asupra căutărilor alimentate de AI. Postarea de pe blogul Bing Webmaster discută despre care URL servește drept „pagina sursă” pentru răspunsurile AI atunci când există mai multe URL-uri similare.

Compania explică modul în care paginile „aproape duplicate” pot fi grupate împreună de sistemele AI și cum acest grupaj poate influența care URL este extras în rezumatele AI.

Modul în care sistemele AI gestionează duplicatele

Fabrice Canel și Krishna Madhavan, manageri de produs la Microsoft AI, au declarat:

„LLM-urile grupează URL-uri aproape duplicate într-un singur cluster și apoi aleg o pagină pentru a reprezenta setul. Dacă diferențele dintre pagini sunt minime, modelul poate selecta o versiune care este învechită sau nu este cea pe care ai intenționat să o evidențiezi.”

Dacă mai multe pagini sunt interschimbabile, pagina reprezentativă ar putea fi un URL de campanie mai vechi, o versiune cu parametrii sau o pagină regională pe care nu ai intenționat să o promovezi.

Microsoft subliniază, de asemenea, că multe experiențe LLM se bazează pe indecșii de căutare. Dacă indexul este afectat de duplicate, aceeași ambiguitate poate apărea și în răspunsurile AI.

Modurile în care duplicatele pot reduce vizibilitatea AI

Microsoft detaliază mai multe moduri prin care duplicarea poate interfera cu vizibilitatea. Unul dintre acestea este claritatea intenției. Dacă mai multe pagini abordează același subiect cu texte, titluri și metadate aproape identice, este mai greu de determinat care URL se potrivește cel mai bine unei cereri. Chiar și atunci când pagina „corectă” este indexată, semnalele sunt împărțite între paginile asemănătoare.

Un alt aspect este reprezentarea. Dacă paginile sunt grupate, concurezi efectiv cu tine însuți pentru a determina care versiune reprezintă grupul.

Microsoft face distincția între diferențierea reală a paginilor și variantele cosmetice. Un set de pagini poate avea sens atunci când fiecare satisface o nevoie distinctă. Dar atunci când paginile diferă doar prin modificări minore, este posibil să nu aibă suficiente semnale unice pentru ca sistemele AI să le trateze ca pe candidați separați.

În cele din urmă, Microsoft leagă duplicarea de întârzierile în actualizare. Dacă crawler-ele petrec timp revizitând URL-uri redundante, modificările la pagina care te interesează cu adevărat pot dura mai mult pentru a apărea în sistemele care depind de semnalele de indexare proaspete.

Categoriile de conținut duplicat evidențiate de Microsoft

Îndrumările subliniază câțiva infractori recidiviști. Syndication este unul dintre ele. Atunci când același articol apare pe mai multe site-uri, copiile identice pot face mai greu de identificat originalul. Microsoft recomandă partenerilor să folosească canonical.

Paginile de campanie sunt un alt exemplu. Dacă creezi mai multe versiuni care vizează aceeași intenție și diferă doar ușor, Microsoft recomandă alegerea unei pagini principale care să colecteze linkuri și angajamente, apoi utilizarea canonical.

Localizarea apare în același mod. Pagini regionale aproape identice pot părea duplicate, cu excepția cazului în care includ diferențe semnificative. Microsoft sugerează localizarea cu modificări care contează, cum ar fi terminologia, exemplele, reglementările sau detaliile produsului.

Apoi există duplicatele tehnice. Îndrumările enumeră cauze comune, cum ar fi parametrii URL, versiunile HTTP și HTTPS, URL-urile cu litere mari și mici, slash-urile finale, versiunile prietenoase cu imprimantele și paginile accesibile public.

Rolul IndexNow

Microsoft subliniază IndexNow ca o modalitate de a scurta ciclul de curățare după consolidarea URL-urilor. Când fuzionezi pagini, schimbi canonice sau elimini duplicate, IndexNow poate ajuta motoarele de căutare participante să descopere aceste modificări mai repede. Microsoft leagă această descoperire mai rapidă de un număr mai mic de URL-uri învechite care persistă în rezultate și de mai puține cazuri în care un duplicat mai vechi devine pagina utilizată în răspunsurile AI.

Principiul de bază al Microsoft

Canel și Madhavan au scris:

„Când reduci paginile care se suprapun și permiți unei singure pagini să reprezinte conținutul tău, motoarele de căutare pot înțelege mai bine intenția ta și pot alege URL-ul corect pentru a reprezenta conținutul tău.”

Mesajul este consolidarea mai întâi, semnalele tehnice pe locul doi. Canonical-urile, redirecționările, hreflang și IndexNow ajută, dar funcționează cel mai bine atunci când nu menții un număr mare de pagini aproape identice.

De ce este important

Conținutul duplicat nu este o penalizare în sine. Dezavantajul este vizibilitatea mai slabă atunci când semnalele sunt diluate și intenția este neclară. Articolele syndicate pot continua să depășească originalul dacă canonical-urile lipsesc sau sunt inconsistente. Variantele de campanie pot să se canibalizeze reciproc dacă „diferențele” sunt în mare parte cosmetice. Pagini regionale pot să se amestece dacă nu servesc clar nevoi diferite.

Auditurile de rutină pot ajuta la identificarea suprapunerilor devreme. Microsoft indică Bing Webmaster Tools ca o modalitate de a observa tipare, cum ar fi titluri identice și alte indicii de duplicare.