תכנים משוכפלים והשלכותיהם אל מול מנועי החיפוש

אחת הסוגיות הרגישות להם מוכרחים להקדיש תשומת לב ראויה בבואנו לקדם אתר אינטרנט הינה סוגיית התכנים המשוכפלים. מנועי החיפוש מגדירים תכנים משוכפלים כתכנים אשר התפרסמו כבר בעבר באתרי אינטרנט שונים. האלגוריתם של גוגל הינו אלגוריתם חכם ומתוחכם ובאפשרותו לגלות אם התוכן שפרסמתם באתרכם הינו תוכן משוכפל שפורסם כבר באתר אחר. תופעה נוספת בה מנסים מנועי החיפוש להילחם היא שכפול אתרים, כלומר רישום כתובות אינטרנט שונות המכילות בעצם את אותו אתר תוכן. ההשלכה המיידית של איתור תכנים משוכפלים על ידי גוגל היא פסילת האתר ואיפוס הדירוג שלו. המטרה של שיטה זו היא לעודד תכנים מקוריים ולהילחם בתופעות של ספאם והעתקת תכנים.

ועם זאת, קיימים מקרים ספציפיים בהם שיכפול תוכן הינו לגיטימי ומקובל (למשל: שיכפול תוכן בתוך אותו אתר, שיכפול תוכן בתוך קבוצת אתרים מקושרים השייכים לאותה חברה או קבוצה ועוד).

קיימות מספר דרכים להימנע מההשלכות ומהעונשים החמורים של מנועי החיפוש בגין שיכפול תוכן מוצדק. טיפול נבון ב Robots הוא אחת השיטות היעילות להימנע מענישה כזו. Robots הם בעצם פקודות של מנועי החיפוש (מכונים לעיתים "עכבישים") הסורקים את כל העמודים והקישורים באינטרנט ומאנדקסים אותם בצורה נוחה ויעילה.

תג המטא noindex מונע מהרובוטים לאנדקס את העמוד הספציפי אליו הוכנס הקוד. אם אתם חושדים בכך שאותם Robots יזהו עמוד ספציפי באתרכם כעמוד המכיל תוכן משוכפל, תוכלו להכניס לקוד של העמוד את הפקודה הזו, שתמנע אינדוקס של העמוד במנועי החיפוש. מקדמי אתרים משתמשים לעתים רבות בפקודה הזו כדי להימנע מההשלכות החמורות של פסילת אתר על ידי מנועי החיפוש מחשד לתכנים משוכפלים.

תא המטא nofollow מונע מהרובוטים לעקוב אחר קישורים יוצאים, ויכול לסייע במקרים בהם אתם מקשרים לאתרים שהתוכן שלהם הוא לא בשליטתכם (לדוגמה: פורומים, בלוגים וכו').

Robots.txt הינו קובץ המצוי בספריית השורש של האתר. הקובץ הזה מכיל פרטים אודות קבצים אותם אתם מבקשים שהרובוטים של מנועי החיפוש לא יסרקו.

סוגיית התכנים המשוכפלים הינה סוגיה רגישה אליה מומלץ לגשת בזהירות. תכנים משוכפלים יכולים להיות הרי אסון עבור אתרי אינטרנט, ולכן מומלץ לנהוג בקפידה ובזהירות רבה כאשר אתם באים להתעסק בתחום.