תג המטה robots אומר בעצם למנוע חיפוש איך הוא אמור לקרוא את הדף ומה לעשות איתו כלומר לשמור\לאנדקס את הדף, לשמור העתק במטמון של המנוע חיפוש או לעקוב אחרי הקישורים ולהעביר להם נתח מה pr flow שלך.
התג לא אמור חלילה להכיל מילות מפתח של הדף והיעד שלו שונה לגמרי, ובחיים לא יצא לי לבדוק מה קורה עם התג יכיל מילות מפתח- תיאור שלי אולי עונש או אולי התעלמות[באמת מעניין מה זה אומר לגמי המילות חיפוש]
ה4 ערכים המרכזיים שבדרך כלל נמצאים בתג הם:
NOINDEX\INDEX כלומר האם לשמור את הדף או לא
NOFOLLOW\FOLLOW כלומר האם לחלק לקישורים בדף נתח מה pr flow
אלו ה4 המרכזים נוספים יש בטבלה מסודרת בקישור פה:
http://goo.gl/WRXWA
בדרך כלל אין צורך להשתמש בתג הזה אבל במקרה שהוא קיים לך במערכת ואתה לא יכול לבטל אותו תשתמש בערכים הדפולדים שהם index follow
