[شرح] خلي عناكب ديموز وتوبكس تعشش في موقعك

[Mando]

بسم الله الرحمن الرحيم

[عزيزي الزائر يتوجب عليك التسجيل للمشاهدة الرابطللتسجيل اضغط هنا]]] >
قم بزيارة الموقع اولا

هذه عناكب جديدة قام بانشائها فريق ديموز وتوبكس

وهذه العناكب مفيدة جدا في الأرشفة حيث ان مطوري العناكب يقومون

باخذ افضل صفحات في موقعك ويضيفونها في محركات البحث التابعة لهم

والخبر موجود في مدونتهم

[عزيزي الزائر يتوجب عليك التسجيل للمشاهدة الرابطللتسجيل اضغط هنا]]] > [عزيزي الزائر يتوجب عليك التسجيل للمشاهدة الرابطللتسجيل اضغط هنا]]] > [عزيزي الزائر يتوجب عليك التسجيل للمشاهدة الرابطللتسجيل اضغط هنا]]] >
والحين طبق ما اقوله

[عزيزي الزائر يتوجب عليك التسجيل للمشاهدة الرابطللتسجيل اضغط هنا]]] >
تروني مطبقها

# Allow only specific directories
User-agent: ScoutJet

واضا اردت ان تقوم بمنع العناكب من أرشفة موقعك ضع Disallow:

وبالتوفيق انشاء الله