[شرح] خلي عناكب ديموز وتوبكس تعشش في موقعك

[Mando]

بسم الله الرحمن الرحيم

( .com%2Fredirector.php%3Furl%3D ww.scoutjet.com%252F)

قم بزيارة الموقع اولا

هذه عناكب جديدة قام بانشائها فريق ديموز وتوبكس

وهذه العناكب مفيدة جدا في الأرشفة حيث ان مطوري العناكب يقومون

باخذ افضل صفحات في موقعك ويضيفونها في محركات البحث التابعة لهم

والخبر موجود في مدونتهم

( .com%2Fredirector.php%3Furl%3D ww.skrenta.com%252F2008%252F01%252Fwhy_search.html )
( .com%2Fredirector.php%3Furl%3D ww.marksonland.com%252F2007%252F09%252Fmoving_day_ 1.html)
( .com%2Fredirector.php%3Furl%3D ww.techcrunch.com%252F2008%252F01%252F02%252Fthe-next-google-search-challenger-blekko%252F)

والحين طبق ما اقوله

( .com%2Fredirector.php%3Furl%3D ww.uoo1.com%252Frobots.txt)

تروني مطبقها

# Allow only specific directories
User-agent: ScoutJet

واضا اردت ان تقوم بمنع العناكب من أرشفة موقعك ضع Disallow:

وبالتوفيق انشاء الله