EnderUNIX Team.


EnderUNIX İpucu

Arkadaşıma gönder , Ana Sayfa

[ Güvenlik ]

"Arama motorlarının örümceklerini sınırlama" - Huzeyfe Önal - (2004-06-18 14:31:30)   [3378]

Arama motorları spiderlar aracılığı sitenizi indexleyerek arandığında daha kolay bulunabilmesini sağlıyorlar,fakat sitenizin bazı bölümlerini açığa çıkarmak istemeyebilirsiniz. Bunun için birkaç yönerge kullanacağız size uygun olanını kullanabilirsiniz.

İlk olarak sitemizin bulunduğu ana dizinde arama motorlarının sitenize uğradığında baktığı robots.txt dosyasını oluşturalım.robots.txt dosyası arama motorlarının uyması gereken kuralların yazılı olduğu dosyanın ismidir.


dosyanın yapısı oldukça basittir topu topu 2 adet parametre ile çalışır.
Bunlardan biri User-agent: diğeri de Disallow: dur
User-agent ile hangi arama motorlarının sitemizi indexleyebileceğini belirtmiş oluruz,Disallow ile de hangi dizinleri ya da dosyaları indexlememesini istediğimizi bildiririz.

Örnek 1:
Tüm arama motoru robotlarının sitenizin tümünü indexlemesine izin vermek için


User-agent: *
Disallow:


Örnek 2:
Tüm arama motorlarının sitenizin hiçbiryerini indexleyememesini sağlamak için


User-agent: *
Disallow: /


Örnek 3
google ara motorunun sitemizin belirli bölümlerini indexlememesini sağlamak için


User-agent: googlebot
Disallow: /cgi-bin/
Disallow: /resimler/
Disallow: askim.html


Arkadaşıma gönder , Ana Sayfa