Datoteka robots.txt koja je sačuvana u korenu vaše web stranice će reći web robotima poput pauka pretraživača koji direktorijumi i datoteke imaju za puzanje. Lako je koristiti datoteku robots.txt, ali postoje neke stvari koje treba zapamtiti:
- Robotovi za crne šape će ignorisati datoteku robots.txt. Najčešći tipovi su botovi malvera i roboti koji traže adrese e-pošte za žetvu.
- Neki novi programeri će pisati robote koji ignorišu datoteku robots.txt. To se obično vrši greškom.
- Svako može videti vašu robots.txt datoteku. Uvek se zovu robots.txt i uvijek se čuvaju u korenu web stranice.
- Najzad, ako se neko povezuje sa datotekom ili direktorijumom koji je robots.txt isključen sa stranice koja nije isključena od strane njihove datoteke robots.txt, pretraživači će ga moći naći u svakom slučaju.
Nemojte koristiti datoteke robots.txt da sakrijete bilo šta važno. Umesto toga, trebalo bi da stavite važne informacije iza sigurnosnih lozinki ili ih u potpunosti ostavite sa weba.
Kako koristiti ove uzorke datoteka
Kopirajte tekst iz uzorka koji je najbliži onome što želite da uradite i zalepite je u datoteku robots.txt. Promenite imena robota, direktorijuma i datoteka kako biste podesili željenu konfiguraciju.
Dva Basic Robots.txt fajlova
Korisnički agent: *
Disallow: /
Ova datoteka kaže da svaki robot (User-agent: *) koji pristupa treba ignorisati svaku stranicu na stranici (Disallow: /).
Korisnički agent: *
Disallow:
Ova datoteka kaže da je svakom robotu (User-agent: *) koji pristupa njemu dozvoljeno da vidi svaku stranicu na stranici (Disallow:).
Takođe možete učiniti tako što ostavite datoteku robots.txt praznom ili uopšte nemate jednu na vašoj web lokaciji.
Zaštitite specifične direktorijume od robota
Korisnički agent: *
Disallow: / cgi-bin /
Disallow: / temp /
Ova datoteka kaže da svaki robot (User-agent: *) koji pristupa treba da ignoriše direktorijume / cgi-bin / i / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Zaštitite određene stranice od robota
Korisnički agent: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
Ova datoteka kaže da svaki robot (User-agent: *) koji pristupa njemu treba da ignoriše datoteke /jenns-stuff.htm i /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Sprečite određenom robotu da pristupa vašem sajtu
Korisnički agent: Lycos / xx
Disallow: /
Ova datoteka kaže da Lycos bot (User-agent: Lycos / xx) nije dozvoljen pristup bilo kojem mjestu na stranici (Disallow: /).
Dozvolite samo jedan specifičan robotski pristup
Korisnički agent: *
Disallow: /
Korisnički agent: Googlebot
Disallow:
Ova datoteka prvo onemogućava sve robote kao što smo već uradili, a zatim eksplicitno omogućuje Googlebot (User-agent: Googlebot) da ima pristup svemu (Disallow:).
Kombinujte više linija da biste upravo dobili Isključene izuzetke
Iako je bolje koristiti veoma inclusive liniju za korisnike, kao što je User-agent: *, možete biti toliko specifični koliko želite. Zapamtite da roboti čine datoteku redom. Dakle, ako u prvim redovima kažu da su svi roboti blokirani od svega, a kasnije u fajlu piše da su svim robotima dozvoljeni pristup svemu, roboti će imati pristup svemu.
Ako niste sigurni da li ste pravilno napisali datoteku robots.txt, možete koristiti Google alatke za vebmastere da biste provjerili datoteku robots.txt ili napisali novu.