Robots.txt

A robots.txt egy szöveges fájl a weboldal gyökerében, amelyet weboldal tulajdonosa létrehozhat annak érdekében, hogy a keresőrobotokkal kommunikáljon. A robots.txt fájl információkat tartalmaz arról, hogy melyik tartalom a keresőmotorok számára látható, illetve mely tartalmakat nem szeretnénk feltérképezni és ezáltal indexelni. Az így létrehozott robots.txt fájl az első dokumentum, amelyet a keresőmotorok általánosan letöltenek amikor meglátogatják az adott weboldalt.

A robots.txt fájl hasznos eszköz az oldal tulajdonosainak, mivel lehetővé teszi a keresőmotoroknak, hogy jobban megértsék, hogy mely oldalak számára legyenek feltérképezve, és mely oldalakat hagyjanak figyelmen kívül.

A robots.txt a feltérképezési költségkeret optimalizálására is szolgál, mert korlátozza a keresőmotor oldallátogatásának számát a webhely böngészése során. A lényeg az, hogy mivel a keresőkben sincs korlátlan erőforrás, ezért szükségük van valamilyen rendszerre. Itt két tényező kell figyelmebe vennünk: a feltérképezési korlátot és a feltérképezési igényt.

Azonban fontos megjegyezni, hogy a robots.txt fájl nem teljesen megbízható eszköz, és a keresőmotorokat nem lehet minden esetben megakadályozni az oldal tartalmának indexelésében. A legtöbb keresőmotor együttműködik a robots.txt fájllal, de ha valami miatt az oldal tulajdonosa nem szeretné, hogy az adott tartalom nyilvános legyen, akkor azon kívül is alkalmazni kell megfelelő védelmi intézkedéseket, mint például a jelszóval védett oldalak vagy az erős hitelesítési folyamatok.

Az alábbi példában egy webshop robots.txt fájl tartalma, ahol többek között tiltjuk a kosár tartalmát, regisztrációs oldalakat, profil oldalakat, különböző paraméterek mentén létrejött listaoldalakat és egyéb feltételek alapján létrejött oldalakat:

User-agent: *
Disallow: /admin/
Disallow: /script/
Disallow: /api/
Disallow: /action/
Disallow: /*?priceMax
Disallow: /*?priceMin
Disallow: /*?parameterId
Disallow: /*?order
Disallow : /*?availabilityId
Disallow: /*?manufacturerId
Disallow: /*?stock
Disallow: /*?pv*=*,
Disallow: /*&pv*=*,
Disallow: /*?pv*=*&pv*=
Disallow: /*&pv*=*&pv*=
Disallow: /*:*,*/
Disallow: /*?currency=
Disallow: /*/?backTo=
Disallow: /*?dd=*,
Disallow: /*&dd=*,
Disallow: /*?dd=*&pv*=
Disallow: /*?pv*=*&dd=
Disallow: /kereses/
Disallow: /kosar/
Disallow: /login/
Disallow: /regisztracio/
Disallow: /client/forget-password/
Disallow: /affiliate-registration/
Disallow: /affiliate-forget-password/
Disallow: /*:discussion
Disallow: /*:question
Disallow: /*:watch-price
Disallow: /*:rating
Disallow: /*:wysiwyg

Sitemap: https://www.abcd.hu/sitemap.xml

Minden szerkesztői rendszer vagy weboldal más felépítést használ, és a Robots.txt-nek mindenképp az adott sturktúrához kell igazodnia.  A robots.txt konfiguráció segít abban, hogy a feltérképező költségkeretet ne használjuk szükségtelenül, és a robotok azokra az oldalakra tudjanak összpontosítani, amelyek hozzáadott értéket képviselnek, és amelyekre szeretnénk jobb eredményeket elérni a lehető leghamarabb.

Egy rosszul konfigurált robots.txt a fontos oldalak böngészésének blokkolásához vezethet, de megléte nem közvetlen rangsorolási tényező