Indexelés
Az indexelés a keresőmotorok azon folyamata, amely során a weboldal tartalmát feltérképezik és tárolják, hogy megjelenhessen a keresési találatok között.
Feltérképezési költségkeret
A feltérképezési költségkeret a keresőmotorok által egy webhely feltérképezésére fordított erőforrás-mennyiség.
Robots.txt
A robots.txt egy szöveges fájl a weboldal gyökerében, amelyet weboldal tulajdonosa létrehozhat annak érdekében, hogy a keresőrobotokkal kommunikáljon. A robots.txt fájl információkat tartalmaz arról, hogy melyik tartalom a keresőmotorok számára látható, illetve mely tartalmakat nem szeretnénk feltérképezni és ezáltal indexelni. Az így létrehozott robots.txt fájl az első dokumentum, amelyet a keresőmotorok általánosan letöltenek amikor meglátogatják…