Mi a crawl és az indexelés?

A crawl vagy feltérképezés az a folyamat, amely során a keresőmotor rendszere linkek vagy sitemapek alapján eléri az URL-eket és megpróbálja feldolgozni az ott található tartalmat. Az indexelés ezzel szemben annak eldöntése, hogy a feltárt oldal alkalmas-e arra, hogy a keresőmotor a saját kereshető állományába felvegye, amihez technikai hozzáférhetőség és megfelelő tartalmi minőség szükséges.