Crawling
Crawling (Web-Datenextraktion, Web Scraping, Screen Scraping) ist die Identifizierung, je nach Crawlbarkeit, wenn die robots.txt Datei es zulässt, von öffentlich zugänglichen Webseiten durch einen Webcrawler (Crawler, Suchroboter, Spider-Software, Web Crawling Software, Web Crawler Tool), bekannt ist der googlebot, googlebot-mobile, Yahoo! Slurp, bingbot, Apple Bot, DuckDuck Bot, Baidu Spider, Sogou Spider, Facebook External Hi, um den Inhalt der Website durch Folgen der internen Links zu speichern, indexieren, analysieren, die Informationen in einen Index aufzunehmen, zu sortieren und in den Suchmaschinenergebnissen anzuzeigen.
