Crawling is het proces waarbij zoekmachines of webcrawlers (ook wel robots, spiders genoemd) automatisch internetpagina'sverkennen en informatie verzamelen. Via dit proces begrijpen zoekmachines de inhoud van de vele webpagina's op internet, indexeren ze deze en weerspiegelen ze deze in hun zoekresultaten. Hieronder volgt een gedetailleerde beschrijving van het concept en het proces van crawling.

Het concept van crawling

Webcrawler: De software of bot die crawling uitvoert. Crawlers bezoeken specifieke websites, volgen links en verzamelen en analyseren de inhoud van de pagina's.

Indexering: Het proces waarbij de via crawling verzamelde webpagina-inhoud wordt opgeslagen in de zoekmachine-database. Tijdens dit proces analyseert de zoekmachine de inhoud van elke pagina, de metagegevens, de trefwoorden en de linkstructuur.

Sitemap: Een bestand dat de structuur en pagina's van een website beschrijft. Crawlers raadplegen sitemaps om de pagina's van een website efficiënt te crawlen.

Het proces van crawling

Startpagina: Crawlers beginnen meestal bij een website of rootdomein die al bekend is. Deze pagina wordt als uitgangspunt genomen voor het crawlingproces.

Linkvolging: Crawlers volgen de links op webpagina's en navigeren naar andere pagina's via deze links. Op deze manier wordt het crawlingproces voortgezet door de connecties tussen webpagina's te volgen.

Inhoud verzamelen: Crawlers verzamelen de tekst, afbeeldingen, metagegevens en andere informatie van elke pagina. Deze informatie wordt opgeslagen in de index van de zoekmachine en wordt gebruikt om zoekresultaten te genereren.

Iteratie: Crawlers blijven verschillende pagina's crawlen, ontdekken nieuwe links en verzamelen extra pagina's.

Voorbeelden van crawling

Google-zoekmachine : Google crawlt het hele web om zoekresultaten te genereren. Hiervoor worden verschillende webcrawlers gebruikt en wordt de gecrawlde informatie via het indexeringsproces van Google omgezet in doorzoekbare data.

Niche crawling : Er zijn ook crawlers die gespecialiseerd zijn in een specifiek onderwerp of branche. Voorbeelden hiervan zijn Google Scholar, dat academische artikelen crawlt, en vastgoedwebsites die onroerend goedinformatie crawlen.

Prijsvergelijkingswebsites : Crawlers verzamelen prijsinformatie van online winkels en bieden prijsvergelijkingsdiensten. Zo kunnen gebruikers bijvoorbeeld productinformatie van verschillende online winkels crawlen om het goedkoopste product te vinden.

※ In Korea kan men, wanneer men zoekt op "Naver Shopping", zien dat niet alleen 'Naver', maar ook verschillende andere winkelwebsites hun informatie tonen. Dit is vergelijkbaar met de website "Danawa".

Social media crawling : Openbaar beschikbare informatie op social media kan worden gecrawld om trends te analyseren, marketingstrategieën te ontwikkelen, en meer. Er zijn bijvoorbeeld tools die informatie over specifieke hashtags of onderwerpen op Twitter verzamelen en analyseren.

Crawling is een kerntechnologie die diverse webservices mogelijk maakt, waaronder zoekmachines. Bij het crawlen moet echter rekening worden gehouden met de robotuitsluitingsstandaard (Robots.txt) en de privacyregels van websites.