Binnen een weekje of 2 is mijn blog 6 maand online en dat moet natuurlijk gevierd worden. Hoe? Dat is nog een beetje de vraag maar ik wou alvast nog eens een post doen over de zoekmachine spiders. Sedert het opstarten van mijn blog heb ik het aantal en vooral ook welke spiders mijn blog bezoeken opgemeten en probeer ik wat te analyseren wat er uit volgt.
Na 6 maanden track ik nog steeds alle zoekmachine spiders op mijn blog en ik plan het ook te blijven doen voor een lange tijd. Het is gewoon interessant. Wil je ook zoekmachine spiders tracken op jouw WordPress blog? Ik heb er een grote post overgeschreven verdeeld in 2 delen:
- Analyse zoekmachine en spider tracking met Google Analytics deel 1
- Iets diepere analyse specifiek tussen de zoekmachine spiders deel 2
Na 4 maanden spiders tracken met Google Analytics, heb ik de boel nog eens geanalyseerd om te zien of er iets veranderd was.
Spiders en indexing in het algemeen
Het valt met op, wanneer ik ieder dag inlog in mijn stats, dat het aantal spider bezoeken steeds toenemen t.o.v. de maand ervoor. Iedere dag zie ik een groene positieve trend. De vraag is een beetje hoe dat precies komt. Ik post niet meer dan enkele maanden geleden, maar ik merk wel op dat mijn blog heel wat sneller geïndexeerd wordt dan vroeger, mijn homepage althans.
Overlaatst zag ik al na 6 minuten mijn homepage met de nieuwe content tussen de zoekresultaten in Google staan. Ik kan je alvast 1 goede tip geven: post regelmatig en tussen bepaalde uren!
Het valt op als ik een post lanceer tussen bepaalde tijdstippen, dat de indexering héél snel gebeurd. Of dat nu door het regelmatige patroon is waarop ik post en op het tijdstip kan ik niet goed zeggen maar ik merk wel op als ik later op de avond post, stel na 22u, dan mag ik het vergeten en dan merk ik geen indexatie op van mijn homepage. Je zou dus kunnen afleiden dat Google de spider op je afstuurt gemiddeld op het uur wanneer jij meestal iets post.
Via Ping kan dit niet zijn want anders zou de homepage na het posten om 22u ook geïndexeerd worden en dat was/is niet zo.
Google index spider en Google cache spider?
Bovenstaand weetje kan leiden tot een gok : Ik weet dat Google spiders meerdere pagina’s per bezoek doorzoeken terwijl andere spider bots het niet doen. Je zou kunnen zeggen dat er, en ik vermoed dat het effectief zo is, enkele spiders zijn voor het indexeren en die doorgeven aan de tragere spiders om te boel te gaan ophalen voor de cache wanneer ze tijd hebben. Vermoedelijk zit er nog een soort systeem in qua hiërarchie om de volgorde in websites voor caching te bepalen maar ik denk aan zo’n stramien.
Zeker ben ik er niet van, het zou 1 van de theorieën kunnen zijn.
Zoekmachine spiders evenredig met visits per post?
Zoekmachine spider bezoeken evenredig met bezoekers posts?
Een hele tijd was het aantal spider bezoeken relatief eentonig maar zoals je ziet steekt er een piek in de grafiek. Handig, want nu weet ik precies wat dit wil zeggen. Het toont aan dat de post van die dag blijkbaar héél interessant was voor de zoekmachines. Ik weet precies welke post het is en toch zijn er enkele zaken die ik mij afvraag. Het is namelijk een post met een testimonial die ik had geschreven toen ik veranderde van GSM provider. Ik wist dat de provider op zich redelijk hot was maar dat het een piek zou opleveren in de stats totaal niet.
- Wil dit zeggen dat het aantal spider bezoeken evenredig is met het aantal bezoekers voor die post?
- Is de content misschien gewoon veel actueler en een hot item?
- Veel comments op een post, is dat een reden voor zoekmachine spiders om veel te crawlen?
Ik vermoed dat het allemaal een beetje met elkaar samenhangt. Als het een interessante post is en in dit geval was het een toch wel redelijk hot topic, dan zal de rest er wel uit volgen. Een goede post met een beschreven hot topic zal automatisch veel bezoekers lokken (mits de juiste kanalen voor verspreiding van de content) en reacties. Alhoewel het niet de post is waar ik het meeste reacties op kreeg, bleek de post in kwestie de moeite te zijn om veel te crawlen.
Kunnen we concluderen dat het aantal spider bezoeken afhangt van het aantal bezoeken per post? Nee! Ik heb andere topics die veel meer bezoekers lokken en deze pieken niet. Zou het kunnen dat ze plots een grote piek zien in verkeer naar het blog en zo beslissen de spiders op je blog los te laten en gulzig te laten screenen? Waarschijnlijk wel want de post in kwestie heeft het grootste aantal unieke bezoekers per dag in die 6 maand dat mijn blog online is gegooid.
Yahoo spiders vs Google spiders
Het is nog steeds zo dat de Yahoo spiders meer op bezoek komt dan de Google spiders en dat zal vermoedelijk niet veranderen in de eerst komende 2 jaar. Gokken dat Bing hiervoor iets tussen zit is zeker het geval maar wat mijn opviel is dat plots een andere bot is die het meeste bezoeken op zich neemt. Baidu, de Chinese spider, staat in de rij voor Yahoo en Google maar aan de top staat een onbekende spider. Geen flauw idee van wie deze kan zijn, jammergenoeg!
Laat ik even dieper op de post van de piek ingaan.
Bing spiders in opmars?
Opvallend staat MSN na de ongekende spider. Dat bewijst dat Bing wel degelijk een inhaalmanoeuvre aan het doen is? Ongeveer 2 maanden geleden dook de Bing spider (waarom heeft deze nog de naam MSN eigenlijk?) op in mijn stats. Ervoor kwam de spider niet eens ter sprake. Het was gokken of Bing de Yahoo spiders zou inzetten om hun inhaalmanoeuvre te activeren maar nu ik die MSN bot zie opduiken, kan ik alleen maar bevestigen dat Bing hard aan de weg aan het timmeren is.
Het vreemde is dat de MSN spider over het algemeen ergens middenin de rij van spiders komt te staan als we de rij sorteren op het aantal bezoekers. Niets speciaals aan op te merken maar bij de post waar de stats pieken wordt er toch iets duidelijk. Dit zou wel eens een bevestiging kunnen zijn dat Bing inderdaad longtail keyword search niet aankan.
Enkele weken geleden gaf Bing toe dat het niet goed zijn in de long tail theorie. Bing is nog steeds niet populair bij Europeanen. Niet alleen omdat ze te hard focussen op hun Amerikaanse publiek alleen maar ook door het feit dat Bing niet echt sterk is in relevante links. Een tijdje geleden heeft Bing de fout gemaakt te oppervlakking om te gaan met ranken van websites. Bing rankt eerder op populariteit en niet op relevantie. Dit zou kunnen aantonen dat de MSN bot zo actief is op die ene post die piekt in de stats. Een plotse populaire boost die Bing opmerkt maar de relevantie ervan in het long tail verhaal niet kan interpreteren en verwerken tot relevante content bij zoekopdrachten.
Bing die zich voornamelijk focust op populairiteit (wat ook blijkt uit jouw statistieken). Blijkbaar heeft Bing wel een goede methode om de populariteit vast te stellen, wat me bijna doet denken dat Bing zelf nauwelijks rankt, maar voornamelijk naar anderen kijkt.
[Reageer op deze comment]
Dries Bultynck Reply:
april 27th, 2010 at 18:04
@Leendert, interessante opmerking Leendert! Ik ben vooral benieuwd wat ze zullen winnen aan location-based als ze zo goed zijn in populariteit. Als er iets kan gekoppeld worden met populaire dingen dan zijn het meestal wel evenementen, opstanden, rellen, you name it… bijna alles location-based.
[Reageer op deze comment]