Analyse Google Analytics tracking van spiders en zoekmachines – deel 2

In een vorige post omschreef ik welke spiders en zoekmachines precies langs komen op mijn blog en mijn visie over hoe de spiders van Google waarschijnlijk werken.

Mocht je deze gemist hebben, kan je hier de eerste analyse van spiders in Google Analytics nog even nalezen. Hoe je de spiders en zoekmachines detecteert in Google Analytics lees je best ook even na als je het zelf wil proberen.

Enfin, tijd voor deel 2 van de analyse. In het tweede deel van de analyse bespreek ik de volgende zaken:

• Verschil tussen de spiders van Google en andere spiders
• Weigeringspercentage in functie van spiders
• Bing aan een opmars bezig?

1) verschil tussen Google en andere spiders

Op het eerste zicht lijkt alles normaal. Na het instellen van het profiel voor de spiders en het lijntje code track je nu alle spiders en zoekmachines in Google Analytics.

Maar er is toch iets wat opvalt bij de spiders van Google ten opzichte van de andere spiders. Laat ik het nu even gewoon over het verschil met Yahoo hebben.

In de eerste honderd resultaten zie ik praktisch enkel de Google spider opduiken op enkele andere spiders na. Baidu staat opvallend op nummer één wat betreft het aantal bezoeken per pagina. De Baidu-spider bezocht maar liefst bijna acht keer meer de homepage van mijn blog ten opzichte van Google’s spider. Wil China zo al content sneller censureren?

Als ik nu even alleen de focus op de homepage leg, valt het ook op dat Yahoo’s bezoeken ongeveer de helft zijn van Google’s bezoeken. Toch een opvallend verschil?!

Als ik nog even verder ga kijken dan de eerste honderd resulaten van het aantal bezoeken per pagina valt het énorme verschil tussen Google en Yahoo op. Google bezoekt de pagina’s een stukje meer dan Yahoo dat doet.

Na pakweg de eerste driehonderd resultaten duikt de Yahoo-spider terug op tussen de resultaten afgewisseld met enkele andere zoekmachines zoals Baidu, Radian6 en jawel, terug Google. Hieruit zou je dus kunnen afleiden:

• Google-spiders en Yahoo-spiders bezoeken de homepage het meest dus is deze waarschijnlijk het belangrijkste voor de spiders
• Google een andere (betere?) tactiek heeft voor zijn spiders
• Google meer moet crawlen om hun index up-to-date te houden of meerder spiders heeft van andere zoekmachines

Veel wijzer werd ik er niet van totdat ik even ging kijken in mijn statistieken plugin. Er is namelijk een interessante plugin voor WordPress, “WassUp” genaamd, die ook interessante zaken vastlegt op je blog op basis van IP adres.

Daar zag ik ook telkens weer de Baidu-spider alleen de homepage bezoeken maar interessant was het verschil tussen Google-spiders en andere spiders. De Google-spiders bezoeken namelijke verschillende pagina’s in één keer terwijl andere spiders dat niet doen. Zit daar het grote verschil?

Na even verder zoeken bleek de spider “Yahoo Slurp!” ook meerdere pagina’s te bezoeken maar deze kwam slechts éénmaal voor.

Opvallend is ook dat de “Java” spider (zien onderstaande afbeelding) vooral de sitemap en de categorieën crawled. Is deze spider misschien een aparte spider uitsluitend voor deze zaken? Van wie zou deze spider zijn? Vreemd genoeg bleek, na een IP lookup,  dit “Vodafone” te zijn uit Spanje. Zijn deze ook bezig met iets? Mobiel internet blijkt dus inderdaad hot te zijn/ te worden.

Heel interessant allemaal maar laten we nu overgaan naar het volgende punt.

2) Weigeringspercentage in functie van spiders

Over het weigeringspercentage van spiders valt er praktische niet veel te vertellen. Wat mij opviel dat het weigeringspercentage vooral héél hoog was. Logisch ook als je de snelheid van de spiders in rekening brengt.

Hoe sneller iemand de pagina verlaat, hoe groter het weigeringspercentage. Dus met snelle spiders heb je dus automatisch bijna een weigeringspercentage van honderd procent.

Zelfs de belangrijkste pagina op jouw website zal een weigeringspercentage krijgen van honderd procent (voor spiders hé).

3) Bing aan een opmars bezig?

Opvallend was dat de naam Bing nergens in de statistieken voorkwam. Niet verwonderlijk aangezien ze nu Yahoo’s algoritmes plannen, of al reeds hebben verwerkt, voor hun zoekmachine.

Alhoewel Google nog meer bezoeken brengt dan Yahoo, zit Yahoo hen toch op de hielen. Heeft Bing de snelheid van indexeren wat opgedreven? Bovenstaande analyse wijst uit dat Google de pagina’s meermaals bezoekt en Yahoo waarschijnlijk gewoon alles bezoekt. Dat zou misschien kunnen verklaren waarom Google zo snel kan inspelen op trends en hot topics in de zoekresultaten.

Waar Google waarschijnlijk enkele pagina’s links laat liggen wegens onbelangrijk, crawled Yahoo nét wél deze pagina’s. Hoe anders kan je het aantal bezoeken zo dicht bij Google’s bezoeken verklaren?

We kunnen dus wel zeggen dat er een verschil zit in de manier van crawlen bij Google-spiders en andere spiders. Google crawled in het algemeen de pagina’s enkele keren meer dan andere spiders en laat waarschijnlijk de onbelangrijkste pagina’s links liggen. Terwijl Yahoo minder bezoeken aan een pagina brengt maar misschien iets meer pagina’s crawled.

Onafhankelijk van deze spiders is het algoritme natuurlijk ook van groot belang voor de resultaten in de zoekmachines. Maar zoals je kan zien is de basis voor deze zoekresultaten al een verschil dat kan opgemerkt worden.

Wat mijn blog betreft heb ik nog geen verkeer opgemerkt afkomsting van Bing maar in het algemeen zie je toch Bing meer en meer opduiken tussen de referrals.  Bing is nog niet volwassen genoeg.

Zou het te maken hebben met hun gebrek aan inzicht qua taal en land / regio? Ik denk het wel! Iedereen weet dat Google kantoren heeft over de hele wereld terwijl Bing vermoedelijk nog steeds vanuit de USA alleen werkt. Misschien is dit toch een cruciale rol in de ontwikkeling van algoritmes?!

Bij Bing zijn ze alleszins bezig aan een stille opmars en die zal misschien nog wel even duren maar ongetwijfeld zullen er ook interessante wendingen komen vanuit het Bing-kamp.