Track alle zoekmachines en spiders op je WordPress blog in Google Analytics

11 jan 2010 -



Sedert het opstarten van mijn blog, nu ongeveer bijna twee maanden geleden, heb ik Google Analytics actief. Een must voor iedere website mag je toch wel zeggen!

Er bestaan tal van andere pakketten maar Google Analytics is waarschijnlijk de meest bekende en ook één van de meest besproken statistiekpakketten. Het voordeel hiervan is natuurlijk dat je tal van tips kan vinden en hier en daar een interessante WordPress plugin of stukjes code om iets specifiek te meten in Google Analytics.

Laten we eerst en vooral afspreken dat ik vanaf nu af aan Google Analytics afkort tot “GA”. Is een stukje makkelijker typen ;-)

Bon … Na een tijdje begon mijn GA al wat verkeer te tonen en kon ik al wat trafiek analyseren. Maar ik vroeg me toch af hoe zoekrobots (zoekrobotten) een website, of in dit geval mijn blog, precies bezoeken en wat ze dan zoal doen.

Na wat zoeken botste ik op een interessante link. Enkele regels PHP code en enkele extra files (classes) die ervoor zorgen dat alle, maar dan ook alle, zoekmachines en spiders gedetecteerd worden en doorgespeeld worden naar jouw GA.

GA neemt deze spiders en zoekmachines standaard niet op in de bezoeken vanwege de beperkingen waarmee de bezoeken worden geteld. De Javascript code van GA kan dus dergelijke bezoeken niet opnemen in de resultaten.

Oplossing?

Er bestaat hiervoor een interessant script gemaakt door een Franse creatieveling Rémi Aubert. Rémi werkte met zijn collega Alan Boydell bijna zes maanden lang aan een oplossing voor dit probleem, en wat voor een oplossing! Het mag gezegd worden!

Vooraleer ik hier wou over spreken, heb ik natuurlijk dit boeltje een tweetal maanden laten lopen op mijn blog en enkele dingen zijn mij toch opgevallen. Maar straks daar mee over ;-)

Een sneakpeek hieronder

Detectie van zoekmachines en spiders in Google Analytics

Detectie van zoekmachines en spiders in Google Analytics

Doel van het script

Het doel van dit script bestond uit twee zaken:

  • een manier om zoekmachines en spiders toe te voegen aan GA via Javascript
  • een onderscheid maken tussen een natuurlijke bezoeker en een zoekmachine of spider

Hoe werk het precies?

Vooraleer je de boel gaat instellen, laat me even uitleggen hoe het script precies inéén zit en wat het doet. Laat me ook even melden dat zo goed als alle zoekverkeer opgesplitst werd tussen mens en machine maar er glippen er toch nog enkele door de mazen van het net. 100% sluitend kan waarschijnlijk niet maar dit script komt er toch héél dicht bij.

Het script werkt in drie stappen

1) Verwijzing controleren

Ten eerst wordt de verwijzing van de afkomst gecontroleerd. Deze referals zeggen van waar de user precies vandaan komt. Als deze referer niet leeg is, is de gebruiker dus geen zoekmachine of spider en mag deze dus niet meegeteld worden via dit script.

2) Check OS

Controle van het Operating System geeft ook uitsluitsel of de gebruiker een mens is of een spider.

3) Controle van de zoekmachine of spider

Indien de bovenstaande twee punten niet gelden, wordt er een controle gedaan of dit wel degelijk een zoekmachine of een spider is via de partonen van BBClone. BBClone is een, en zoals ze het zo mooi zeggen op hun website, webteller op steroïden :-).

Hoe deze BBClone precies werkt en wat die patronen allemaal inhouden, ga ik nu niet dieper op in gaan. Ik weet het eerlijk gezegd niet maar het werkt alleszins!

Hoe installeren?

Eerst en vooral download je het pakketje files voor het detecteren van zoekmachines en spiders  op een WordPress blog.

Daarna maak je best een tweede profiel aan in je GA. Ik heb het niet gedaan en het heeft me toch wat werk gekost om de spiders eruit te filteren tegenover de échte bezoekers op mijn blog.

Een fout? Misschien er niet genoeg bij stil gestaan vooraleer ik dit script installeerde maar het heeft me toch wel wat extra geleerd over segmenten. Dus al bij al mooi meegenomen :-)

Enfin, … de installatie dus in enkele stapjes:

1) Maak nieuw profiel aan

Noem deze misschien robots.jouw-domein.com voor het gemak. Zo weet je onmiddellijk wat dat profiel weer voor stond.

Moet je dit subdomein gebruiken ? Neen, je wil gewoon het een andere naam geven. Vul hier ook het domein van he website in. We willen tenslotte gewoon een tweede GA-indentifier code nodig. Een nieuwe GA ID dus (UA-XXXXXX).

Vul deze code aan in de file “config.php”

2) Identificatie van jouw domein

Vervolgens ga je op zoek naar de “_utma” code van jouw website. Hola … voor ik verder draaf misschien even een woordje uitleg.

Google plaatst bij het bezoeken van jouw website een cookie op jouw computer. Hierbij worden enkele variabelen in dit cookie geplaatst zoals onder andere de _utma code. Zo zijn er nog enkele variabelen voor de tracking in GA.

Ok, kunnen we?

Waar waren we? O ja … je moet op zoek naar jouw Google identificatienummer voor jouw domein. Dat doe je best via Firefox. Dat is tenslotte de gemakkelijkste manier.

  • Open Firefox
  • Kies “Extra” in het menu bovenaan
  • Daarna kies je “Opties”
  • Kies het tabblad “Privacy”
  • en klik op de link “Individuele cookies verwijderen”

Daarna zou je deze popup moeten zien met een cookie van jouw domein. Selecteer het cookie en de eerste reeks cijfers voor de eerste punt van de “_utma” variabele is het ID dat je zoekt. Kopiëren dus die handel en deze vul je ook aan in de file “config.php”.

id-domein-ga

3) Implementeren en klaar

Nog de voorlaatste stap en dat is het invullen van jouw domein in de “config.php” en dan ben je klaar op één klein stapje na.

Je hoeft nu enkel nog een streepje code toe te voegen aan de header template van jouw WordPress blog en na vierentwintig uur zullen de eerste resultaten verschijnen in je GA.

Dit stukje code :

<?php include_once( dirname(__FILE__).'/analytics.php'); ?>

Let er wel op dat de verwijzing naar deze file goed is. Zet alle files van het pakketje op de root en dan zou dat moeten in orde komen.

Besluit

Tot slot sluit ik de post af met een aankondiging van een volgende post deze week nog. Ik heb deze code nu ondertussen twee maanden actief, vanaf de start van mijn blog, en zet mijn bevindingen in een volgende post uiteen. So … stay tuned ;-)

Dit interesseert je ongetwijfeld ook

  1. Custom Var voor User block in Google Analytics
  2. Chrome Instant & Google Analytics
  3. Site Speed in Google Analytics overrated?
  4. Dead links in WordPress opvangen? More to it than you think
  5. Duur Analytics sessie ontkracht?

 

Iets opgestoken van deze post? Gevonden wat je zocht?

Je mag me steeds extra vragen stellen, mocht er iets niet duidelijk zijn. Contacteer me gerust. Een mailtje om mij te vertellen dat ik goed bezig ben is altijd leuk, maar mocht je mijn post delen met anderen, dat vind zelfs nog leuker ;)

Of wil je liever nog wat verder lezen?

Je kan nog heel wat meer vinden in de categorie Web Analytics.
Je zal er zeker topics vinden die je interesseren.





Reeds 5 Reacties op “Track alle zoekmachines en spiders op je WordPress blog in Google Analytics”
Ook reageren? Of een tip geven?

  1. Jammer dat ze er geen plugin van hebben gemaakt dat zou een stuk eenvoudiger geweest zijn qua installatie. Misschien komt dit nog.

    Ga het even op mijn test site implementeren ben benieuwd. Daar staat namelijk aan dat geen zoekbot mijn site mag crawlen :-)

    [Reageer op deze comment]

    Dries Bultynck Reply:

    @Bjorn van der Neut, O ja? ben ook wel eens benieuwd of het script dan zou werken. Valt toch mee qua installatie?

    [Reageer op deze comment]

  2. Waar in de header plaats ik juist de include? Extra profiel toegevoegd in GA (met aanpassing van de website url), maar staat nu als “bijhouden conversies niet geïnstalleerd”. Ook na status controleren. Of is gewoon wachten?

    [Reageer op deze comment]

    Dries Bultynck Reply:

    @Tom Van Daele, Hoe bedoel je? Je hebt de urchin code niet nodig. Enkele een ander profiel zodat alles apart komt te staan los van je resultaten zoals die nu zijn. Zo hou je beter het overzicht.

    De code kan je gewoon ergens in de HEAD-tag plaatsen

    [Reageer op deze comment]

  3. [...] Wordt je website gevonden door zoekmachines? Google Analytics toont standaard geen verkeer van zoekmachines. In deze post lees je hoe je dit alsnog zichtbaar kan maken. Zo kan je dus inzichtelijk krijgen of zoekmachines jouw website überhaupt zien en lezen. [...]

Reageer op deze post, Stel je vraag of geef zelf een extra tip