Informatieverzamelaars vs. Robots.txt

(In mei 2008 geplaatst in Emerce)

Zoals bekend is het aanbieden van informatie big business. Marktplaats, Funda, en Autotrack weten veel bezoekers te lokken waar weer aan verdiend kan worden. Voor het verkrijgen van zoveel mogelijk bezoekers is het dus zaak om de deuren van de website zo wijd mogelijk open te zetten. Je wilt dus liever niet gaan werken met bijvoorbeeld een wachtwoordbeveiliging, omslachtige aanmeldingsprocedure of belemmerende technische maatregelen.

Toch is niet iedereen even welkom. De concurrentie pikt immers uiteraard graag een graantje mee van de aangeboden informatie. Zo wordt door partijen als ZoekAlleHuizen.nl, Allevacaturesites.nl en Jaap.nl gretig informatie van allerlei websites gehaald en op hun eigen site geplaatst. Zo kan dus een volledigere verzameling van informatie worden getoond. De consument vindt dit natuurlijk wel zo prettig, de partijen waar de informatie vandaag wordt gehaald zijn meestal minder blij met deze (in hun ogen) informatiekapers.

Het tegenhouden van deze kapers blijkt echter lastig. Al verschillende malen is uitgemaakt dat dit type van informatieverzamelen niet in strijd hoeft te zijn met eventuele auteurs- en databankrechten (zie meer hierover hier). Het wapperen met deze rechten is daarom niet altijd voldoende gebleken om het gedeeltelijk overnemen van informatie of het (deep)linken hiernaar juridisch tegen te kunnen gaan.

Een andere methode die wordt ingezet om ongewenste derden buiten de deur te houden, is gebruikmaken van de zogeheten ‘robots exclusion protocollen’. De meest bekende vorm is een robots.txt, een simpel tekstbestand dat in de root directory van de website wordt geplaatst.

Dit tekstbestandje vertelt de spider en andere zoekbots hoe de website moet worden geïndexeerd en welke pagina’s op de website moeten worden genegeerd. In dit tekstbestand kan ook worden opgenomen dat de spider ‘disallowed’ (niet welkom) is op alle delen van de website.

Het probleem hierbij is alleen dat spiders zo kunnen worden geprogrammeerd dat ze de instructies van een robots.txt bestand niet opvolgen. Over het algemeen houden de grote zoekmachines zich braaf aan de robots.txt-aanwijzingen maar juist de bots van de concurrent zijn meestal wat ongehoorzamer.

Op grond van de auteurswet is het onrechtmatig om ‘doeltreffende technische voorzieningen’ te omzeilen. In normaal Nederlands: onder meer het ‘kraken’ van beveiliging is niet toegestaan. Door de Nederlandse rechter is echter in de kwestie Web Measurement Services/Weborama uitgemaakt dat het negeren van een robots.txt niet wordt beschouwd als het omzeilen van een technische voorziening is en dus ook niet onrechtmatig is.

Eerder al is in de Funda/ZoekAlleHuizen-zaak (eerder schreef ik uitgebreid over de juridische kanten van deze zaak hier) uitgemaakt dat het negeren van het ‘verzoek’ dat terug te vinden in het robots.txt-bestandje misschien wél in strijd is met de ‘netiquette’ maar dit níet betekent dat door de informatieverzamelaar onrechtmatig wordt gehandeld. Ook door het opnemen van een verbod op het verzamelen van informatie op de Funda-website in de algemene voorwaarden mocht de makelaars niet baten.

Hier valt natuurlijk wat voor te zeggen. Zolang een partij niet in strijd handelt met de databankenwet of de auteurswet of andere regelgeving moet er vrijheid bestaan om te concurreren. Rechten die je niet hebt kan je je natuurlijk ook niet door middel van je algemene voorwaarden of door middel van robot.txt-verzoeken voorbehouden. Ook kan worden gesteld dat de vrije informatievoorziening gebaat is bij dergelijke informatieverzamelaars.

Aan de andere kant: het opzetten en instandhouden van een informatiewebsite vereist substantiële investeringen in de vorm van tijd en geld. Verdienen dergelijke investeringen niet een betere bescherming?

Het oordeel van de Nederlandse rechter is momenteel duidelijk: het niet opvolgen van aanwijzingen om geen informatie van de website te halen is niet onrechtmatig. Maar wat vind jij? Is handelen in strijd met het verzoek van de website-eigenaar om geen informatie van zijn website af te halen onrechtmatig?

(Afbeelding gemaakt door Lou Lou Illustrations, te gebruiken onder de volgende voorwaarden http://creativecommons.org/licenses/by-nc-nd/2.0/.)

Advertisements

3 Responses to Informatieverzamelaars vs. Robots.txt

  1. Elke commerciele activiteit, en niet alleen het opzetten van informatiewebsites, vereist substantiële investeringen in de vorm van tijd en geld. Maar om nu enkel en alleen om die reden een exclusief recht op die activiteit te geven gaat mij veel en veel te ver. IE-rechten worden bijvoorbeeld pas verstrekt als je iets bijzonders doet: je hebt een uitvinding gedaan, een nieuw dessin ontworpen of een werk van letterkunde of kunst gemaakt. Daar kan ik nog wel een rechtvaardiging in zien (ook al blijkt die rechtvaardiging in de praktijk niet te kloppen). Maar het enkele sweat of the brow (Feist) behoort geen rechten op te leveren.

    Robots.txt is een beleefdheidsnorm. Netiquette. Die norm schenden is inderdad niet netjes, maar je onfatsoenlijk gedragen is niet onrechtmatig. Trek eens de lijn naar de ‘echte’ wereld: wat zou er moeten gebeuren als een marktkraamhouder een bordje ophangt “Medewerkers van concurrenten mogen onze prijzen niet opschrijven om er zelf onder te gaan zitten”? Kan de ene marketman dan de andere aanklagen wegens negeren van het_bordje.txt? Ik mag hopen van niet.

    Meer algemeen: informatie wil vrij zijn. Informatie gaat vrij zijn. Je kunt dus beter een businessmodel verzinnen waarbij je niet afhankelijk bent van het als enige bepaalde informatie aanbieden. Anderen zullen die van je overnemen. Je moet iets toevoegen. Je bent de eerste, of je selecteert het beste, of je sorteert het het handigste. Zoiets.

  2. Wij hebben twee weken geleden de beta versie van het Universal Rating systeem ADDMOORE opgeleverd bij ElmarReizen.nl. Het UR systeem verzameld de ratings/reviews van de 10 grootste review sites wereldwijd en toont deze aan de bezoeker als deze een accommodatie bekijkt. Momenteel kunnen we ruim 65% van de ruim 35.000 accommodaties voorzien van een AddMoore UR score. De sites die we hiervoor scrapen/ harvesten zijn o.a. TripAdvisor, Booking, Trusted Places, Boo en nog 5 andere.

    Binnen 2 maanden gaat het Addmoore UR systeem ook draaien op de websites van Transavia en Schiphol.

    Op deze manier creëren we een werkelijke meerwaarde voor de consument door de informatie/ data te ontsluiten en te presenteren op een belangrijke locatie waar het voor de consument relevant is.

  3. Barnacled says:

    Somehow i missed the point. Probably lost in translation :) Anyway … nice blog to visit.

    cheers, Barnacled

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: