Is webschrapen wel legaal?

Google als voorbeeld:

Een van de grootste webschrapers ter wereld is Google. Ze zijn begonnen met webschrapen van internetgegevens en hebben daar een zoekmachine omheen gebouwd. Ze verzamelen openbare internetgegevens, slaan deze op, verwerken deze en tonen deze op hun eigen website met een originele link terug naar de bron. Is dit legaal?

Wat zijn openbare gegevens?

Een website zonder authenticatie wordt beschouwd als openbare gegevens; iemand publiceert de gegevens op het internet voor openbaar gebruik. Indien niet openbaar, voegen zij een gebruikersregistratie toe met algemene voorwaarden over het gebruik van de gegevens.

Teksten en afbeeldingen zijn vaak auteursrechtelijk beschermd. Wanneer u deze scrapt en één-op-één op uw eigen site kopieert, dient u deze gegevens als citaat te behandelen en een link naar de originele site op te nemen. De meeste van onze klanten zijn echter geïnteresseerd in feitelijke productinformatie zoals specificaties, prijzen, ontwikkelingen of SEO. Dit soort gegevens kunnen perfect worden verzameld met webschrapen.

Lokale wetgeving:

We hebben ook te maken met lokale regelgeving, zoals in de EU, waar we de GDPR hebben. We mogen alleen niet-persoonlijke gegevens scrapen. Als we persoonlijke informatie moeten scrapen, hebben we goedkeuring nodig van de persoon wiens persoonlijke gegevens het zijn. We mogen dit soort gegevens niet verzamelen. Daarom vragen we u niet ons te vragen gegevens van Facebook te scrapen, want dat zullen we niet doen.

Voorwaarden en gegevens achter een login:

Algemene voorwaarden moeten op persoonlijk niveau worden aanvaard, wat betekent dat u moet registreren dat de gebruiker de voorwaarden heeft geaccepteerd en hun naam moet documenteren. Dit gebeurt normaal gesproken wanneer u een account maakt. Soms vragen klanten ons om gegevens achter een login te verzamelen. Technisch kunnen we dat doen, maar dan moeten we eerst de voorwaarden controleren en toestemming krijgen van de website waar we informatie verzamelen.

Bescherming tegen scraping:

Hoe om te gaan met bescherming tegen scraping? Veel sites hebben detectie voor scrapers en maken hun gegevens moeilijk te scrapen. Het zijn echter nog steeds openbare gegevens, en u mag deze verzamelen. Men zou kunnen stellen dat het oneerlijke concurrentie is omdat deze websites hun gegevens gratis aan Google geven (zonder bescherming) maar niet aan andere scrapers. Ondanks dit is het voor ons nog steeds wettelijk toegestaan om deze gegevens te verzamelen, en we hebben geavanceerde technologie om dit te doen.

Hoe we gegevens legaal verzamelen:

– We houden onze gegevensverzameling in lijn met de GDPR. – We overbelasten websites niet; over het algemeen doen we niet meer dan 1 verzoek per 5 seconden. – We hebben een ethische commissie die elke opdracht valideert op basis van vereisten die strenger zijn dan wat wettelijk is toegestaan.