Achter de mooie grafieken draait er bij HowardsHome, het bedrijf achter Finchline een enorm systeem. Dit leest nieuwe data in en slaat deze op in onze databases. Een team van collega’s in Nieuwegein en India zorgen ervoor dat dit systeem, waar we in het verleden diverse innovatieprijzen mee hebben gewonnen, blijft draaien. We krijgen vaak vragen over welke data we hebben, hoeveel bronnen en hoe vaak we bronnen updaten. Om duidelijk te maken wat er allemaal op de achtergrond gebeurt geeft dit artikel een kijkje in de data-keuken van HowardsHome.

Inlezen van de data

We halen data op uit diverse online bronnen. Dit zijn nieuwssites (nu.nl, vk.nl), weblogs (marketingfacts, geenstijl), fora, videosites, Twitter en andere microblogs. Eén van onze sterke punten is dat Finchline zich richt op Nederland. Die focus maakt dat wij “diep gaan” op lokale bronnen zoals Hyves en de bekende fora. We hebben speciale crawlers gebouwd om dit soort specifieke bronnen te crawlen.

Doordat we zelf crawlen zijn we ook in staat om volledige artikelen doorzoekbaar te maken. Dit betekent dat je ook wanneer je genoemd wordt onderin een artikel in onze resultaten naar voren komt.

Dataexplosie door Twitter

Voor Twitter hebben we wat zwaarder uit moeten pakken. De volumes die Twitter produceert zijn dusdanig dat hier speciale systemen aan te pas komen. Voor ons is belangrijk dat we Nederlandse tweets uit de twitterstroom filteren. Twitter zelf heeft een onbetrouwbare taalherkenning waardoor de data die je normaal gesproken uit Twitter haalt onvolledig is. We lezen dagelijks netto een paar miljoen tweets in voor onze klanten. Dit gaat van enkele tweets per week voor kleine onderwerpen tot een kleine 300.000 tweets bij de finale van TVOH.

Sneller dan Google Alerts

Wij vinden dat onze Finchline notificaties beter en sneller dan Google Alerts moeten werken. Onze crawlers bezoeken de hele dag door onze databronnen. Gemiddeld genomen zitten de actievere bronnen binnen enkele minuten in ons systeem en worden hier meteen alerts voor verzonden. Minder actieve bronnen worden gemiddeld eenmaal per uur bezocht.

Nieuwe bronnen sporen we actief op maar kunnen ook door onze klanten worden aangedragen. Bronnen controleren we wel altijd even met de hand. Dit is een enorme klus maar het zorgt er wel voor dat we sites die nieuws herkauwen (je hebt bijvoorbeeld veel sites die het nieuws van Nu.nl 1-op-1 overnemen voor SEO doeleinden) in een aparte categorie kunnen onderbrengen. Wanneer je alles crawlt kun je namelijk net zo goed google gebruiken (en zelf de vervuiling eruit filteren)

Aantallen bronnen

5 jaar geleden maakten we indruk bij onze klanten door te vertellen dat we 20.000 bronnen hebben. Het vaststellen van het exacte aantal bronnen is echter een stuk lastiger geworden omdat je iedere Twitteraar als bron kan rekenen. Hetzelfde geldt voor youtube kanalen, hyperlokale edities van nieuwswebsites, etc. Ook van belang is wát je inleest van een bron. We wagen ons inmiddels niet meer aan het noemen van aantallen. We laten liever zien wat we vinden wanneer je bij ons zoekt.

Bekijk direct zelf online wat we aan data in ons systeem hebben zitten door een zoekopdracht in Finchline Explore in te voeren.