Eigen AI-infrastructuur — waarom we geen cloud gebruiken

Wanneer je als AI-consultancy je eigen tools bouwt en klantdata verwerkt, heb je een keuze: je draait alles in de cloud bij een grote provider, of je bouwt je eigen infrastructuur. Wij kozen voor het laatste. Niet uit principe, maar uit overtuiging.

Waarom geen cloud?

Laten we eerlijk zijn: de cloud is handig. AWS, Azure, Google Cloud — ze bieden schaalbare rekenkracht, beheerde services en pay-as-you-go modellen. Voor veel toepassingen is dat prima. Maar voor AI-werk met gevoelige data zijn er drie fundamentele bezwaren.

1. Privacy en datasoevereiniteit

Als je een AI-model aanroept via een cloud-API, verlaat je data je eigen omgeving. Zelfs met Europese datacenters en verwerkersovereenkomsten geef je controle uit handen. Je vertrouwt erop dat de provider zijn beloftes nakomt — over opslag, logging, doorgifte aan derden, en het trainen van modellen op jouw data.

Wij willen dat niet vertrouwen. Wij willen het weten. En de enige manier om het zeker te weten, is door het zelf te doen.

2. Kosten op de lange termijn

Cloud-kosten lijken laag in het begin, maar schalen mee met gebruik. Als je dagelijks duizenden documenten verwerkt met een AI-model, tikken API-kosten hard aan. Op eigen hardware zijn de kosten na de initiële investering voorspelbaar en laag. Vooral voor repetitieve, bulk-achtige taken — en dat is precies wat veel van onze oplossingen doen.

3. Controle en onafhankelijkheid

API-voorwaarden veranderen. Prijzen stijgen. Features verdwijnen. Modellen worden aangepast op manieren die je gebruik beïnvloeden. Als je volledig afhankelijk bent van een externe provider, ben je kwetsbaar voor beslissingen waar je geen invloed op hebt.

Op eigen hardware bepaal je zelf welke modellen je draait, hoe je ze configureert, en wanneer je upgradet. Die onafhankelijkheid is voor ons essentieel.

Onze huidige opzet

We draaien onze AI-workloads op eigen servers. Dat omvat:

• Lokale AI-modellen via Ollama — open-source modellen die we zelf hosten en beheren.
• Shamarai — ons eigen platform voor het beheren en serveren van AI-modellen en -services.
• Vibecoding-omgeving — Bolt.DIY op onze eigen server (vibe.itarr.net), zodat ook prototyping volledig in eigen beheer gebeurt.
• Gespecialiseerde tools — Zoals Prijsfilter en sat-detect, die volledig lokaal draaien.

Project Sinai: de volgende stap

Infrastructuur is geen statisch gegeven. Onze huidige hardware is krachtig, maar de eisen groeien mee met de mogelijkheden van nieuwe modellen. Daarom werken we aan Project Sinai — een significante upgrade van onze infrastructuur.

Sinai is onze nieuwe hoofdserver, gebouwd rond een AMD Ryzen 9 5950X processor en AMD 7800 XT GPU. Het wordt de thuisbasis voor onze zwaardere AI-workloads: grotere modellen, snellere inferentie, meer parallelle verwerking.

Tegelijkertijd herstructureren we onze opslaginfrastructuur met enterprise-grade drives en redundante backups. Het doel: een setup die betrouwbaar, snel en schaalbaar is — zonder dat er een byte naar de cloud hoeft.

Hybride waar nodig

Zijn we anti-cloud? Nee. We zijn pro-bewuste-keuze. Voor sommige taken — zoals het gebruiken van de allernieuwste frontier-modellen van Anthropic of OpenAI — gebruiken we wel cloud-API’s. Maar altijd met beleid: welke data gaat erin? Is die data gevoelig? Wat zijn de voorwaarden van de provider?

De vuistregel is simpel: niet-gevoelige taken met behoefte aan de nieuwste modellen? Cloud. Al het andere? Lokaal.

Die hybride aanpak past bij de realiteit van de meeste organisaties. En het is precies wat we adviseren in ons overzicht van AI-modellen: kies het model en de infrastructuur die passen bij je situatie, niet bij de marketing van een cloudprovider.

Wat dit voor jou betekent

Als ITARR-klant profiteer je direct van deze aanpak. Je data wordt verwerkt op onze eigen servers in Nederland. Niet op een server van Amazon in Ierland, niet op een Google-server in Finland. Bij ons. Onder ons beheer. Met volledige transparantie over wat er met je data gebeurt.

Wil je meer weten over hoe wij AI-infrastructuur inrichten — voor onszelf of voor jouw organisatie? Bekijk onze AI-strategie & implementatie of neem contact op.