Warum läuft das Dienstmädchen nicht auf eigenen Servern?

Am liebsten hätten wir das Dienstmädchen komplett bei uns, ohne externe Anbieter. Ein Sprachmodell, das so gut versteht und schreibt, braucht aber spezielle Server mit leistungsstarken Grafikkarten. Die kosten in der Anschaffung viele tausend Euro und verbrauchen laufend viel Strom – das gibt das Budget eines unabhängigen Podcasts nicht her.

Deshalb schreibt ein externes Modell die Antworten: Claude von der Firma Anthropic.

Das Archiv selbst liegt bei uns: Alle Texte, die das Dienstmädchen kennt, stecken in einer Suchdatenbank (Qdrant) auf unserem eigenen Server. Dort wird auch entschieden, welche Stellen zu deiner Frage passen. Damit die Suche nach Bedeutung statt nur nach einzelnen Wörtern funktioniert, rechnet ein Dienst von OpenAI die Texte und deine Frage in Zahlenwerte um. Gespeichert und durchsucht wird aber bei uns.

Sobald es bezahlbar wird, holen wir auch den Rest nach Hause.