Lokale KI in Österreich einführen
Lokale KI heißt: das Modell läuft auf Ihrer Hardware. Angebote, Verträge und Kundendaten verlassen das Haus nicht, und es gibt keine laufenden Kosten je verarbeitetem Wort.
Die Werkzeuge dafür sind da und offen verfügbar. Die schwierige Frage ist eine andere: rechnet sich das für Ihren Betrieb, und mit welchem Anwendungsfall fangen Sie an. Genau das klären wir zuerst.
Erstgespräch vereinbaren, 30 Minuten kostenlosWann sich lokale KI rechnet, und wann nicht
Lokale KI lohnt sich, sobald regelmäßig Daten durch das Modell laufen, die das Haus nicht verlassen dürfen. Personalakten, Verträge, Kalkulationen, Mandanten- und Patientendaten. Dazu kommt der Fall, dass ein Auftraggeber die Verarbeitung außerhalb der EU vertraglich ausschließt.
Bei gelegentlicher Nutzung ohne sensible Inhalte ist ein europäischer Cloud-Dienst meist der günstigere Weg. Das sage ich Ihnen im Erstgespräch auch dann, wenn es gegen ein Projekt bei mir spricht.
Drei Wege, mit Grenzen
Offene Modelle auf vorhandener Hardware
Erste Gehversuche, einzelne Abteilungen
Werkzeuge wie Ollama starten offene Modelle wie Llama, Mistral oder Qwen direkt auf einem vorhandenen Rechner. Das kostet keine Lizenz und ist an einem Nachmittag eingerichtet.
Grenze: Die Antwortqualität hängt an der Hardware. Auf einem normalen Bürorechner laufen nur kleine Modelle, und die reichen für Textentwürfe, nicht für anspruchsvolle Analysen.
Eigener Server im Haus
Betriebe mit sensiblen Daten und regelmäßiger Nutzung
Ein dedizierter Rechner mit Grafikkarte bedient das ganze Team. Dokumente, Angebote und Kundendaten verlassen das Haus nicht. Anbindung an vorhandene Systeme ist möglich, bis hinein ins ERP.
Grenze: Das ist eine Investition mit Wartungsbedarf. Sie braucht jemanden, der sich kümmert, im Haus oder als Dienstleister.
Gemischter Betrieb
Die meisten mittelständischen Betriebe
Sensible Vorgänge laufen lokal, unkritische über einen europäischen Anbieter. Das hält die Kosten im Rahmen und schützt die Daten, auf die es ankommt.
Grenze: Die Trennung muss sauber definiert sein. Sonst landen doch wieder Kundendaten dort, wo sie nicht hingehören.
Wie die Einführung abläuft
Standortbestimmung, 90 Minuten, 390 €: Wir gehen Ihre Abläufe durch und klären, welche Daten überhaupt lokal verarbeitet werden müssen. Danach wissen Sie, ob sich der Aufwand für Sie lohnt, und was die passende Hardware kostet.
Auswahl: Welches offene Modell zu Ihrem Anwendungsfall passt, entscheidet sich an der Aufgabe. Dokumentensuche stellt andere Anforderungen als Textentwürfe oder Auswertungen. Herstellerunabhängig und ohne Lizenzverkauf.
Pilot: Ein klar umrissener Anwendungsfall geht in Betrieb, meistens die interne Dokumentensuche. Sie sehen an echter Arbeit, ob die Qualität reicht, bevor Sie in die Breite gehen.
Übergabe: Die Einrichtung wird dokumentiert übergeben. Den laufenden Betrieb mit Updates, Sicherheit und Nachweisen übernimmt auf Wunsch Librevio, oder Ihre eigene IT.
Ich komme dafür in den Betrieb, Salzburg und Tagesradius. Die Standortbestimmung läuft auch online.
Häufige Fragen
- Was ist lokale KI?
- Lokale KI bedeutet, dass ein KI-Modell auf eigener Hardware im Unternehmen läuft statt beim Cloud-Anbieter. Eingaben, Dokumente und Ergebnisse verlassen das Haus nicht. Verbreitete Werkzeuge dafür sind Ollama, LM Studio und vLLM, verbreitete offene Modelle Llama, Mistral, Qwen und Gemma.
- Für welche Betriebe lohnt sich lokale KI?
- Sie lohnt sich, wenn regelmäßig Daten verarbeitet werden, die das Haus nicht verlassen dürfen: Personalakten, Verträge, Kalkulationen, Patienten- oder Mandantendaten. Bei gelegentlicher Nutzung ohne sensible Inhalte ist ein europäischer Cloud-Dienst meist der günstigere Weg.
- Was kostet der Einstieg in lokale KI?
- Der Mini-Potenzialcheck kostet 390 € und klärt in 90 Minuten online, ob lokale KI für Ihren Betrieb überhaupt der richtige Weg ist. Ab etwa drei Personen passt der KI-Workshop ab 1.200 €. Die Hardwarekosten hängen davon ab, welche Modelle Sie brauchen, und werden im Check konkret beziffert.
- Ist lokale KI automatisch DSGVO-konform?
- Nein. Lokale KI löst die Frage der Datenübermittlung an Drittstaaten, weil keine Daten das Haus verlassen. Zweckbindung, Löschfristen, Betroffenenrechte und die Dokumentation der Verarbeitung bleiben davon unberührt und müssen weiterhin geregelt werden.
- Wer betreibt die lokale KI danach?
- Den laufenden Betrieb, also Updates, Sicherheit, Verfügbarkeit und Nachweise, übernimmt Librevio als eigene Marke. Ich mache die Einführung: Standortbestimmung, Auswahl, Workshop und Pilot. Betriebe, die alles selbst übernehmen wollen, bekommen die Einrichtung dokumentiert übergeben.
- Wie lange dauert die Einführung?
- Die Standortbestimmung dauert 90 Minuten. Ein Pilot mit einem klar umrissenen Anwendungsfall, etwa der internen Dokumentensuche, ist üblicherweise in wenigen Wochen produktiv. Der Zeitrahmen hängt daran, wie geordnet die Daten vorliegen.