In fast jedem Gespräch über KI-Einführung im Mittelstand taucht irgendwann die gleiche Abkürzung auf: „Das lassen wir die IT entscheiden.“ Gemeint ist damit die Frage, welches KI-Modell oder welcher Anbieter eingesetzt werden soll — OpenAI, Anthropic, Mistral, Aleph Alpha, Google, Microsoft, oder ein lokal betriebenes Open-Source-Modell. Die Entscheidung wird als technische Frage behandelt: Welches Modell liefert die beste Qualität für unseren Anwendungsfall, zum besten Preis, mit der geringsten Integrationsarbeit?
Das ist nachvollziehbar — und es führt regelmäßig in die Irre. Denn die Wahl des KI-Anbieters ist zwar auch eine technische Frage. Sie ist aber vor allem eine Frage, in der sich die Werte einer Organisation zeigen, ob sie will oder nicht. Wer hostet die Daten? In welcher Jurisdiktion? Mit welchem Energie-Mix läuft das Rechenzentrum? Welches Trainingsmodell steht hinter dem Anbieter? Wer hat welche Zugriffsrechte auf die Eingaben der eigenen Mitarbeitenden?
Jede dieser Fragen hat eine technische Seite. Keine von ihnen ist rein technisch.
Die Ausweich-Bewegung und ihre Kosten
Es gibt einen Grund, warum die Anbieter-Frage gerne an die IT delegiert wird: Sie ist unangenehm. Wer sie ernst nimmt, muss sich mit Dimensionen beschäftigen, die außerhalb der üblichen Komfortzone vieler Geschäftsführungen liegen — von geopolitischer Abhängigkeit über Energieverbrauch bis zu den gesellschaftlichen Implikationen großer KI-Plattformen. Das fühlt sich an wie ein Thema für Think Tanks, nicht für eine Mittelstandssitzung am Donnerstagvormittag.
Die Delegation an die IT entlastet kurzfristig. Sie verschiebt aber eine Entscheidung in einen Bereich, der für solche Fragen gar nicht zuständig ist. Die IT entscheidet nach IT-Kriterien: Was funktioniert, was ist integrierbar, was kostet wie viel pro API-Call, welche Dokumentation ist brauchbar. Das sind sinnvolle Kriterien. Sie beantworten aber nicht die Frage, ob die Entscheidung zur Organisation passt, die sie trifft.
Die Kosten dieser Ausweich-Bewegung zeigen sich später. Wenn Mitarbeitende erfahren, dass ihre Eingaben auf US-amerikanischen Servern verarbeitet werden — und das interne Unbehagen spürbar wird. Wenn ein Nachhaltigkeitsbericht ansteht und niemand weiß, welchen CO₂-Fußabdruck die eingesetzte KI tatsächlich hat. Wenn ein Kunde nach der Datenverarbeitung fragt und die Antwort im Kleingedruckten eines AGB-Dokuments versteckt ist, das niemand im Unternehmen je gelesen hat. Dann wird sichtbar, dass die Entscheidung Werte transportiert hat, die nie explizit benannt wurden.
Fünf Dimensionen, die bei jeder Anbieterwahl implizit entschieden werden
Wer sich der Anbieter-Frage bewusst stellt, muss fünf Dimensionen durchdenken — und zwar jenseits reiner Leistungsbenchmarks.
Erstens: Datenhoheit und Jurisdiktion. Wo werden die Daten verarbeitet, die Mitarbeitende in die KI eingeben? Unter welchem Rechtsrahmen steht das verarbeitende Unternehmen? Welche Behörden haben Zugriff? Ein US-amerikanischer Anbieter unterliegt anderen Gesetzen als ein europäischer. Ein lokal betriebenes Open-Source-Modell unterliegt nur den eigenen. Diese Unterschiede sind nicht theoretisch. Sie betreffen konkret die Frage, welche Informationen Mitarbeitende bedenkenlos in ein System eingeben können — und welche besser nicht.
Zweitens: CO₂-Intensität und Ressourcenverbrauch. Große Sprachmodelle sind energiehungrig. Die Unterschiede zwischen Anbietern, Modellgrößen und Rechenzentrumsstandorten sind erheblich. Ein Prompt an ein großes Modell in einem kohleintensiv betriebenen Rechenzentrum hat einen anderen Fußabdruck als derselbe Prompt an ein kleineres Modell in einem wasserkraftbetriebenen Rechenzentrum. Diese Unterschiede werden in den kommenden Jahren nicht weniger wichtig, sondern wichtiger — nicht zuletzt, weil Berichtspflichten wie VSME und ESRS auch digitale Emissionen erfassen.
Drittens: Trainingsdaten und deren Herkunft. Jedes KI-Modell ist auf Daten trainiert worden. Diese Daten haben Eigentümer — oder hatten sie. Der Umgang der Anbieter mit Urheberrechten, mit Trainingsdaten aus fragwürdigen Quellen, mit Arbeitsbedingungen der Menschen, die Daten annotieren, unterscheidet sich erheblich. Eine Organisation, die sich selbst als wertorientiert versteht, kann sich dieser Frage nicht dauerhaft entziehen — auch wenn die Branche insgesamt hier noch in einer Grauzone operiert.
Viertens: Geopolitische Abhängigkeit. Wer sich auf einen einzelnen Anbieter verlässt, macht sich von dessen Verfügbarkeit, Preispolitik und geopolitischer Einbettung abhängig. Diese Abhängigkeit ist kein theoretisches Risiko. Sie wird konkret, wenn Exportrestriktionen, Sanktionen oder Preiserhöhungen die Geschäftsgrundlage verändern. Europäische KMU, die kritische Prozesse auf US-amerikanischen KI-Anbietern aufbauen, gehen ein Klumpenrisiko ein, das in normalen Zeiten unsichtbar bleibt — aber bei jeder Störung voll durchschlägt.
Fünftens: Interne Konsistenz mit der eigenen Markenpositionierung. Ein Handwerksbetrieb, der regional wirbt und auf kurze Wege setzt, aber seine Angebotserstellung über ein US-Modell laufen lässt, riskiert eine erzählerische Inkonsistenz. Eine Beratung, die Nachhaltigkeitsstrategien begleitet, aber den eigenen KI-Einsatz nicht hinterfragt, verliert Glaubwürdigkeit. Diese Inkonsistenzen sind subtil. Sie werden aber zunehmend bemerkt — von Mitarbeitenden, Kunden, Bewerberinnen.
Warum „einfach alles lokal“ keine Antwort ist
Wer diese fünf Dimensionen ernst nimmt, landet manchmal bei der scheinbaren Idealantwort: Lokal gehostete Open-Source-Modelle auf eigener Hardware. Souverän, datensicher, kontrollierbar.
Diese Antwort ist attraktiv — und sie ist für viele Anwendungsfälle zu kurz gedacht. Lokale Modelle haben heute noch spürbare Qualitätsunterschiede zu den großen Cloud-Modellen, besonders bei komplexeren Sprach- und Argumentationsaufgaben. Sie erfordern eigene Hardware, eigene Wartung, eigene Kompetenzen. Sie skalieren schlechter, und sie aktualisieren sich nicht von selbst. Für bestimmte Anwendungen — vertrauliche Analysen, sensible Kundendaten, standardisierte Textaufgaben — sind sie hervorragend geeignet. Für andere sind sie es nicht.
Die realistische Antwort ist selten ein einzelner Anbieter, sondern eine bewusst zusammengestellte Landschaft. Bestimmte Anwendungsfälle laufen auf einem großen Cloud-Modell, weil die Qualität dort entscheidend ist. Andere laufen auf einem europäischen Anbieter mit strikter DSGVO-Konformität. Wieder andere laufen lokal, weil Vertraulichkeit Vorrang hat. Diese Differenzierung erfordert mehr Arbeit als die Standardentscheidung „wir nehmen das, was am bekanntesten ist“. Sie ist aber der einzige Weg, um die Anbieter-Frage tatsächlich zu beantworten, statt sie zu verdrängen.
Die Entscheidung, die keine rein technische sein kann
An dieser Stelle wird deutlich, warum die Anbieter-Frage nicht an die IT delegiert werden kann. IT-Abteilungen können die technische Machbarkeit prüfen, Schnittstellen evaluieren, Integrationsaufwände schätzen. Sie können nicht entscheiden, welches Gewicht Datenhoheit in der Organisation haben soll. Welchen Wert Nachhaltigkeit hat. Wie viel geopolitische Abhängigkeit akzeptiert wird. Welche Inkonsistenz zur eigenen Marke hingenommen wird.
Diese Gewichtungen sind Führungsentscheidungen. Sie gehören in die Geschäftsführung. Und sie gehören — zumindest dort, wo Beteiligung zur Unternehmenskultur passt — in den Dialog mit den Teams, die mit den Modellen arbeiten werden.
Die Form dieser Entscheidung kann schlicht sein. Ein strukturiertes Gespräch zwischen Geschäftsführung, IT, Datenschutzbeauftragter und einer Auswahl der Nutzer-Perspektiven. Eine explizite Gewichtung der fünf genannten Dimensionen. Eine dokumentierte Begründung, warum am Ende ein bestimmter Mix gewählt wurde. Das kostet ein paar Stunden. Es ersetzt aber spätere Überraschungen durch eine bewusst getroffene Entscheidung.
Warum dieser Aufwand sich lohnt
Einwand in der Praxis: All das klingt vernünftig, aber wer hat die Zeit dafür? Der Mittelstand ist operativ belastet, die KI-Entwicklung ist schnell, und jede zusätzliche Entscheidungsebene verlangsamt das Tempo.
Das Argument ist ernst zu nehmen — und es unterschätzt die Folgen einer nicht getroffenen Entscheidung. Wer die Anbieter-Frage nicht bewusst beantwortet, beantwortet sie trotzdem: durch Standardlösungen, durch Gewohnheit, durch das, was andere machen. Diese implizite Antwort funktioniert, bis sie nicht mehr funktioniert. Und wenn sie nicht mehr funktioniert — durch einen Vorfall, eine Kundenfrage, eine regulatorische Änderung —, sind die Kosten der nachträglichen Korrektur deutlich höher als die Kosten einer ursprünglichen Klärung.
Es geht bei der Anbieter-Frage nicht um Perfektionismus. Es geht um eine Grundsatzklärung, die eine Organisation nur einmal explizit treffen muss, um danach leichter, schneller und konsistenter entscheiden zu können. Welche KI-Anwendungen landen bei welchem Anbieter? Nach welchen Kriterien? Wer prüft Änderungen? Diese Fragen einmal geordnet beantwortet sind ein Fundament, das die nächsten Jahre trägt — statt bei jeder neuen Anwendung neu verhandelt zu werden.
Die kulturelle Dimension, die sich nicht delegieren lässt
Am Ende ist die Anbieter-Frage eine Frage danach, wie eine Organisation mit sich selbst konsistent bleiben will. Wer bei regionalen Lieferanten kauft, aber seine Textproduktion auf ein US-Modell auslagert, trifft eine Aussage. Wer Nachhaltigkeit predigt, aber die CO₂-Intensität der eigenen KI nicht kennt, trifft eine Aussage. Wer Mitarbeiterorientierung betont, aber ihre Dateneingaben ungefragt auf fremde Server schickt, trifft eine Aussage.
Diese Aussagen werden nicht weniger wichtig, nur weil sie selten explizit benannt werden. Sie werden im Gegenteil wichtiger, je mehr KI in den Arbeitsalltag einzieht. Denn mit jeder Anwendung wird die implizite Werteordnung, die in der Anbieterwahl steckt, zur gelebten Realität — erlebt von den Mitarbeitenden, sichtbar für die Kundinnen, bewertbar für alle, die genauer hinsehen.
Die gute Nachricht: Die Anbieter-Frage lässt sich beantworten, ohne dass die Antwort perfekt sein muss. Es genügt, dass sie bewusst getroffen wurde — und dass die Organisation weiß, warum sie entschieden hat, wie sie entschieden hat. Das ist weniger als viele Beratungshäuser suggerieren. Und es ist deutlich mehr, als die meisten Mittelständler heute tatsächlich tun.
Einordnung
Dieser Beitrag ist Teil unseres Themenfelds KI & Unternehmenskultur. Er greift die Beobachtung auf, dass die Einführung von KI immer auch Werteentscheidungen transportiert — und dass diese Entscheidungen am besten bewusst getroffen werden. Vertiefende Beiträge behandeln die Rolle von Führung, organisationaler Reife und den Zusammenhang zwischen KI-Einsatz und Nachhaltigkeitsberichterstattung.
