|
18.08.2026 09:15 Uhr |
Vom Sommerloch keine Spur, im Gegenteil: Die Meldungen zu neuen Sprachmodellen überstürzten sich in den vergangenen Wochen regelrecht. Während man aus China vor allem Superlative bezüglich der Modellgrößen hört, sind die offenen amerikanischen Modelle aktuell eher etwas kleiner – immerhin gibt es endlich welche. Eine andere Art von Superlativen aus den USA sind Modelle, die sich nicht an Vorgaben halten und andere Websites hacken.
In Europa tut sich zumindest ein wenig: Apertus aus der Schweiz gibt es in einer verbesserten Version und endlich mit Soofi auch ein deutsches Modell, das aber noch Startschwierigkeiten hat.
Als der chinesische Anbieter Moonshot das neue Kimi K3-Modell ankündigte, gingen Schockwellen fast wie bei DeepSeek R1 durch die LLM-Community. Ein derart großes Modell mit 2,8 Billionen Parametern war vorher mit offenen Gewichten noch nicht verfügbar. Zudem erwies sich Kimi K3 in vielen Tests als äußerst stark und ist in den einschlägigen Benchmarks wie arena.ai oder artificialanalysis.ai stets auf den Top-Plätzen zu finden.
Am 15. Oktober 2026 widmet sich die Online-Konferenz „LLMs im Unternehmen“ den lokalen Modellen: Für welche Anwendungen sie sich lohnen, welche Hardware erforderlich ist und wie man die Performance optimiert.
Neben der schieren Größe hat Moonshot einige Optimierungen zu bieten, die das Modell in der Inferenz deutlich gegenüber Kimi K2.6 deutlich beschleunigen. Dazu gehört ein optimierter Attention-Mechanismus, den Moonshot Kimi Delta Attention (KDA) nennt. Dabei wechseln sich lineare und globale Attention Layer im Verhältnis 3:1 ab. Das spart viel Rechenzeit und Speicherbedarf, was besonders bei langen Kontexten ins Gewicht fällt. Spannend ist auch die Mixture-of-Experts-Architektur (MoE), denn Kimi nutzt sage und schreibe 896 Experten. So viele waren bisher in offenen Modellen nicht verfügbar.
Dankenswerterweise hat Moonshot die Gewichte auch ins kompakte MXFP4-Format überführt und damit den Speicherbedarf im Vergleich zu dem sonst oft üblichen bfloat16 auf ein Viertel reduziert. Dennoch sind auch bei kleinen Kontexten mindestens 1,5 TByte RAM erforderlich, was das Budget vieler Firmen sprengt. Eine lokale Ausführung wird damit nur für die wenigsten in Frage kommen, ist aber möglich. Moonshot bietet Kimi K3 auch als Clouddienst an, dessen Kosten im Vergleich zu anderen Modellen überschaubar sind.
Auch beim Training nutzte Moonshot einige kreative Ideen, um die vielen Experten gleichmäßig zu trainieren. Laut Anbieter hat das Modell zudem seine eigenen Kernels optimiert, sodass es nun die eigene Inferenz schneller ausführen kann.
In eigenen Tests funktionierte das Modell hervorragend und gab ausführliche Antworten. Lediglich bei heiklen politischen Fragen war das Modell genau auf Kurs der Kommunistischen Partei.
Anfang August erschien mit Qwen3.8-Max das nächste große chinesische Modell. Ähnlich zu Kimi K3 steht Qwen3.8-Max zunächst nur per API zur Verfügung, aber die Gewichte sollen noch folgen. Auch das neue Qwen-Modell ist sehr groß, hat aber „nur“ 2,4 Billionen Parametern.
Alibaba hat Qwen3.8 die Aufgabe gegeben, das oh-my-cli-Projekt zu implementieren. Dabei handelt es sich um ein kleines Coding-Agentenframework für die Kommandozeile. Nach eigenen Aussagen hat das Modell fast 16 Tage autark daran gearbeitet, was beachtlich wäre. Auch wissenschaftliche Artikel hat das Modell überprüft, den darin verwendeten Programmcode verstanden und sogar optimiert. Der Artikel ist voller Superlative – was davon wirklich umsetzbar ist und mit welchem Aufwand, müssen unabhängige Tests verifizieren.
Qwen3.8 Max schneidet in den Benchmarks gut ab. Besonders im Bereich Webentwicklung scheint es mit den besten – auch geschlossenen – Modellen mithalten zu können. In eigenen Tests antwortet das Modell kompetent, war allerdings bei politischen Fragen äußerst schweigsam.
Leider finden sich bisher wenige technische Details zu Qwen3.8 Max. Es liegt nahe, dass sich die Architektur im Vergleich zu der offenen Qwen3.6-Reihe kaum verändert hat. Genaueres wird man erst nach der Veröffentlichung der Gewichte herausfinden. Die Community erwartet sie sehnlich – nicht nur wegen Qwen3.8 Max, sondern insbesondere auch wegen des gleichzeitig angekündigten Qwen3.8-27B. Das Vorgängermodell Qwen3.6-27B ist für viele lokale Anwender noch immer Mittel der Wahl, weil es insbesondere mit Multi-Token Prediction (MTP) gute Performance bietet (mehr als 100 Token/s auf einer RTX 5090) und sich daher hervorragend für lokale agentische Systeme eignet.
Vermutlich ist das Ende der Fahnenstange bei den großen chinesischen Modellen damit noch nicht erreicht. Die normalerweise zuverlässige Financial Times berichtet, dass die TikTok-Mutter Bytedance an einem Modell mit 10 Billionen Parametern arbeitet. Damit nähert sich die Zahl der Parameter denen, der besten geschlossenen Modelle. Bei Anthropics Mythos 5 vermutet man acht Billionen Parameter, bei Fable 5 des gleichen Anbieters fünf Billionen.
Deutlich kleiner als Kimi K3 und Qwen3.8 Max ist das DeepSeek-Modell DeepSeek-V4-Flash-0731. Dennoch ist es spannend, weil es das deutlich größere DeepSeek-V4-Pro (Preview) in vielen Benchmarks schlägt. Die unscheinbare Versionsnummer 0731 – für den 31.07.2026 – hat hier viel bewegt und das Modell enorm verbessert.
Für ein Flash-Modell hat es allerdings viele Parameter: 284 Milliarden, von denen 13 Milliarden aktiv sind. Dankenswerterweise hat DeepSeek das Modell in Vier-Bit-Präzision bei den Experten trainiert, sodass man zwar nur 168 GByte Daten herunterladen und im Speicher unterbringen muss – das aber allein für die Gewichte. Mit solchen Modellen möchte man normalerweise mit einem großen Kontext arbeiten, der zusätzlich Platz in Anspruch nimmt.
Dass das Flash-Modell als stark gilt, hat die Community auf den Plan gerufen und einige interessante Projekte hervorgebracht. An erster Stelle sei hier vLLM-Moet genannt, das den Betrieb des Modells auf einer RTX 5090 mit immerhin 31 Token/s ermöglicht. Das ist deutlich schneller, als man mitlesen kann. Wer über eine RTX 6000 verfügt, kann das Modell gar mit 161 Token/s betreiben. Noch schneller geht es mit vier RTX 5090. In beiden Fällen sind allerdings schon fünfstellige Investitionen notwendig.
Wer einen Mac nutzt, kann stattdessen ds4 ausprobieren. Dank der speziellen Quantisierung lässt sich das Modell mit 128 GByte RAM betreiben. Mit einem dazu passenden spekulativen DSpark-Modell erreicht es Geschwindigkeiten von fast 40 Token/s. Es ist möglich, mehrere Macs zu koppeln, um die Geschwindigkeit zu steigern.
Wer sich den Hardware-Overkill nicht antun möchte, kann das Modell als Cloudservice günstig nutzen. Bei nicht sensiblen Daten ist das kein Problem. Neben DeepSeek selbst gibt es auch andere Anbieter, die das Modell im Portfolio haben. Aktuell verlangt OpenRouter 0,08 US-Dollar für eine Million Input-Token und 0,252 US-Dollar für eine Million Output-Token.
Eigene Experimente bescheinigen dem Modell gute Antworten, auch die politische Färbung ist (noch?) nicht ganz so ausgeprägt wie bei anderen Modellen. Fragen zu heise, zur Erdbeere und zur Waschanlage beantwortet das Modell sicher, auch pivot_table wird bei der pandas-Frage erwähnt. Diese Performance ist neben der handhabbaren Größe vermutlich ein Grund, warum das DeepSeek-Modell im Moment zu den beliebtesten Modellen überhaupt gehört.