LM Studio ist eine Desktop-App, die offene Sprachmodelle herunterlädt und auf deinem eigenen Rechner laufen lässt. Sie stellt einen lokalen Server bereit, der die OpenAI-API-Form spricht. Alles, was du gegen ein gehostetes Modell geschrieben hast, zeigt mit einer geänderten Zeile auf localhost.

So nutze ich es

Zwei Aufgaben. Die erste ist Massenklassifikation: ein paar tausend Anzeigentitel nach Winkel taggen, gescrapte Seiten in Körbe sortieren, entscheiden, welche von zweihundert Transkripten ein Produkt erwähnen. Pro Stück leicht, in der Menge teuer, und ein lokales Modell macht das für den Strompreis. Die zweite Aufgabe sind Erstentwürfe. Ein lokales Modell schreibt die grobe Gliederung oder die grobe Übersetzung, das gehostete Modell macht den Feinschliff. Meine Regel ist einfach: Bevor ich einen Massen-API-Aufruf bezahle, prüfe ich, ob ein lokales Modell es gut genug kann, und oft kann es das.

Überrascht hat mich, wie brauchbar ein mittelgroßes Modell auf einem Mac mit viel gemeinsamem Speicher ist. Antworten kommen schnell genug für eine Schleife über eine Datei, und die Maschine bleibt benutzbar. Was mich nervt, ist die Lücke oben: Bei allem Feinen, einer Nuance im Ton, einer schwierigen Abwägung, liegt das lokale Modell eine Stufe darunter, und das merkst du. Und der Katalog braucht Pflege. Die Suche nach einem Modell liefert zwanzig quantisierte Varianten derselben Gewichte, und die richtige zu finden dauert ein paar Versuche.

Die CLI ist der Teil, den viele übersehen. Du kannst Modelle aus einem Skript laden und entladen und die GUI zulassen. Das macht aus der Demo ein Werkzeug.

Für wen es ist

Für alle mit einem aktuellen Mac oder einer ordentlichen GPU, die wissen wollen, was lokale Inferenz kann. Es kostet nichts und dauert zehn Minuten. Lass es, wenn dein Rechner 16 GB oder weniger hat oder wenn alles, was du tust, das beste verfügbare Modell braucht; dann sind die gehosteten APIs das bessere Geschäft, und die App wird dich nur enttäuschen.

Ähnliche Tools