Ich kann Claude Fable nicht dazu bringen, mit einem Oneshot Prompt ein Online-Tool zu erstellen.

Seit der Veröffentlichung von Fable mehren sich online die Berichte, dass das neue Modell von Anthropic in der Lage ist, Websites und Programme aus einem einzigen Prompt zu generieren. Grund genug für mich die Fähigkeiten nach der Aufhebung des Embargos der US-Regierung zu testen. Das ernüchternde Ergebnis: Wie bei allen vorherigen Modellen von OpenAI und Anthropic ist mir bislang der berühmte Oneshot nicht gelungen. Zufriedenstellende Ergebnisse werden immer erst nach vielzähligen Versionen und mehrfachem Iterieren nutzbar.

Dabei sind die Anfangsergebnisse nicht schlecht, sondern einfach nicht das, was ich mir vorgestellt habe. Fable mag in der Lage sein ein perfekt beschriebenes Programm zu erstellen, aber ich bin nicht in der Lage, ein perfektes Programm zu beschreiben. Claude Fable kann oneshotten. Ich kann es nicht.

Im konkreten Beispiel wollte ich ein Tool zur Erstellung eines Grabenprofils (ein Querschnitt durch einen Graben) erstellen. Ich gehe intuitiv von einer visuellen Seite an das Problem heran. Als gelernter Bauzeichner habe ich diese Arten von Zeichnungen immer geometrisch mit einem CAD-Programm umgesetzt.

Dass ich auf eine bestimmte Art über diese Probleme nachdenke, habe ich überhaupt erst in der Diskussion mit Fable gemerkt. Die softwaretechnische Herangehensweise an diese Probleme ist anders, als ich sie vornehmen würde. Ich denke viel geometrisch: Abstände zwischen Rohren (Kreisen), Bezug von Linien zueinander. Zusammenhänge dieser Objekte sind mir intuitiv teilweise so klar, dass ich gar nicht erst in meiner Beschreibung darauf eingehe. Ich sehe Probleme und Lösungen (“dieser Kreis ist so zu diesem positioniert”), wie ich sie in CAD bearbeiten würde.

Bei einer softwaretechnischen Umsetzung werden diese Fragen stärker aufgebrochen. Nur weil zwei Kreise existieren, kann ich nicht direkt deren Beziehung zueinander beschreiben. Ich brauche Informationen zur Lage des Mittelpunkts, den Radien der Kreise und den Abstand in mehreren Dimensionen (hier mindestens x und y).

Innerhalb meines CAD-Programms haben die Kreise keine logische Verbindung. Ich zeichne einfach einen und dann daneben einen anderen. Dass die Kreise einen Bezug haben, ist in einer bloßen Darstellung von zwei Kreisen nicht gegeben. Die Logik entsteht in meinem Kopf. Wenn ich diesen Bezug jetzt herstellen will, werde ich gezwungen, den zu beschreiben.

Die Probleme entstehen nicht darin die Mathematik aufzusetzen und zu programmieren. Die KI kann die Logik durchaus durchführen. Aber es entstehen Fragen, die diese Themen berühren und z.B. auch das User Interface betreffen. Das beginnt schon bei der Frage, ob ich den Bezug zwischen zwei Kreisen über deren Außenabstände oder Kreismittelpunkte definieren will. Was macht für den User mehr Sinn?

Das ist kein Thema von Programmiersprache oder grundsätzlicher Beschreibung meines Problems. Es geht um Verbalisierung dessen, was man eigentlich will. Und ehrlich gesagt weiß ich das manchmal selbst nicht, bis ich es sehe.

Es gibt Teile innerhalb des Tools, die korrekt umgesetzt wurden, die sich dann aber als zu umständlich herausgestellt haben. Funktionen die ich so beschrieben habe, weil ich meine Lösungen auf andere Schwerpunkte gelegt habe. In der ersten verbalen Beschreibung eines Tools können das aber vermutlich nur Personen erfassen, die regelmäßig solche Tools erstellen. Solche, die ein intuitives Verständnis für diese Probleme entwickelt haben.

Ich bin kein Programmierer. Ich denke anders. Das ist bestimmt manchmal von Vorteil. Die Beschreibung eines einfachen Online-Tools macht es schwieriger. Es mag Personen geben, die über genug Erfahrung verfügen, dass sie aus der Beschreibung eines Tools direkt die Fehler antizipieren und Lösungen finden können. Solchen Personen wird der Oneshot mit Fable glücken. Ich selbst muss fürs erste weiter iterieren.