Blog

„Zwei Seelen wohnen, ach! in meiner Brust“

Das mit dem Nichtdeterminismus beunruhigt uns Devs und Theoretiker:innen schon sehr. Wir wollen alles schön ordentlich und vorhersehbar haben. LLMs sind uns dabei ein unangenehmer Dorn im Auge. Ich verstehe das. Ich fühle den Schmerz.

Der praktische Produktmensch in mir muss aber sagen, Nichtdeterminismus ist nicht das Problem. Unsere Lebensrealitäten sind nichtdeterministisch und wir Menschen kommen im Allgemeinen ganz passabel damit zurecht.¹

Wir verwechseln Determinismus mit Steuerungsfähigkeit. Wenn ich morgens zur Arbeit fahre, weiß ich auch nicht ganz genau, wie lange ich brauchen werde. Vielleicht sind einige Ampeln rot, vielleicht ist viel Verkehr, vielleicht läuft jemand seeeehr langsam über den Zebrastreifen. Wichtig ist mir, dass ich pünktlich ankomme. Wenn es heute zu knapp wird, weil es eine neue Baustelle gibt, dann fahre ich morgen eine andere Strecke oder mache mich früher auf den Weg.

Neben unserer Tätigkeit im bananastack arbeiten Tom und ich an Ticket Triage. Was Ticket Triage im Wesentlichen macht, ist, in strukturierter Weise Einschätzungen zu verschiedenen Aspekten von Tickets durch ein LLM vornehmen zu lassen. Die Herausforderung liegt also darin, die richtigen Fragen zu stellen und die richtige Antwortstruktur vorzugeben, sodass am Ende auswertbare, visualisierbare und verständliche Daten entstehen.

Schon recht früh in der Entwicklung von Ticket Triage haben wir das LLM daher zusätzlich einen Confidence Score abgeben lassen. Wir haben das LLM also nicht nur gefragt: „Was ist deine Einschätzung?“, sondern auch: „Wie sicher bist du dir denn?“

Most web applications assume that the web UI is the main place where work happens.

You log in.
You click around.
You find the right form.
You enter data.
You submit it.

Then you repeat that across five other systems just to go through one workflow. Writing software for example can involve the issue, some info from a wiki, the code itself, Claude, and then you just want to see if your colleague is available for a quick rubber ducky session so you also open the calendar. Some of the steps are more isolated, some are relying on bigger context - context from multiple systems. Multiple Systems you have to open up, navigate through, fill out different input fields, select different options…

It already starts with the name.

Sprint: a burst of speed.

That is at least what comes to mind for me when I hear the term. And if you think of an actual sprint in sports, the mismatch shows up pretty quickly.

There is one thing that has always annoyed me about the word sprint in Scrum: the burst part.

Who does a two week sprint, immediately followed by another one?
And another one?
And another one after that?