Open Weights Doesn't Mean Auditable

Sat, 19 Sep 2026 00:00:00 +0000

I’ve been building agent setups for a while now that do real things: shell, Git, browser, filesystem, sometimes cloud credentials. At some point the question I’d been avoiding caught up with me – could an open-weight model contain a backdoor that only wakes up a few months from now?

Short answer: yes, technically realistic. The longer answer is more interesting, because it conflates three things that need to be kept apart.

Open Weights heißt nicht auditierbar

Sat, 19 Sep 2026 00:00:00 +0000

Ich baue seit einiger Zeit Agenten-Setups, die echte Dinge tun: Shell, Git, Browser, Filesystem, teilweise Cloud-Credentials. Irgendwann kam die Frage auf, die ich lange verdrängt hatte – kann eigentlich in einem Open-Weight-Modell eine Backdoor stecken, die erst in ein paar Monaten aufwacht?

Die kurze Antwort: ja, technisch realistisch. Die längere Antwort ist interessanter, weil sie drei Dinge vermischt, die man auseinanderhalten muss.

1. Die Backdoor kann in den Gewichten stecken Link zu Überschrift

Ein Modell kann darauf trainiert werden, sich normal zu verhalten – außer wenn Bedingung X erfüllt ist. X muss keine offensichtliche Zeichenkette sein. Es kann ein Thema sein, eine semantische Situation, ein Datum im Kontext, oder eine Kombination.

Ai-Security on Klemens Wisser

Open Weights Doesn't Mean Auditable

Open Weights heißt nicht auditierbar

1. Die Backdoor kann in den Gewichten stecken Link zu Überschrift