Nicht-deterministische Black-Box-Systeme testen

Testing ist ein entscheidender Erfolgsfaktor für selbst entwickelte KI-Anwendungen, weil es der Weg ist, ihr Verhalten transparent zu machen, Zuverlässigkeit zu belegen und Vertrauen in diese komplexen Systeme herzustellen. Die Frage ist nur, wie du dabei vorgehst. In traditionellen Softwaresystemen ist der Code transparent und testbar. In generativen KI-Systemen wie Large Language Modells (LLMs) hingegen kannst du herkömmliche Testing-Konzepte nur teilweise anwenden.
Nimm' beispielsweise die Aufgabe, eine Metrik über einen Evaluierungs-Datensatz zu ermitteln, oder die Güte einer Metrik zu bestimmen - das machst du als Entwickler*in sonst nicht.

Ein richtig implementierter Testing-Ansatz schafft einen positiven Kreislauf, in dem KI-Anwendungen durch kontinuierliches Feedback stetig verbessert werden. Das erfordert ein Evaluierungsframework mit klaren Methoden und Metriken zur Qualitätssicherung, ganz besonders in Systemen, die strengen Compliance-Anforderungen und Regularien unterliegen. Das ist genau die Art von Projekten, in denen unsere Trainer selbst arbeiten. Daher können sie in diesem Training ihre Erfahrungen teilen, Best Practices vorstellen und Hilfestellungen geben.

Es gibt neue Regeln, mit denen sich Entwickler*innen auseinandersetzen müssen. In diesem Training zeigen wir Dir, wie Du das möglichst effizient tun kannst.