Policy zum Umgang mit generativer KI in der Forschung

Stand: Mai 2026

Neben der Darstellung auf dieser Website können Sie die KI-Policy auch als PDF abrufen. Die Universität Freiburg möchte mit dieser Policy für einen bewussten Umgang mit generativer KI im Forschungskontext sensibilisieren und Empfehlungen zum Umgang mit entsprechenden Tools geben. Die Central Data Facility bietet allen forschenden Mitgliedern der Universität Freiburg Unterstützung bei der Umsetzung von universitären Policies an.

Policy zum Umgang mit generativer KI in der Forschung

Policy-genKI_UFR_de_Mai2026_signed_Link update (227 KB), 3. Juni 2026

Inhalt

Vorwort
Einleitung/Hintergrund
- Chancen und Risiken von KI
Empfehlungen für Wissenschaftler*innen an der Universität Freiburg
Weiterführende Informationen
Liste der Beitragenden
Ansprechpartner*innen
Quellenverzeichnis

Vorwort

Die Anwendung generativer Künstlicher Intelligenz (genKI) in der Forschung bietet viele Chancen, die jedoch mit Risiken abgewogen werden müssen.

Die Universität Freiburg hat im Einklang mit ihrem Leitbild und dem Struktur- und Entwicklungsplan die „Digitale Transformation gestalten“ (2023),[1] in Anlehnung an die „Living guidelines on the responsible use of generative AI in research“ der EU-Kommission (2024)[2] und an die Leitlinien der Deutschen Forschungsgemeinschaft (2026)[3] zum Umgang mit generativen Modellen zur Text- und Bilderstellung, die vorliegende Policy entwickelt. Dieses Dokument wurde im Nachgang der Veranstaltung „ChatGPT – KI-Tools in der Forschung“ (2023)[4] basierend auf den dort diskutierten Punkten erstellt.

Ein verantwortungsvoller und informierter Umgang mit genKI soll Missbrauch verhindern und sicherstellen, dass KI in allen Forschungsprozessen sinnvoll und gewinnbringend eingesetzt wird. Die übergeordnete Leitlinie für den Bereich Forschung sind die Regeln der guten wissenschaftliche Praxis der Deutschen Forschungsgemeinschaft (DFG)[5] sowie der Policies, Leitlinien und Leitfäden zu guter wissenschaftlicher Praxis der Universität Freiburg.[6]

Mit dieser Policy möchten wir für einen bewussten Umgang mit genKI im Forschungskontext sensibilisieren und Empfehlungen zum Umgang mit entsprechenden Werkzeugen geben.

Für den Gebrauch von KI-basierten Werkzeugen in Studium und Lehre sowie in der Verwaltung werden aktuell Richtlinien entwickelt.

Diese Policy muss als Momentaufnahme verstanden werden, da die Entwicklung der KI zum aktuellen Zeitpunkt nur schwer abschätzbar ist und sicherlich Änderungen notwendig werden. Daher wird dieses Dokument regelmäßig aktualisiert.

Einleitung/Hintergrund

Was ist unter generativer Künstlicher Intelligenz zu verstehen?

Der Begriff “generative KI” beschreibt KI-Systeme, die in der Lage sind, auf Anfragen (Prompts) neuartige Inhalte zu erstellen. Diese Systeme lernen aus großen Datenmengen, die sie während ihrer Trainingsphase verarbeiten, und nutzen die dabei gewonnenen Muster, um neue Ausgaben zu erzeugen. Grundlage für die Erzeugung von Texten sind sogenannte „Large Language“ Modelle (LLMs), die mit sehr großen Datenmengen und rechenintensiven Verfahren trainiert wurden. Ähnliche Modelle existieren für die Erzeugung von Bild, Ton und Videomaterial.

Chancen und Risiken von KI

Die Nutzung von genKI bei der Text- und Datenverarbeitung bietet die Möglichkeit Texte, Bilder, Videos und Code schnell und komfortabel zu erstellen.

ChatBots, die auf generativen Sprachmodellen basieren, wie beispielsweise ChatGPT oder Claude, sind sehr gut darin, Texte zu erstellen – mit einem breiten Anwendungsspektrum von Literaturrecherchen bis zur Generation von Programmcode bzw. der Fehlersuche darin. KI-basierte Annotation von Audio-/Videoaufnahmen bzw. Synchronübersetzung finden bereits vielfach Anwendung. Das Extrahieren von Daten aus (multiplen) Publikationen und deren Zusammenfassung gelingt mittels LLMs mit geringem Aufwand. Als Übersetzungswerkzeug können LLMs zudem einen Nachteilsausgleich für Forschende bieten, die die jeweils geforderte Sprache weniger sicher beherrschen. Agentische KI kann selbstständig komplexe Aufgaben, wie das Erstellen, Überarbeiten und Testen von Software übernehmen.

Zugleich birgt der Einsatz generativer KI Risiken. Die generierten Ergebnisse sind unter Umständen nicht neutral, sondern können Diskriminierungen aufgrund von verzerrten Trainingsdaten enthalten (sogenannte „biases“). Weiterhin können plausibel formulierte fehlerhafte Antworten erhalten werden, die nicht den Tatsachen entsprechen (sogenannte „Halluzinationen“). Dies fördert unter Umständen die Erstellung und Verbreitung von Falschinformation. Des Weiteren stellt wissenschaftliches Fehlverhalten etwa durch Verschweigen der Anwendung von genKI ein Missbrauchsrisiko dar, sowie die etwaige Verletzung von geistigem Eigentum. Die sprachliche Qualität der erzeugten Ergebnisse ist oftmals so gut, dass die Ergebnisse kaum von durch Menschen erzeugten Inhalten zu unterscheiden sind. Weitere Risiken für die Forschung können sich aus der mangelnden Offenheit von Tools, den Gebühren für den Zugriff auf den Dienst, die Verwendung von unbekannten Eingabedaten oder durch die Konzentration auf wenige Anbieter ergeben. Agentische KI kommuniziert selbstständig und unter Umständen unkontrolliert Daten von den Systemen der Nutzer an die externen Dienstanbieter der generativen Modelle.

Empfehlungen für Wissenschaftler*innen an der Universität Freiburg

Transparenz

Wissenschaftler*innen sollen offenlegen, welche KI-Systeme sie benutzt haben und deren Beiträge klar kennzeichnen.

Verantwortung und Verantwortlichkeit

Wissenschaftler*innen tragen weiterhin die Verantwortung für die Richtigkeit der erzeugten Daten, Texte und Ergebnisse, auch wenn diese KI-generiert oder -basiert sind.

Kennzeichnung und Dokumentation

Es muss kenntlich gemacht werden, wenn Daten und darauf aufbauende Ergebnisse KI-generiert sind.

Herkunft und Verwendung der genutzten Methoden, KI-Systeme und Datenquellen müssen vollständig dokumentiert werden, optimalerweise so, dass die Ergebnisse reproduziert werden können. Bei Lösungen, die nur über API (Application Programming Interface) ansprechbar sind (wie z. B. ChatGPT) ist eine Reproduzierbarkeit allerdings nicht immer gegeben, denn der Service ändert sich über die Zeit, und der stochastische Charakter von LLMs kann zu unterschiedlichen Ausgaben führen.

Vermeidung von Verzerrung (Bias)

Wissenschaftler*innen müssen sicherstellen, dass ihre Ergebnisse wissenschaftlich fundiert sind und sollen potenzielle Schadensszenarien bedenken und ggf. vermeiden. Die Anwendung von genKI birgt auch das Risiko von Biases (Verzerrungen), die zu diskriminierenden Entscheidungen führen können. Im Zusammenhang mit verwendeten Trainingsdaten muss systematischer Bias, der durch gesellschaftliche Bedingungen, in denen bestimmte Vorurteile in den Daten inhärent sind, vermieden werden. Bias während des Prozesses der Datenerfassung oder Datenannotation oder bei der Wahl des Algorithmus oder des Systemdesigns muss minimiert werden.

Autorenschaft in Publikationen im Zusammenhang mit KI

Das Committee on Publication Ethics [6] stellt klar, dass KI-Systeme keine Autor*innen bei wissenschaftlichen Publikationen sein können, u. A. weil sie keine juristischen Personen sind. Die Benutzung von KI Tools muss transparent im Methodenteil von Publikationen angegeben werden.

In wissenschaftlichen Publikationen können nur die verantwortlich handelnden natürlichen Personen als Autor*innen in Erscheinung treten. Sie müssen sicherstellen, dass durch die Verwendung generativer Modelle kein fremdes geistiges Eigentum verletzt wird und kein wissenschaftliches Fehlverhalten etwa in Form von Plagiaten entsteht. An dieser Stelle sei auf die Ordnung der Albert-Ludwigs-Universität zur Sicherung der Redlichkeit in der Wissenschaft [7] hingewiesen.

Das Potenzial für die Erzeugung von Texten, z. B. als Vorlage für Modifikationen durch die Autor*innen, kann genutzt werden, solange dies dokumentiert wird und die Autor*innen die Verantwortung für die Inhalte, Ergebnisse (wie Codes) und Quellenangaben übernehmen.

Bei Publikationen müssen die Rechte von Verlagen bzw. Urheber*innen beachtet werden, z. B. wenn Daten an kommerzielle Anbieter gegeben werden. Es ist kritisch zu bewerten, ob eine Weitergabe von Daten unentgeltlich sein kann, wenn es sich um einen kommerziellen Anbieter handelt.

Deutsche Forschungsgemeinschaft (DFG) Antragsverfahren, Begutachtung

Der Einsatz von generativen Modellen bei der Antragstellung bei der DFG ist nach Einschätzung der DFG erlaubt, solange die Nutzung offengelegt wird.

Auch in der Begutachtung ist die Nutzung von KI künftig möglich, solange die Prinzipien der Vertraulichkeit, Transparenz, Qualitätssicherung und Verantwortung erfüllt seien. Die Bedingungen sind in der Leitlinie sowie einem Whitepaper dargestellt. Die Regelungen treten zum 16. April 2026 in Kraft.3

Siehe auch Abschnitt „Autorenschaft in Publikationen im Zusammenhang mit KI“ dieser Policy.

Verantwortungsvollen Einsatz von genKI fördern und unterstützen

Der verantwortungsvolle Einsatz und die Weiterentwicklung generativer KI sollte die Grenzen der Technologie, ihre Auswirkungen auf die Umwelt und ihre gesellschaftlichen Auswirkungen berücksichtigen.

Basierend auf den freiheitlich-demokratischen Grundwerten ist auch bei der Entwicklung und Verwendung von genKI Diskriminierung zu vermeiden, Vielfalt und Fairness zu gewährleisten und Schaden für Leib, Leben und Umwelt abzuwenden. Nicht zuletzt ist der Energieverbrauch bei Nutzung von KI Systemen, die vor allem für das Training viel Rechenleistung benötigen, zu bedenken (Beispiele siehe hier).

Orientierung an ethischen Fragen

Wissenschaftler*innen sollen bei Nutzung von genKI ethische Grundsätze beachten. Ihnen muss auch bei der Verwendung oder Entwicklung von KI-Tools das Missbrauchsrisiko bewusst sein. Dazu gehören auch Missbrauchsszenarien für unerlaubte militärische Nutzung oder Nutzung für Straftaten (Dual Use Research of Concern). In Zweifelsfällen, insbesondere in Fällen mit hohem Missbrauchsrisiko, sollten sich Wissenschaftler*innen an die Kommission für Verantwortung in der Forschung (KVF) wenden, die solche Fragen interdisziplinär erörtert und die Forschenden beraten kann. Siehe auch hier: Informationen zur Guten wissenschaftlichen Praxis an der Universität Freiburg.

Einhaltung von rechtliche Anforderungen

Die Einhaltung der Datenschutzbestimmungen und der Schutz der Rechte an geistigem Eigentum durch verantwortungsvollen und angemessenen Umgang mit personenbezogenen Daten muss gewährleistet sein. Außerdem sind Vorgaben des Exportkontrollrechts einzuhalten, wenn grenzüberschreitend publiziert oder geforscht wird, und ggf. Vorgaben des Medizinproduktrechts zu beachten. Beim Einsatz agentischer KI müssen unter Umständen technische Vorkehrungen genutzt werden („Sandboxing“), um einen unkontrollierten Zugriff der Agenten auf die Daten des lokalen Systems zu vermeiden.

Weiterführende Informationen

KI-Tools an der Universität Freiburg (Intranet-Zugang benötigt)

Die Universität Freiburg ermöglicht ihren Mitgliedern einen datenschutzkonformen Zugang zu generativer KI, siehe hier.

Die Seite enthält auch Beispiele zum Energieverbrauch von generativer KI.

Forschung und Innovation in der EU zu KI

Die Kommission und die Länder des Europäischen Forschungsraums und die Interessenträger haben gemeinsam eine Reihe von Leitlinien vorgelegt, um die europäische Forschungsgemeinschaft bei der verantwortungsvollen Nutzung generativer künstlicher Intelligenz (KI) zu unterstützen (2.).

EU-Gesetz zur KI

Das “EU-Gesetz zur Künstlichen Intelligenz“ (EU AI Act, 2024)[9] trägt der rasanten technologischen Entwicklung aller KI-Systeme Rechnung und bezieht diese in seinem Rechtsrahmen mit ein. Mithilfe des EU AI Acts sollen verlässliche Rahmenbedingungen bei der Erforschung und Anwendung von KI geschaffen werden.

Internationale Konferenz Meschinelles Lernen

Fünf Prinzipien sollen die menschliche Verantwortung in der Forschung weiterhin sichern, wie jetzt eine interdisziplinäre Arbeitsgruppe mit Mitgliedern aus Politik, Unternehmen und Wissenschaft in Proceedings of the National Academies of Sciences (PNAS)[10] fordert.

Liste der Beitragenden

Prof. Dr. Stefan Rensing, Prorektor für Forschung und Innovation
Prof. Dr. Lars Pastewka, Chief Information Officer
Prof. Dr. Stefan Günther, Professur für Pharmazeutische Bioinformatik
Prof. Dr. Frank Hutter, Professur für Maschinelles Lernen
Prof. Dr. Silja Vöneky, Professur für Öffentliches Recht, Völkerrecht, Rechtsethik und Rechtsvergleichung und Vorsitzende der Kommission für Verantwortung in der Forschung
Dr. Marc Herbstritt, Informationssicherheitsbeauftragter
Klaus Scharpf, Datenschutzbeauftragter

Als Vorlage für den Abschnitt „Empfehlungen für Wissenschaftler*innen an der Universität Freiburg“ wurden einzelne Textblöcke am 09.07.2024 von ChatGPT (GPT-4o) erstellt.

Hinweise von Senatsmitgliedern wurden in der Folge der Beschlussfassung am 18.12.204 in diese Version integriert.

Aktualisierungen wurden am 06.05.2026 vorgenommen.