Policy zum Umgang mit generativer KI in der Forschung

Stand: Dezember 2024

Neben der Darstellung auf dieser Website können Sie die KI-Policy auch als PDF abrufen. Die Universität Freiburg möchte mit dieser Policy für einen bewussten Umgang mit generativer KI im Forschungskontext sensibilisieren und Empfehlungen zum Umgang mit entsprechenden Tools geben. Die Central Data Facility bietet allen forschenden Mitgliedern der Universität Freiburg Unterstützung bei der Umsetzung von universitären Policies an.

• ---

  Policy zum Umgang mit generativer KI in der Forschung

  Policy-genKI_UFR-de (294 kB), 18. März 2025

  ---

Inhalt

• Vorwort
• Einleitung/Hintergrund
  • Chancen und Risiken von KI
• Empfehlungen für Wissenschaftler*innen an der Universität Freiburg
• KI Tools an der Universität Freiburg.
• DFG Antragsverfahren, Begutachtung
• Liste der Beitragenden
• Ansprechpartner*innen
• Weiterführende Informationen
• Quellenverzeichnis

Vorwort

Die Anwendung generativer Künstlicher Intelligenz (genKI) in der Forschung bietet viele Chancen, die jedoch mit Risiken abgewogen werden müssen.

Die Universität Freiburg hat im Einklang mit ihrem Leitbild und dem Struktur- und Entwicklungsplan die „Digitale Transformation gestalten“ (2023, 1.), in Anlehnung an die „Living guidelines on the responsible use of generative AI in research“ der EU-Kommission (2024, 2.) und an die Leitlinien der Deutschen Forschungsgemeinschaft (2023, 3.) zum Umgang mit generativen Modellen zur Text- und Bilderstellung, die vorliegende Policy entwickelt. Dieses Dokument wurde im Nachgang der Veranstaltung „ChatGPT – KI-Tools in der Forschung“ (2023, 4.) basierend auf den dort diskutierten Punkten erstellt.

Ein verantwortungsvoller und informierter Umgang mit genKI soll Missbrauch verhindern und sicherstellen, dass KI in allen Forschungsprozessen sinnvoll und gewinnbringend eingesetzt wird.

Mit dieser Policy möchten wir für einen bewussten Umgang mit genKI im Forschungskontext sensibilisieren und Empfehlungen zum Umgang mit entsprechenden Tools geben.

Für den Gebrauch von KI-basierten Werkzeugen in Studium und Lehre sowie in der Verwaltung werden aktuell Richtlinien entwickelt.

Diese Policy muss als Momentaufnahme verstanden werden, da die Entwicklung der KI zum aktuellen Zeitpunkt nur schwer abschätzbar ist und sicherlich Änderungen notwendig werden. Daher wird dieses Dokument regelmäßig aktualisiert.

Einleitung/Hintergrund

Was ist unter generativer Künstlicher Intelligenz zu verstehen?

Der Begriff “generative KI” beschreibt KI-Systeme, die in der Lage sind, auf Anfragen (Prompts) neuartige Inhalte selbstständig zu erstellen. Diese Systeme lernen aus Daten, die sie während ihrer Trainingsphase erhalten haben, und nutzen diese Informationen, um Ausgaben zu erzeugen. Grundlage dafür sind sogenannte Large Language Modelle (LLMs), die mit sehr großen Datenmengen und sehr aufwändigen Berechnungen erstellt wurden.

Chancen und Risiken von KI

Die Nutzung von genKI bei der Text- und Datenverarbeitung bietet die Möglichkeit Texte, Bilder, Videos und Code schnell und komfortabel zu erstellen.

So sind ChatBots, die auf generativen Sprachmodellen basieren, wie beispielsweise ChatGPT oder You.com, sehr gut darin Texte zu erstellen – mit einem breiten Anwendungsspektrum von Literaturrecherchen bis zur Generation von Programmcode bzw. der Fehlersuche darin. KI-basierte Annotation von Audio-/Videoaufnahmen bzw. Synchronübersetzung finden bereits vielfach Anwendung. Das Extrahieren von Daten aus (multiplen) Publikationen und deren Zusammenfassung gelingt mittels LLMs sehr leicht und schnell. Als Übersetzungs-Tool bieten LLMs potenziell Nachteilsausgleich für Forschende, die der zu verwendenden Sprache weniger mächtig sind.

Risiken bestehen darin, dass genKI nicht neutral ist, sondern (herabsetzende) Diskriminierungen aufgrund der Trainingsdaten enthalten kann (sogenannte „biases“), oder plausibel formulierte fehlerhafte Antworten gibt, die nicht den Tatsachen entsprechen (sogenannte „Halluzinationen“). Dies fördert unter Umständen die Erstellung und Verbreitung von Falschinformation. Des Weiteren stellt wissenschaftliches Fehlverhalten etwa durch Verschweigen der genKI Anwendung ein Missbrauchsrisiko dar, sowie die etwaige Verletzung von geistigem Eigentum. Die sprachliche Qualität der erzeugten Ergebnisse ist oftmals so gut, dass die Ergebnisse kaum von durch Menschen erzeugten Inhalten zu unterscheiden sind. Weitere Risiken für die Forschung können sich aus der mangelnden Offenheit von Tools, den Gebühren für den Zugriff auf den Dienst, die Verwendung von unbekannten Eingabedaten oder durch die Konzentration auf wenige Anbieter ergeben.

Empfehlungen für Wissenschaftler*innen an der Universität Freiburg

Transparenz

Wissenschaftler*innen sollen offenlegen, welche KI-Systeme sie benutzt haben und deren Beiträge klar kennzeichnen.

Verantwortung und Verantwortlichkeit

Wissenschaftler*innen tragen weiterhin die Verantwortung für die Richtigkeit der erzeugten Daten, Texte und Ergebnisse, auch wenn diese KI-generiert oder -basiert sind.

Kennzeichnung und Dokumentation

Es muss kenntlich gemacht werden, wenn Daten und darauf aufbauende Ergebnisse KI-generiert sind.

Herkunft und Verwendung der genutzten Methoden, KI-Systeme und Datenquellen müssen vollständig dokumentiert werden, optimalerweise so, dass die Ergebnisse reproduziert werden können. Bei Lösungen, die nur über API (Application Programming Interface) ansprechbar sind (wie z. B. ChatGPT) ist eine Reproduzierbarkeit allerdings nicht immer gegeben, denn der Service ändert sich über die Zeit, und der stochastische Charakter von LLMs kann zu unterschiedlichen Ausgaben führen.

Vermeidung von Verzerrung (Bias)

Wissenschaftler*innen müssen sicherstellen, dass ihre Ergebnisse wissenschaftlich fundiert sind und sollen potenzielle Schadensszenarien bedenken und ggf. vermeiden. Die Anwendung von genKI birgt auch das Risiko von Biases (Verzerrungen), die zu diskriminierenden Entscheidungen führen können. Im Zusammenhang mit verwendeten Trainingsdaten muss systematischer Bias, der durch gesellschaftliche Bedingungen, in denen bestimmte Vorurteile in den Daten inhärent sind, vermieden werden. Bias während des Prozesses der Datenerfassung oder Datenannotation oder bei der Wahl des Algorithmus oder des Systemdesigns muss minimiert werden.

Autorenschaft in Publikationen im Zusammenhang mit KI

Das Committee on Publication Ethics (2023, 5.) stellt klar, dass KI-Systeme keine Autor*innen bei wissenschaftlichen Publikationen sein können, u. a. weil sie keine juristischen Personen sind. Die Benutzung von KI Tools muss transparent im Methodenteil von Publikationen angegeben werden.

In wissenschaftlichen Publikationen können nur die verantwortlich handelnden natürlichen Personen als Autor*innen in Erscheinung treten. Sie müssen sicherstellen, dass durch die Verwendung generativer Modelle kein fremdes geistiges Eigentum verletzt wird und kein wissenschaftliches Fehlverhalten etwa in Form von Plagiaten entsteht. An dieser Stelle sei auf die Ordnung der Albert-Ludwigs-Universität zur Sicherung der Redlichkeit in der Wissenschaft (2022, 6.) hingewiesen.

Das Potenzial für die Erzeugung von Texten, z. B. als Vorlage für Modifikationen durch die Autor*innen, kann genutzt werden, solange dies dokumentiert wird und die Autor*innen die Verantwortung für die Inhalte, Ergebnisse (wie Codes) und Quellenangaben übernehmen.

Bei Publikationen müssen die Rechte von Verlagen bzw. Urheber*innen beachtet werden, z. B. wenn Daten an kommerzielle Anbieter gegeben werden. Es ist kritisch zu bewerten, ob eine Weitergabe von Daten unentgeltlich sein kann, wenn es sich um einen kommerziellen Anbieter handelt.

DFG Antragsverfahren, Begutachtung

Der Einsatz von generativen Modellen bei der Antragstellung bei der DFG ist nach Einschätzung der DFG als solcher grundsätzlich weder positiv noch negativ zu bewerten.

Bei der Erstellung von Gutachten verbietet die DFG (2023, 3.) jedoch den Einsatz von generativen Modellen mit Blick auf die Vertraulichkeit des Begutachtungsverfahrens. Zur Begutachtung bereitgestellte Unterlagen sind vertraulich und dürfen insbesondere nicht als Eingabe für generative Modelle genutzt werden.

Siehe auch Abschnitt „Autorenschaft in Publikationen im Zusammenhang mit KI“ dieser Policy.

Verantwortungsvollen Einsatz von genKI fördern und unterstützen

Der verantwortungsvolle Einsatz und die Weiterentwicklung generativer KI sollte die Grenzen der Technologie, ihre Auswirkungen auf die Umwelt und ihre gesellschaftlichen Auswirkungen berücksichtigen.

Basierend auf den freiheitlich-demokratischen Grundwerten ist auch bei der Entwicklung und Verwendung von genKI Diskriminierung zu vermeiden, Vielfalt und Fairness zu gewährleisten und Schaden für Leib, Leben und Umwelt abzuwenden. Nicht zuletzt ist der Energieverbrauch bei Nutzung von KI Systemen, die vor allem für das Training viel Rechenleistung benötigen, zu bedenken .

Orientierung an ethischen Fragen

Wissenschaftler*innen sollen bei Nutzung von genKI ethische Grundsätze beachten. Ihnen muss auch bei der Verwendung oder Entwicklung von KI-Tools das Missbrauchsrisiko bewusst sein. Dazu gehören auch Missbrauchsszenarien für unerlaubte militärische Nutzung oder Nutzung für Straftaten (Dual Use Research of Concern). In Zweifelsfällen, insbesondere in Fällen mit hohem Missbrauchsrisiko, sollten sich Wissenschaftler*innen an die Kommission für Verantwortung in der Forschung (KVF) wenden, die solche Fragen interdisziplinär erörtert und die Forschenden beraten kann.

Einhaltung von rechtlichen Anforderungen

Die Einhaltung der Datenschutzbestimmungen und der Schutz der Rechte an geistigem Eigentum durch verantwortungsvollen und angemessenen Umgang mit personenbezogenen Daten muss gewährleistet sein. Außerdem sind Vorgaben des Exportkontrollrechts einzuhalten, wenn grenzüberschreitend publiziert oder geforscht wird, und ggf. Vorgaben des Medizinproduktrechts zu beachten.

Weiterführende Informationen

KI Tools an der Universität Freiburg (Intranet-Zugang benötigt)

Die Universität Freiburg ermöglicht ihren Mitgliedern einen datenschutzkonformen Zugang zu generativer KI.

Die Seite enthält auch Beispiele zum Energieverbrauch von generativer KI.

Forschung und Innovation in der EU zu KI

Die Kommission und die Länder des Europäischen Forschungsraums und die Interessenträger haben gemeinsam eine Reihe von Leitlinien vorgelegt, um die europäische Forschungsgemeinschaft bei der verantwortungsvollen Nutzung generativer künstlicher Intelligenz (KI) zu unterstützen (2.).

EU-Gesetz zur KI

Das “EU-Gesetz zur Künstlichen Intelligenz“ (EU AI Act, 2024, 7.) trägt der rasanten technologischen Entwicklung aller KI-Systeme Rechnung und bezieht diese in seinem Rechtsrahmen mit ein. Mithilfe des EU AI Acts sollen verlässliche Rahmenbedingungen bei der Erforschung und Anwendung von KI geschaffen werden.

Internationale Konferenz Maschinelles Lernen

Fünf Prinzipien sollen die menschliche Verantwortung in der Forschung weiterhin sichern, wie jetzt eine interdisziplinäre Arbeitsgruppe mit Mitgliedern aus Politik, Unternehmen und Wissenschaft in Proceedings of the National Academies of Sciences (PNAS) fordert (2024, 8.)

Liste der Beitragenden

• Prof. Dr. Stefan Rensing, Prorektor für Forschung und Innovation
• Prof. Dr. Stefan Günther, Chief Information Officer
• Prof. Dr. Frank Hutter, Professur für Maschinelles Lernen
• Prof. Dr. Silja Vöneky, Professur für Öffentliches Recht, Völkerrecht, Rechtsethik und Rechtsvergleichung und Vorsitzende der Kommission für Verantwortung in der Forschung
• Dr. Marc Herbstritt, Informationssicherheitsbeauftragter
• Klaus Scharpf, Datenschutzbeauftragter

Als Vorlage für den Abschnitt „Empfehlungen für Wissenschaftler*innen an der Universität Freiburg“ wurden einzelne Textblöcke am 09.07.2024 von ChatGPT (GPT-4o) erstellt.

Hinweise von Senatsmitgliedern wurden in der Folge der Beschlussfassung am 18.12.204 in diese Version integriert.

Ansprechpartner*innen