Künstliche Intelligenz und ChatGPT: Über die Zukunft des wissenschaftlichen Publizierens – Jubiläumssymposium zu 20 Jahren German Medical Science.

Keywords: Tagung; Entwicklungstendenz; Wissenschaftliches Arbeiten; Verlagswesen; Veröffentlichungswesen; Open Access; Medizin; Urheberrecht; Künstliche Intelligenz

Die KI ist gekommen, um zu bleiben (Berens/ Bolk, 2023)

Im Jahr 2023 feierte das Open-Access-Publikationsportal „German Medical Science" (GMS) sein 20-jähriges Bestehen, das im Dezember mit dem Symposium „Wissenschaftliches Schreiben mit KI und ChatGPT – wohin geht die Reise?" begangen wurde.

Während in den letzten Jahren die technischen Entwicklungen und Verbesserungen der Plattformen in Bezug auf Publikationsformen im Vordergrund standen, sind seit November 2022 mit ChatGPT, neue bzw. jetzt für (fast) jeden nutzbare Möglichkeiten des KI basierten Schreibens entstanden, die das wissenschaftliche Schreiben revolutionieren könnten. ChatGPT ist ein Chatbot, der anhand künstlicher Intelligenz mit Nutzenden kommuniziert. Schon mit der Vorgänger-Version GPT-3 konnten Einzelne direkt mit dem Chatbot interagieren, Fragen stellen und auch logische und praktische Antworten erhalten, dennoch waren in dieser Version die Antworten noch nicht so zufriedenstellend, dass die Mehrheit der Autorinnen und Autoren sich nicht mit diesen Möglichkeiten auseinandergesetzt hätte. Mit ChatGPT verbesserte sich neben der Fähigkeit des ChatBots, der Absicht des Nutzenden zu folgen, auch die sachliche Genauigkeit der Antworten. Während es für [11] (2023) feststeht, dass „Each milestone brings us closer to a future where AI seamlessly integrates into our daily lives, enhancing our productivity, creativity, and communication", sorgen sich andere im Zeitalter von Fake News um deren Zunahme, vor allem, wenn niemand mehr nachprüfen kann, woher die Ergebnisse kommen und wie diese entstanden sind, wie es bei der Nutzung von z. B. ChatGPT zurzeit geschieht. Auch im Bereich des Urheberrechts sind dementsprechend noch viele Fragen offen.

Im folgenden Beitrag wird es um die Chancen aber auch die derzeitigen Grenzen der generativen KI gehen: Ist die KI nur kritisch zu sehen oder kann, muss und darf man vielleicht mit ihr leben, wenn [1] und Bolk (2023) meinen: „Die KI ist gekommen, um zu bleiben". Und was sind die spezifischen Möglichkeiten der KI im wissenschaftlichen Publikationsprozess und wie können und müssen Verlage darauf reagieren?

Insbesondere mit Blick auf die Zukunft des wissenschaftlichen Schreibens unter dem Einfluss von Künstlicher Intelligenz wurde in den Vorträgen des Symposiums zum 20-jährigen Bestehen von GMS mit Referenten und Gästen diskutiert, wie die Zukunft des wissenschaftlichen Schreibens aussieht und wie Künstliche Intelligenz den Schreib-, den Review- und den Rechercheprozess beeinflusst und verändern wird.

In der Keynote „Warum uns AI zu natürlicher Intelligenz zwingt" lud Professor Dr. Henrik Müller zu einer kritisch-konstruktiven Reflektion beim Umgang mit ChatGPT ein. Bei der Deutschen Presse-Agentur (dpa) würde Künstliche Intelligenz bereits angewandt bzw. stehe kurz vor der dauerhaften Anwendung, so seine Einführung. Dennoch würden die Nachrichten bei der dpa noch von Menschen verantwortungsbewusst ausgewählt. Andererseits hätte der Springer Verlag bereits Stellenabbau angekündigt, da die KI Arbeitsplätze erübrige. Mit diesen beiden Spektren lud Müller dazu ein, Probleme zu analysieren, um daraus Chancen durch die Arbeit mit KI zu erkennen und diese umzusetzen.

So sieht Müller ein Problem darin, dass es ein konstantes Wachstum von belanglosen Inhalten gibt, die uns nicht weiterbringen; dieser Zuwachs an Belanglosem stiehlt den Forschenden die Zeit, da sie die Literatur zunächst sichten und dann bei vorhandenem Forschungsinteresse lesen müssen. Aber das Zeitbudget ist begrenzt, der Blick auf das Wesentliche wird verstellt. Dies ist allerdings eine der Herausforderungen, der sich das wissenschaftliche Publizieren schon seit Jahrzehnten durch die zunehmende Publikationsflut und falsche Anreizsysteme des Wissenschaftssystems zu stellen hat. Zusätzlich haben nun KI-geschriebene Bücher seit der Einführung von ChatGPT Online-Plattformen wie Amazon förmlich überschwemmt. Auch Verlage verzeichnen einen Anstieg der Einreichungen von KI-geschriebenen Büchern: „Nebenerwerbswebsites, die schon seit Jahren Listen von Magazinen führen, die Autoren für veröffentlichte Beiträge bezahlen, ermutigen diese nun, mit ChatGPT das schnelle Geld zu machen" (Berens/ Bolk 2023).

Deshalb zeigt Müller auf, dass (auch) in der Wissenschaft ein Produktionsschub dringend nötig ist. Forschung und Entwicklung werden zwar gefördert, aber dennoch nimmt die Produktivität in diesem Bereich weiter ab. Sind die vielen Zeitschriftenartikel, die zurzeit veröffentlicht werden, auch disruptiv? fragt Müller. Haben sie Einfluss auf die Forschung der Zukunft oder handelt es sich um einen Rückgriff auf Vorhandenes, evtl. nur mit Anwendung neuer Methoden und neuer Daten? Die Anreize in der Wissenschaft sind aktuell so gesetzt, dass man (immer mehr) publizieren muss, um Anerkennung im Wissenschaftssystem zu bekommen; die Inhalte scheinen nur noch sekundär von Bedeutung. Doch kann bzw. wird die KI daran etwas ändern? Kann die KI den wissenschaftlichen Output verbessern oder werden wir weiterhin und sogar vermehrt in belanglosen, jeweils neu zusammengesetzten Inhalten ertrinken? Schließlich rezipiert die KI (nur) vorhandene Muster und ist nur so gut, wie die Inhalte, mit der die Tools gespeist werden, allerdings ist sie letztlich auch nur so gut wie die Prompts, also die Fragen, die man an sie stellt. Sind es generische Fragen, die beliebige Antworten zulassen oder sind es spezifische Fragen, auf die die KI präzise antworten muss. Wann gilt die Schaffungshöhe der Autorinnen und Autoren, wann handelt es sich um rein duplizierte Inhalte? (vgl. auch Absatz zu den rechtlichen Aspekten weiter unten). Doch abgesehen von der Textgenerierung mit den geschilderten rechtlichen und inhaltlichen Problemen, kann die KI, mit Müller, in ausgewählten wissenschaftlichen Prozessen unterstützend wirken, sie vereinfachen und damit den Forschenden wieder mehr Zeit geben, sich auf das Wesentliche, ihre Forschung, zu konzentrieren.

Auch Verlage haben schon früh mit Künstlicher Intelligenz und wissenschaftlichem Publizieren experimentiert. Schon 2019 stellte Niels Peter Thomas auf der DINI Jahrestagung in Osnabrück in seinem Vortrag „Die Zukunft des Lesens und Schreibens von Büchern" das erste durch KI geschriebene Buch „KI und VRLithium-Ion Batteries" vor, das am 1. April 2019 erschienen ist. Auch wenn damals noch nicht alles stilistisch perfekt war, hat dieses erste maschinengenerierte Buch schon die Möglichkeiten von KI im Publikationsprozess aufgezeigt.

Zu Beginn des Forschungsprozesses steht die Ideenfindung. Durch Recherche, durch Fragenstellungen oder durch Brainstorming mit Hilfe von ChatGPT und anderer KI-Tools können aufgrund der vorhandenen großen Wissensbasis neue (interdisziplinäre) Ideen entstehen, auf die man früher nicht gestoßen wäre. Im Rahmen der Recherche kann KI „Bausteine" (Bucher/Holzweißig/Schwarzer 2024, S. 4) liefern, so dass man auf den Erkenntnissen anderer aufbauen kann. Dies, so könnte man einwenden, war zwar immer schon so; es gehört zur wissenschaftlichen Praxis, sich mit seiner Arbeit in die Wissenschaft einzuschreiben. Aber gerade bei Studierenden ist die Erarbeitung neuer Themen und ihrer Grundlagen oft sehr zeitintensiv, so dass neues Wissen, aufgrund zeitlicher Begrenzung und des vorgeschriebenen Umfanges oft nicht mehr oder nur bedingt Eingang in die (Bachelor)-Arbeit findet.

Zurzeit gibt es noch sehr unterschiedliche KI-Tools, die man zunächst kennen und dann anwenden können muss, um sie sinnvoll zu nutzen. [2], Holzweißig und Schwarzer (2024) haben sich sehr intensiv mit unterschiedlichen Tools auseinandergesetzt, die im jeweiligen Schritt des Forschungskreislaufes zur Anwendung kommen können. Berens/Bolk (2023) stellen u. a. heraus, dass LLMs (Large Language Models) geeignet sind, um große Textabschnitte zusammenzufassen. So sparen die Forschenden Zeit, müssen nicht die ganzen Artikel lesen und können bei Interesse die vollständigen Artikel vertiefend hinzuziehen. Ein weiterer unbedingter Vorteil der KI ist nach Berens/Bolk, dass man nicht nur Texte, sondern auch Transkripte eines Podcast oder Ausschnitte eines YouTube-Videos zumindest in Aufzählungspunkten zusammenfassen kann. Dennoch folgt auch in diesem Fall der Rat, die Inhalte zu überprüfen, da KI „Schwerpunkte nach mathematischen und nicht nach inhaltlichen Kriterien [setzt]!" (Berens/Bolk 2023).

Im Rahmen des GMS Symposiums gab Volker Braun von der Bibliothek der Medizinischen Fakultät Mannheim der Universität Heidelberg einen Einblick in die Praxis der Literaturrecherche und zeigte, welche KI-Tools dafür geeignet sind. U.a. zählen als geeignete Tools zurzeit Elicit, Scite, SCISPACE und Semantic Scholar. Auch Braun hebt wie alle anderen hervor, dass das Prompting entscheidend ist, um ein gutes Ergebnis zu erzielen. Seine Literaturrecherche aus der Praxis beinhaltete zudem die citation-based search method und er stellte das Tool Connected Papers vor, mit dem sich anhand gleicher Zitierungen Publikationen ähnlichen Inhalts finden. Diese werden dann z. B. in Graphen dargestellt, die es ermöglichen, Quellen leichter zu finden. Im Falle von ResearchRabbit werden die Visualisierungen mit einem Empfehlungssystem verbunden (vgl. Bucher/Holzweißig/Schwarzer 2024, S. 18). Tosk empfiehlt des Weiteren das Tool Perplexity. Insbesondere Perplexity und Elicit wurden von ihm als Suchmaschinen hervorgehoben, die ihre Quellen direkt zum dazugehörigen Inhalt anzeigen und dazu auch noch verlässlich sein sollen. Arbeitet man mit Suchstrings in der KI, sollte man im Anschluss darauf achten, dass die Schlagwörter auch nachgeprüft werden und bei Bedarf angepasst werden können, um alle relevante Literatur abgedeckt zu haben (Bucher/Holzweißig/Schwarzer 2024, S. 16). Ein Beispiel für ein Tool, das breit genutzt wird und bei Übersetzungen eingesetzt werden kann, z. B. um die zu sichtende Literatur besser zu verstehen, ist DeepL Translate. Eine weitere interessante Einsatzmöglichkeit zum Schreiben wissenschaftlicher Texte ist das Diktat, das von der KI direkt in schriftlichen Text umgesetzt wird, da manche Schreibflüsse so schneller erfolgen und evtl. Schreibhemmungen gelöst werden können (vgl. Bucher/Holzweißig/Schwarzer 2024, S. 35). Auch für die Erstellung von Abstracts, die keine geistige Schaffungshöhe erfordern, aber zu jeder wissenschaftlichen Arbeit gehören, sieht [8] (vgl. 2022/2023, S. 27) eine Einsatzmöglichkeit der KI.

Zum Ende der Schreibprozesse können Tools (wie z. B. Deepl Write) verwendet werden, die Autorinnen und Autoren bei der Korrektur von Texten unterstützen, sei es, um sperrige Texte oder komplexe Sprache zu vereinfachen, die Satzstruktur für einen besseren Lesefluss zu optimieren, die Grammatik zu korrigieren, falsch verwendete Wörter zu ersetzen oder Synonyme zu verwenden sowie Anglizismen zu vermeiden (vgl. Berens/Bolk 2023). Auch ist der Einsatz von KI zur Verbesserung des Stils sinnvoll, wobei hier die Gefahr besteht, dass man ungewollt in eine Plagiatsfalle gerät. Einige Tools sind sogar in der Lage, Argumentationslinien zu prüfen (Bucher/Holzweißig/Schwarzer 2024, S. 36) oder die Inhalte auf Struktur, Gliederung sowie Prägnanz zu überprüfen (vgl. Berens/Bolk. 2023).

Auch für die Datenanalyse ist KI im Verlauf des Forschungsprozesses von positivem Nutzen, wenn man den Datenschutz und die ethischen Richtlinien beachtet (vgl. Abschnitt rechtliche Aspekte). Oftmals handelt es sich um so riesige Datenmengen, die vom menschlichen Gehirn nicht mehr erfasst, geschweige denn verarbeitet werden können, während die KI insbesondere in der Erkennung von Mustern hilfreich ist.

Einige dieser Tools sind schon seit längerem nicht nur auf Seiten der Autorinnen und Autoren, sondern ebenso auf Verlagsseite im Einsatz, wie z. B. Plagiatssoftware. Immer wieder stößt aber auch der Review-Prozess an seine Grenzen und steht in seinen unterschiedlichen Formen immer wieder zur Diskussion. Kann dafür nicht auch generative KI eingesetzt werden? So stellt [9] (8-2023) dar, dass viele Forschende maschinell erstellte Gutachten häufig als genauso hilfreich erachten, wie von Menschen erstellte. Insgesamt wurde in der zitierten Studie zwar noch ein Mangel bei der Beurteilung des jeweiligen Forschungsansatzes festgestellt, dennoch würde aus Sicht der Forschenden der Vorteil überwiegen: „Aber gerade dann, wenn ein zeitnahes Gutachten durch menschliche Gutachter nicht verfügbar ist, können solche mit großen Sprachmodellen generierte Gutachten für die Forschenden hilfreiche Hinweise liefern. Das gilt besonders in frühen Phasen der Manuskripterstellung, also vor dem eigentlichen (menschlichen) Peer Review" ([10], 8-2023, S. 36).

Dennoch spricht sich die DFG in ihrer Stellungnahme zum Umgang mit KI (vgl. 2023) gegen den Einsatz von KI im Begutachtungs-Verfahren aus, da die Vertraulichkeit der zu begutachtenden Texte durch die Einspeisung in die KI-Tools nicht gewährleistet ist (vgl. den Abschnitt KI und die rechtlichen Aspekte).

Während sich der beschriebene Einsatz von KI-Tools in der Mehrheit auf Prozesse vor oder nach dem Schreiben beziehen, sind sich alle Autorinnen und Autoren der zitierten Literatur einig, dass das Verfassen von wissenschaftlichen Texten nicht der KI überlassen werden kann und darf. Mit Bucher/Holzweißig/Schwarzer (vgl. 2024, S. 35) ist die Erstellung von Inhalten ein wesentlicher Teil einer Eigenleistung. Zudem werden die Konsequenzen im späteren Berufsleben offensichtlich, weil einem das Verständnis für den Sachverhalt und den Kontext fehlt, den man für spätere Forschungsarbeiten benötigt. Deshalb geht es bei vielen Befürchtungen, die sich gegen den Gebrauch der generativen KI richten, vornehmlich um die Entwicklung des wissenschaftlichen Nachwuchses. Durch den Gebrauch der KI könnten die Studierenden selber irgendwann nicht mehr in der Lage sein, die KI-Ergebnisse zu überprüfen, weil ihnen einerseits die Kompetenz fehlen könnte, die KI kritisch zu hinterfragen, andererseits sie das Grundlagenwissen nicht mehr haben, die Ergebnisse inhaltlich zu prüfen. Dabei wird das Fachwissen immer wichtiger, um KI bewerten zu können.

Um diese Grenzen der Möglichkeiten von z. B. ChatGPT klar zu benennen, wird das Tool z. B. als Forschungsassistent bezeichnet, der eben nicht selbstständig forschen kann, sondern von der Führung und Konzeption der Projektleitung abhängig ist. Bucher/Holzweißer/Schwarzer sprechen allerdings lieber von Augmented Intelligence (2024, S. 5), um die generative KI nicht zu vermenschlichen. Für sie ist bei der Nutzung der generativen KI ein großes Problem, dass „die generative KI mitunter halluziniert, sie Fehler reproduziert und Verzerrungen beinhaltet. Daher bedingt die Nutzung derartiger Tools ein gesteigertes Maß an kritischem Denken. Statt das Denken zu ersetzen, zielt der Einsatz von KI-Tools auf die Verbindung von künstlicher und menschlicher Intelligenz im Sinne einer Augmented Intelligence ab. Die Tools können dabei die Effizienz steigern, sie können aber keine Verantwortung übernehmen." (Bucher/Holzweißig/Schwarzer 2024, S. VI–VII).

Daher schlagen Berens/Bock (2023, 36) vor, das „Zwei-Quellen-Prinzip aus dem Journalismus an[zuwenden] und [...] Informationen, Zahlen, Daten und Fakten [zu prüfen]." Auch sollte man nur Fakten erfragen, die man leicht überprüfen kann. Ebenso ist ChatGPT kein Tool, das qualitative Referenzen abgibt: „Lassen Sie ChatGPT keine komplexen Berechnungen oder generischen Analysen durchführen. Das System macht Ihnen unter Umständen einfach vor, solche Aufgaben für Sie zu erledigen – mit falschem Ergebnis. OpenAI rät auch mit GPT-4 weiterhin offen und transparent davon ab, ChatGPT als Such- oder Faktenmaschine zu verwenden. Nutzen Sie es als Inspirationsmaschine!" (Berens/Bock 2023, 36).

Bereits bei der Ideenfindung und Recherche ist zu beachten, dass die KI an ihre Grenzen stößt, wenn es keine Verbindung zum Internet gibt (vgl. Marr 2023). Während einige Tools bereits an das Internet angeschlossen sind und damit ein ständiger Aktualisierungsgrad vorliegt, ist es bei anderen Tools so, dass es immer einen gewissen Zeitraum benötigt, bis eine Aktualisierung angestoßen wird; da „die Entwicklungskosten eines großen Sprachmodells sehr hoch sind, werden die Modelle nicht laufend aktualisiert" betonen Bucher/Holzweißig/Schwarzer (2024, S. 60). Doch die Ergebnisse sind abhängig von den vorhandenen Daten und oft ist der Aktualitätsstand schwierig zu ermitteln. Auch benötigt der Chatbot eine ausreichend große Menge an Daten, um genug Masse zur Abstraktion bzw. zur Berechnung zu haben, während der Mensch von einem einzigen Beispiel ausgehend zu generalisieren vermag (vgl. Bucher/ Holzweißig/ Schwarzer (2024), S. 7). Gerade deshalb sind die Tools auch und insbesondere sehr gut geeignet für Text und Data Mining: Durch eine automatisierte Analyse „von einzelnen oder mehreren digitalen oder digitalisierten Werken im nicht-kommerziellen oder akademischen Kontext" könnten Muster, Trends und Zusammenhänge hergestellt werden (vgl. Berens/Bolk 2023), wie es ein Mensch nicht (mehr) vermag.

Beim GMS-Symposium wurde das Thema ChatGPT und wissenschaftliches Schreiben auch mit Blick auf die urheberrechtlichen Aspekte durch Fabian [13] vom FIZ Karlsruhe beleuchtet. Zunächst stellte er heraus, dass z. B. der Stil einer Person nicht dem Urheberrecht unterliegt und somit frei nutzbar ist. Auch Inhalte sind nicht geschützt, sondern immer die konkreten Werke – seien es Texte oder Bilder. Ein wichtiger Faktor bei der Frage nach dem Urheberrecht der Ergebnisse, die durch die KI generiert werden, sind die sogenannten Prompts, die durch die Nutzenden angestoßen werden (vgl. auch Berens/Bolk 2023). Die KI an sich, da sind sich alle Autorinnen und Autoren einig, ist keine rechtsfähige Einheit, daher kann ihr kein Urheberrecht zugesprochen werden. Doch umso präziser und detaillierter der Prompt gestellt wird, umso höher wird die Schaffungshöhe sein und damit das zu schützende Urheberrecht. „Wo da aber die Grenze liegt, werden bei uns auf absehbare Zeit vermutlich erst die Gerichte klären können." (Berens/Bolk 2023).

Mit Blick auf die Wissenschaft ermahnte [14] jedoch, dass das Zirkulieren von Wissen das Ziel sein müsse und möglichst keine Nutzungsvorbehalte geäußert oder auf das Urheberrecht gepocht werden sollte. Open Access sollte gefördert werden und dazu möglichst freie Lizenzen vergeben werden. Wann jedoch kann man bei der Nutzung von KI von Urheberrecht sprechen und z. B. Creative Commons Lizenzen (CC) zur einfachen Nachnutzung der eigenen Werke vergeben? Rack zeigt in dem Zusammenhang drei Szenarien auf:

A) Das Werk wurde nur durch KI generiert. Es besteht kein Urheberrechtsanspruch, man sollte die Erstellung durch die KI aber transparent machen und auf die Public Domain verweisen.

B) Das Werk ist ein Mix, wurde also sowohl von KI als auch vom Menschen erschaffen, indem beispielsweise die Abbildung KI generiert (und somit Public Domain) und der Text von einer Person erstellt wurde und somit unter eine freie Lizenz (z. B. CC BY) gestellt werden kann.

C) KI wurde nur als Werkzeug verwendet, die Schaffungshöhe ist eindeutig gegeben: Dann kann das ganze Werk unter eine CC BY Lizenz gestellt werden.

Allerdings unterstreicht Rack, dass das Urheberrecht und die Gute Wissenschaftliche Praxis nicht unbedingt immer gleich zu setzen sind. So ist es zwar urheberrechtlich legitim, ein von der KI generiertes Werk, das entsprechend unter einer Public Domain steht, zu verwenden bzw. zu veröffentlichen, der Guten Wissenschaftlichen Praxis entspricht es aber, die Nutzung der KI zumindest transparent darzustellen (vgl. auch Abschnitt Vorgaben von Forschungsförderern und Verlagen zum Umgang mit KI). Da die Fälle in der Praxis doch meist nicht so eindeutig zu klären sind, verweist Rack auf die Checkliste, die vom „Der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit" herausgegeben wurde.

Insgesamt ergeben sich bei der Nutzung von KI weitere rechtliche Unsicherheiten. Es gibt die Perspektive der Autorinnen und Autoren, die sich des Inhalts der KI bedienen und entsprechende Quellen und Belege angeben müssen und das der Rechteinhabenden, deren Beiträge in den KI-Tools hinterlegt sind und dafür auch entsprechend honoriert werden möchten bzw. nach dem Urheberrecht auch müssten. Im Musikbereich wäre ein ähnliches Modell wie die deutsche GEMA oder bei Texten die VG Wort denkbar. Dabei ist wichtig zu unterscheiden, aus welchen Daten die KI gespeist bzw. die eigene Anfrage generiert wird. Sind es eigene Daten, die verwendet werden oder alle verfügbaren Daten? Werden auch Daten mit einbezogen, deren Rechte bereits der Allgemeinheit zur Verfügung stehen oder sind auch Daten im Pool, bei denen das Urheberrecht greifen müsste? (vgl. auch Berens/Bolk 2023). Das Problem dabei ist, dass die Verwendung der Trainingsdaten der KI oft ohne Kenntnis bzw. Zustimmung der Urhebenden erfolgt und dies in den Ergebnissen nicht kenntlich gemacht wird. So wissen die (Neu-)Autorinnen und Autoren nicht, ob „sich die Trainingsdaten aus rechtlich zweifelhaften Quellen" zusammensetzen oder nicht (vgl. Berens/Bolk 2023).

Gleichzeitig beanspruchen die KI-Hersteller nicht nur die Nutzungs- und Verwertungsrechte ihrer Trainingsdaten, sondern auch die der durch die Nutzenden eingegeben Daten, also auch der Ergebnisse, die am Ende der Nutzung stehen. Sollte man z. B. also das Tool für die Zusammenfassung oder Übersetzung eines eigenen Textes nutzen wollen, gehen diese Inhalte automatisch in die Rechte der Betreiber der KI über. Dokumente mit Firmengeheimnissen, persönlichen Daten etc. sollten daher nicht in die KI eingespeist werden bzw. im Umkehrschluss: Die KI steht für hochsensible Dokumente zurzeit nicht zur Verfügung, außer sie sei datenschutzrechtlich entsprechend abgesichert. Anzuraten ist deshalb die Verwendung eines KI-Tools, das auf die rechtlich saubere Verwendung von Trainingsdaten achtet.

Ein wichtiger Aspekt hinsichtlich der Ethik von KI ist – wie schon bei der Frage nach dem Recht –, die Urheberschaft. Von wem stammen der Text oder das Bild, wer hat sie geschaffen? Dabei geht es eher um eine moralische Frage: Will ich mir fremdes Eigentum aneignen und dadurch mehr Reputation erlangen? Damit wird nicht nur meine Reputation vermehrt, sondern ich stehle einer anderen diese. Letztlich ist dies aber kein neues Phänomen der KI. Durch Gutachtentätigkeiten werden Forschungsergebnisse auch vor Publikation bekannt und nicht umsonst verweist die DFG innerhalb des Kodex der Guten Wissenschaftlichen Praxis explizit auf die Notwendigkeit der Geheimhaltung und der Verpflichtung zu keiner Vorteilsnahme aus der Gutachtentätigkeit.

Ein anderer ethischer Aspekt, der bei der Verwendung der KI beachtet werden muss, ist, dass die Trainingsdaten nicht spezifisch ausgewählt werden, und damit inhaltlich nicht diversifiziert sind. Die immer mitschwingenden subjektiven Bewertungen können von einer KI (noch) nicht erfasst werden. Aussagen werden aus ihrem Kontext gerissen und generieren möglicherweise in einem anderen Kontext völlig neue inhaltliche Aussagen, die eventuell sogar im Widerspruch zum Original stehen. Zudem kann es zu Verhärtungen von (z. B. sexistischen oder rassistischen) Vorurteilen führen, wie nicht nur Bucher/Holzweißig/Schwarzer herausstellen (vgl. 2024, S. 53).

Noch eine weitere, in letzter Zeit immer häufiger genannte Herausforderung von KI, ist der Energieverbrauch, der beispielsweise durch die Bereitstellung der Server entsteht. Auch die Rechenleistungen der Maschinen verbrauchen sehr viele Ressourcen. Außerdem könnte auch die Finanzierung der Tools erneut eine Schere zwischen Besserverdienenden, Angehörigen wissenschaftlicher Institutionen versus Privatpersonen sowie zwischen Ländern unterschiedlicher Bruttosozialeinkommens aufmachen, wie es bereits bei Open Access diskutiert wird.

Neben anderen politischen Stakeholdern hat die DFG schon früh reagiert und eine Stellungnahme zum KI-Einsatz verfasst. Sie stellt dabei insbesondere die Bedeutung von „Transparenz und Nachvollziehbarkeit des Forschungsprozesses und der gewonnenen Erkenntnisse für Dritte" als Gute Wissenschaftliche Praxis heraus und verweist auf die Verpflichtung der Selbstkontrolle von Wissenschaftlerinnen und Wissenschaftlern, für die Einhaltung der Grundprinzipien wissenschaftlicher Integrität einzustehen. Deshalb sollten die Autorinnen und Autoren offenlegen, „ob und welche generativen Modelle sie zu welchem Zweck und in welchem Umfang eingesetzt haben". Des Weiteren wird klar definiert, dass in wissenschaftlichen Publikationen „nur die verantwortlich handelnden natürlichen Personen als Autorinnen und Autoren in Erscheinung treten". Auch darf kein fremdes geistiges Eigentum verletzt oder plagiiert werden (vgl. DFG 2023). Mit Blick auf das Review-Verfahren im wissenschaftlichen Publikationsprozess ist die Feststellung der DFG interessant, dass zwar bei der Antragstellung der Gebrauch von generativer KI „im Prozess der Begutachtung, Bewertung und Entscheidung als solcher grundsätzlich weder positiv noch negativ zu bewerten ist", aber dass bei der Erstellung von Gutachten „der Einsatz von generativen Modellen mit Blick auf die Vertraulichkeit des Begutachtungsverfahrens unzulässig" ist (vgl. DFG 2023). Das bedeutet: Die Möglichkeit der Nutzung und die Verantwortung der Nutzung liegen bei den Autorinnen und Autoren; den Begutachtenden ist es aber nicht möglich, diese Werkzeuge zu nutzen. Auch wenn es auf den ersten Blick gerade für Gutachten wünschenswert wäre, KI-Tools einsetzen zu können, da es im Wissenschaftsbetrieb oftmals an geeigneten Gutachterinnen und Gutachtern fehlt oder sich der Review-Prozess unverhältnismäßig in die Länge zieht, ist das Verbot mit Blick auf die Rechteabgabe bei Nutzung der KI-Tools durchaus verständlich, da die Vertraulichkeit eines Reviews nicht mehr gewahrt sein könnte.

Auch die Ständige Wissenschaftliche Kommission (SWK) der KMK hat am 17. Januar 2024 ein Impulspapier zu „Large Language Models (LLM) und ihre Potenziale im Bildungssystem" vorgelegt. Wie in anderen Fällen findet man auch hier u. a. die Aufforderung, die verwendeten Prompts aufzulisten, um die Nutzung der KI so transparent wie möglich zu gestalten.

Ebenso gibt die Europäische Kommission den technischen Entwicklungen einen rechtlichen Rahmen, damit „KI-Systeme, die in der EU verwendet werden, sicher, transparent, ethisch, unparteiisch und unter menschlicher Kontrolle sind". Dazu wurde 2019 die „Ethik-Leitlinien für eine vertrauenswürdige KI" veröffentlicht, die stetig aktualisiert wird. Das Dokument soll die Grundlage für das weltweit erste Gesetzeswerk zur Regulierung künstlicher Intelligenz werden. Um dieses Ziel zu erreichen, teilt die EU KI-Systeme in verschiedene Risikoklassen ein, die unterschiedlich streng reglementiert werden sollen. Dabei muss „Der Wunsch nach größtmöglicher Freiheit zur Nutzung von technologischem Fortschritt, wie ihn die KI-Tools verkörpern, [...] nach Ansicht der Regulierer hinter drängenden moralischen und grundlegenden gesellschaftlichen Überlegungen zurücktreten" (Berens/Bolk, 2023).

Eine andere interessante und notwendige Frage zum wissenschaftlichen Publizieren mit KI ist das Verhalten von Verlagen sowie der scholar-led geführten Publikationsplattformen. König (6-2023, S. 14–17) stellt dar, dass in einigen Fällen auch Verlage reagiert haben und in ihren Policies vorgeben, ob und wie Autorinnen und Autoren KI beim Schreiben ihrer wissenschaftlichen Texte einsetzen dürfen. So findet sich bei der Zeitschrift „Science" am 27.Januar 2023 im Editorial die Aussage, „dass die Verwendung generativer KI zur Erstellung von Texten, Abbildung oder Grafiken im Schreibprozess zukünftig nicht gestattet ist" (König 6-23). In der zitierten Studie wurden 100 der größten wissenschaftlichen Verlage und Zeitschriften nach Policies zu KI durchsucht, mit der Einschränkung, dass 30 der Verlage als Raubverlage gelten. Die Untersuchung ergab, dass 17 Prozent der untersuchten Verlage spezifische Richtlinien zum Umgang mit KI für Autorinnen und Autoren erstellt haben und dass 55 Prozent der 17 Verlage Mitglied im Committee on Publication Ethics (COPE) sind. Allerdings zeigt sich, dass es notwendig ist, eine Unterscheidung zwischen den Verlagen und den in ihnen erscheinenden Zeitschriften zu machen: 70 Prozent der untersuchten Journals haben bereits Leitlinien für die Nutzung im Umgang mit generativer KI veröffentlicht und davon sind 80 Prozent in COPE. Vier der Verlage verbieten direkt die Nutzung von KI bei Erstellung eines Manuskripts und in der Policy eines Verlags findet sich ein konkretes Verbot zu von KI-generierten Bildern. Bei drei Verlagen wird die Verwendung von KI für den Schreibprozess explizit erlaubt und einige erwähnen dafür speziell Sprachmodelle und ChatGPT als mögliche Tools. Es gibt allerdings „keine oder nur geringe Übereinstimmung bei den Verlagen und Zeitschriften, wie und wo die Nutzung generativer KI durch Autorinnen und Autoren in einer Publikation offengelegt werden soll, z. B. bei den verwendeten Methoden, bei den Danksagungen, in der Einleitung etc." (König, 6-2023, S. 16). Und bei zwei der Zeitschriften steht der formulierte Umgang im direkten Widerspruch zu denen des Verlags (vgl. König, 6-2023, S. 16).

Insgesamt gibt es bereits jetzt „mehrere hundert Fachartikel die sich mit dem Thema beschäftigen" (König 6-2023, S. 14) und es werden täglich mehr. Eine zusätzliche Herausforderung ist die schnelle fortschreitende Technik, so dass heute getätigte Aussagen über spezifische KI-Tools schnell veraltet sein können.

Dass man die neuesten Entwicklungen auch mit einer Prise Humor sehen kann, zeigte Christian Vogel (Vinzenz Gruppe, Wien) im abschließenden Satirebeitrag „ChatGMS – jetzt endlich ganz wirklich echte Unterstützung für Wissenschaftler:innen durch KI", in dem er den möglichen Einfluss von KI auf wissenschaftliches Schreiben mit einem humoristischen Blick darstellte.

Die weiterhin wichtigen Fragen im Umgang mit KI, bleiben aber die Fragen nach der rechtlichen und ethischen Zulässigkeit der Verwendung sowohl der Trainingsdaten als auch der Ergebnisse bzw. die Legitimität der Inhalte (Verhärtung von Vorurteilen etc.) und die Erkenntnis, dass ein konzeptioneller Umgang mit der KI und die sorgfältige und verantwortungsvolle Überprüfung der Ergebnisse immer notwendig ist. Letztlich muss abgewogen werden, ob die Einarbeitung und evtl. auch die Lizenzkosten den Gebrauch der KI-Tools rechtfertigen.

Insgesamt sind sich alle Autorinnen und Autoren, die sich mit KI und wissenschaftliches Schreiben beschäftigen einig, dass KI, wenn man die entsprechenden Tools mit Bedacht und Sorgfalt nutzt, einen sinnvollen Beitrag zur Verbesserung des wissenschaftlichen Publizierens leisten kann und wird. Insbesondere ist ein Einsatz für zeitraubende Analyse und Routineaufgaben sinnvoll, wie oben beschrieben. Oder, wie Müller in seiner Keynote ausführte, müssen die Anreize in der Wissenschaft so gesetzt werden, dass es nicht um Reproduktion und immer wieder das Gleiche geht, sondern, befreit von Routinetätigkeiten, Freiräume geschaffen werden, um etwas Neues zu denken, damit auch Innovationspotentiale geschaffen werden und Interdisziplinarität neue Ansätze und Forschungsmöglichkeiten bietet. Müller sieht in der Nutzung der KI im heutigen Wissenschaftsbetrieb keine Wahl; nur mit ihr können echte Fortschritte erzielt werden.

Die Nutzung von KI-Tools wird verstärkt eine Aufgabe von Verlagen und scholar-led geführten Publikationsplattformen sein. Im an das Symposium folgende GMS-Herausgebendentreffen 2023 wurden gemeinsam die Anforderungen an die Publikationsplattform diskutiert, Bedarfe und Herausforderungen aufgenommen. Der Einsatz von KI kostet Eingewöhnungszeit, sorgfältige Auswahl der Tools, Finanzierung und benötigt Augenmaß auf beiden Seiten (Verlag/Publikationsplattform Betreiber und Autorinnen bzw. Autoren). Diese Herausforderung anzunehmen und die Autorinnen und Autoren dabei zu begleiten, ist eine Aufgabe, der sich Verlage bzw. Publikationsplattform-Betreiber (nicht nur) durch die Erarbeitung von Richtlinien stellen müssen, um das wissenschaftliche Publizieren bestmöglich zu gestalten.