Können Gutachter:innen erkennen, ob die Zusammenfassung eines wissenschaftlichen Artikels mit ChatGPT oder von einem Menschen verfasst wurde? Eine Forschergemeinschaft, bestehend aus Tiermedizinerinnen und Tiermedizinern der Klinik für Kleintiere der Stiftung Tierärztliche Hochschule Hannover (TiHo) und Forschenden verschiedener europäischer Institutionen, kommt zu dem Ergebnis, je fachfremder sie sind, desto schwerer ist es für Gutachterinnen und Gutachter zu unterscheiden, ob eine wissenschaftliche Veröffentlichung von ChatGPT oder von einem Menschen verfasst wurde. Bei der Untersuchung wurden jedoch ausschließlich neurologische Artikel betrachtet und ausgewertet.
Professor Holger Volk, PhD, Leiter der Klinik für Kleintiere, interpretiert das Ergebnis der Studie, die unter dem Titel ChatGPT and Scientific Papers in Veterinary Neurology; Is the Genie Out of the Bottle? veröffentlicht wurde, so: „Die Studie zeigt, dass selbst erfahrene Gutachterinnen und Gutachter getäuscht werden können, da Sprachmodelle wie ChatGPT darauf trainiert sind, menschliche Schreibstile nahtlos zu imitieren. Die Auswirkungen für die wissenschaftliche Gemeinschaft sind tiefgreifend und erfordern eine Neubewertung herkömmlicher Bewertungskriterien.”
Dr. Samira Abani, Klinik für Kleintiere und Erstautorin der Arbeit, sagte: „Unsere Studie beleuchtet die Vorzüge und die Einschränkungen von ChatGPT beim wissenschaftlichen Schreiben im Bereich Tiermedizin. Ein negatives Beispiel ist, wenn ChatGPT zum alleinigen Schreiben der wissenschaftlichen Dokumente benutzt wird, da es zu ‚Halluzinationen‘ neigt und Sachen erfindet. Es gibt aber auch positive Beispiele: So kann die Anwendung Dokumente für die englische Sprache für nicht Muttersprachler überarbeiten und die Nachteile nicht englischsprachiger Forschender überwinden.”
Dr. Jasmin Nessler, wissenschaftliche Mitarbeiterin in der Klinik für Kleintiere, fügt hinzu: „Diese Erkenntnis unterstreicht die Fähigkeit von ChatGPT, menschliche Schreibstile nachzuahmen und kohärent klingende, plausible Texte zu erzeugen.“
