KI-gestütztes Peer Review: Wie Data2Paper Ihren Artikel mit fünf unabhängigen Gutachtenden prüft

Sie haben einen Artikel fertiggeschrieben. Daten geprüft, Argumentation überarbeitet, Literaturverzeichnis formatiert. Jetzt stehen Sie vor der Wahl: direkt einreichen und Wochen oder Monate auf das Reviewer-Feedback warten — oder strukturierte Kritik vor der Einreichung einholen.

Genau dafür ist Paper Review von Data2Paper gedacht. Sie laden einen Artikel als PDF hoch, und das System liefert eine vollständige redaktionelle Einschätzung — nicht von einer generischen KI, sondern von fünf unabhängig konfigurierten Gutachtenden, die Ihren Artikel jeweils aus einer anderen Perspektive prüfen. Sie erhalten eine redaktionelle Entscheidung, eine priorisierte Revisions-Roadmap, individuelle Gutachten und eine Prüfung der Zitationsintegrität.

Dieser Beitrag erklärt, was in jeder Stufe passiert, wer die fünf Gutachtenden sind, wie die redaktionelle Entscheidung zustande kommt und wie die Ergebnisse in der Praxis aussehen.

Was Sie hochladen

Sie laden Ihr Manuskript als PDF hoch (alternativ DOCX, TEX, MD oder TXT, bis 20 MB). Sie wählen eine Ausgabesprache für das Review-Feedback und eine Prüftiefe:

• Quick: Zwei Gutachtende (Editor-in-Chief und Methodik), Dauer rund 15 Minuten. Geeignet für frühe Entwürfe oder schnelle Plausibilitätsprüfungen.
• Full: Alle fünf Gutachtenden plus Integritätsprüfung, Dauer rund 30 bis 45 Minuten. Empfohlen vor einer Journal-Einreichung.

Mehr Eingaben sind nicht nötig. Keine Konfiguration der Gutachter-Expertise, keine Templateauswahl, kein Vorbereitungs-Setup.

Stufe 1: Manuskriptaufbereitung

Das System parst Ihr PDF und überführt es in eine strukturierte Repräsentation. Das ist keine simple Textextraktion — es kommen markitdown und pdfplumber zum Einsatz, um Tabellen, Abbildungen, Formeln und Abschnittshierarchien zuverlässig zu erfassen.

Sie erhalten eine normalisierte Markdown-Version Ihres Artikels (paper.md) und eine Metadaten-Datei (paper_metadata.json) mit:

• extrahiertem Titel und Autor·innen-Liste
• Abstract-Text
• Abschnittsstruktur mit Überschriften
• erkannter Sprache
• Anzahl Referenzen
• Anzahl Abbildungen und Tabellen

Sollte das PDF ein gescanntes Bild ohne Textebene sein, bricht die Pipeline ab und meldet das transparent — statt aus OCR-Artefakten unbrauchbare Ergebnisse zu erzeugen.

Stufe 2: Fachfeldanalyse und Reviewer-Konfiguration

An dieser Stelle unterscheidet sich Paper Review grundlegend vom Ansatz „Artikel in ChatGPT einfügen und um Feedback bitten".

Das System liest den aufbereiteten Artikel und analysiert sechs Dimensionen:

1. Hauptdisziplin — In welchem Fach bewegt sich der Artikel? (z. B. „Qualitätssicherung im Hochschulwesen")
2. Sekundärdisziplinen — Welche angrenzenden Felder werden berührt?
3. Forschungsparadigma — Quantitativ, qualitativ, Mixed-Methods oder theoretisch?
4. Methodischer Typ — RCT? Survey? Fallstudie? Meta-Analyse?
5. Zieljournal-Niveau — Liest sich der Artikel wie eine Q1-, Q2-, Q3- oder Q4-Einreichung?
6. Manuskriptreife — Wie ausgereift ist der Entwurf?

Auf Basis dieser Analyse generiert das System fünf maßgeschneiderte Gutachter-Personas. Das sind keine generischen „Reviewer 1, Reviewer 2"-Etiketten. Jede Persona hat ein spezifisches akademisches Profil, fachliche Expertise und einen kalibrierten Strenge-Grad, die zu Ihrem Fach und Ihrer Methodik passen.

Beispiel: Bei einer Mixed-Methods-Studie zu Burn-out bei Pflegekräften auf Intensivstationen könnte das System konfigurieren:

• einen EIC mit Erfahrung als Herausgebenden pflegewissenschaftlicher Journals und Schwerpunkt Gesundheitsversorgungsforschung
• einen Methodik-Reviewer, kalibriert auf Mixed-Methods-Designs mit klinischen Befragungen
• einen Domänen-Reviewer mit Kenntnis der Burn-out-Literatur im Gesundheitswesen, der prüft, ob die zentralen Frameworks zitiert sind
• einen Perspektiv-Reviewer mit gesundheitspolitischer oder organisationspsychologischer Brille
• eine·n Devil's Advocate, der gezielt nach Confounding-Variablen in beobachtungsbasierten Gesundheitsstudien sucht

Durch diese dynamische Konfiguration ist das Feedback an Ihren konkreten Artikel adressiert — und nicht aus einer generischen Review-Vorlage abgeleitet.

Stufe 3: Parallele Begutachtung und Integritätsprüfung

Im Full-Modus laufen fünf Begutachtungsprozesse gleichzeitig.

Editor-in-Chief (EIC)

Der EIC bewertet den Artikel aus Sicht eines Journal-Herausgebenden: Ist die Arbeit originell? Ist der Beitrag relevant? Folgt die Struktur den Erwartungen des Zieljournals? Trägt die Argumentation vom Abstract bis zum Fazit?

Der EIC vertieft sich nicht in statistische Details oder Literaturabdeckung — das übernehmen die spezialisierten Gutachtenden. Sein Fokus: Verdient diese Arbeit eine Publikation, und warum?

Methodik-Reviewer

Diese·r prüft die Stringenz des Forschungsdesigns: Stichprobenstrategie, Analyseverfahren, statistische Berichterstattung, Power-Analyse, APA-Konformität. Wenn Sie einen Mediationseffekt postulieren, wird geprüft, ob Ihre Analyse die Aussage tatsächlich stützt. Wer einen p-value von 0,04 als „hochsignifikant" beschreibt, wird darauf hingewiesen.

Die Kalibrierung folgt dem Forschungsparadigma. Eine qualitative Fallstudie wird auf theoretische Sättigung und Kodier-Transparenz geprüft, nicht auf Effektstärken.

Domänen-Reviewer

Diese·r prüft Literaturabdeckung und theoretische Verortung: Werden die Grundlagenarbeiten zitiert? Ist der theoretische Rahmen passend? Wird disziplinäre Terminologie präzise verwendet? Bringt der Beitrag den Diskurs tatsächlich voran?

Fehlt eine Schlüsselarbeit — die Art von Lücke, die Fach-Reviewer·innen sofort auffallen würde — markiert sie der Domänen-Reviewer.

Perspektiv-Reviewer

Die transdisziplinäre Linse. Diese Persona sucht blinde Flecken: ungeprüfte Annahmen, übersehene Stakeholder-Perspektiven, praktische Umsetzbarkeit und alternative disziplinäre Lesarten der Befunde.

Devil's Advocate

Der Devil's Advocate ist kein klassisches Gutachten — bewertet und empfiehlt nicht. Aufgabe: Argumentation unter Stress setzen, schwächste logische Verbindung aufspüren, Evidenzlücken benennen, das stärkste Gegenargument formulieren und auf Confirmation Bias prüfen.

Die Leitfrage: „Wenn jemand diesen Artikel auseinandernehmen wollte — wo würde er ansetzen?" Diese adversariale Perspektive können die wenigsten Autor·innen auf die eigene Arbeit anwenden.

Integritätsprüfung (parallel)

Während die Gutachtenden lesen, läuft eine separate Integritätsprüfung Ihrer Zitate:

• Referenzprüfung: Jede einzelne Referenz wird online recherchiert (kein Stichprobenverfahren). Klassifikation: VERIFIED (auf Verlagsseiten mit übereinstimmenden Metadaten gefunden), NOT_FOUND (nach mehreren Suchläufen nicht bestätigt) oder MISMATCH (eine ähnliche, aber abweichende Publikation existiert — Hinweis auf eine vermischte Halluzination).
• Genauigkeit des Zitatkontexts: Stichprobenartige Prüfung von mehr als 30 % der Zitate, ob das zitierte Argument der Originalquelle entspricht.
• Datenkonsistenz: Tauchen die gleichen Zahlen im gesamten Artikel konsistent auf? Stimmt Tabelle 3 mit den Aussagen in der Diskussion überein?
• Originalitätsprüfung: Stichprobenhafte Absätze werden gesucht, um mögliche Übernahmen aus bereits publizierten Arbeiten zu markieren.

Das Ergebnis ist integrity_verification.json mit einer Aufschlüsselung pro Zitat. Damit fängt das System Probleme ab, die menschlichen Reviewer·innen oft entgehen — vor allem fabrizierte oder teilweise halluzinierte Referenzen, die entstehen, wenn Zitate aus dem Gedächtnis rekonstruiert werden.

Was jedes Gutachten enthält

Jeder Gutachtertext folgt einer strukturierten Vorlage:

• Empfehlung: Accept / Minor Revision / Major Revision / Reject
• Confidence-Score (1 bis 5): Wie sicher ist die Einschätzung?
• Stärken (3 bis 5): Konkrete gelungene Aspekte mit Verweis auf Abschnitte
• Schwächen (3 bis 5): Jeweils nach Schweregrad gekennzeichnet — Critical, Major oder Minor
• Abschnittsweise Kommentare: Detailliertes Feedback zu jedem Teil
• Fragen an die Autor·innen (2 bis 4): Punkte, die Klärung brauchen
• Kleinere Anmerkungen: Sprache, Formatierung, Abbildungsqualität
• Dimensionale Bewertungen: Originalität, methodische Stringenz, Evidenzqualität, Argumentationsklarheit, Schreibqualität

Stufe 4: Redaktionelle Synthese

Der Editorial Synthesizer liest alle fünf Gutachten und erstellt die finalen Deliverables. Das ist kein simples Mittel — es greift ein strukturierter Schiedsverfahren-Mechanismus.

Konsensklassifikation

• Vier-Wege-Konsens: Alle vier Hauptgutachtenden stimmen überein (EIC + Methodik + Domäne + Perspektive). Diese Punkte müssen die Autor·innen adressieren.
• Drei-Wege-Konsens: Drei von vier stimmen überein. Die abweichende Stimme wird benannt; die Mehrheitsmeinung sollte adressiert werden.
• Pattsituation: Zwei gegen zwei. Der EIC entscheidet auf Basis von Evidenzqualität und Expertisenähe.

Confidence-Gewichtung

Ein Gutachten mit Confidence 5 (Domänenexpertise, sichere Einschätzung) zählt voll. Confidence 2 (außerhalb des primären Fachgebiets) hat reduziertes Gewicht. Confidence 1 wird als Fußnote vermerkt, aber vom Konsens ausgeschlossen.

Integration des Devil's Advocate

Kritische Hinweise des Devil's Advocate fließen nicht in die Konsenszählung ein, werden aber in die Entscheidung übernommen, wenn mindestens ein Hauptgutachten sie stützt. So kann der DA keine Reject-Entscheidung allein erzwingen — relevante Kritikpunkte gehen aber nicht verloren.

Schiedsprinzipien

Bei Uneinigkeit folgt der Synthesizer einer Hierarchie:

1. Evidence-First: Welche Seite stützt ihre Position empirisch besser?
2. Expertise-First: Liegt die Frage innerhalb oder außerhalb der angegebenen Expertise?
3. Conservative Principle: Im Zweifel Antwort einfordern, statt vorschnell verwerfen.
4. Author Autonomy: Manche Differenzen können bei den Autor·innen verbleiben, sofern sie ihre Wahl begründen.

Was Sie erhalten: sechs Dateien

1. Review Report (PDF + DOCX)

Ein formatiertes Dokument, das das gesamte Reviewer-Feedback bündelt. Das Hauptergebnis — wie ein vollständiges Reviewer-Paket eines Journals lesbar. Enthält die redaktionelle Entscheidung, alle individuellen Gutachten und den Anhang zur Integritätsprüfung.

2. Editorial Decision

Eine Markdown-Datei, gestaltet wie ein realer Editorial-Brief eines Journals. Inhalte:

• Entscheidung (Accept / Minor Revision / Major Revision / Reject)
• Gesamtscore (0 bis 100)
• Anzahl kritischer Issues
• Zusammenfassung der Übereinstimmungen
• Zusammenfassung der Differenzen und ihrer Auflösung
• Hinweise zur Zitationsintegrität

3. Revisions-Roadmap

Eine priorisierte Checkliste konkreter Änderungen. Sortiert nach Priorität:

• Priority 1: Strukturelle Issues, die Kernargumente betreffen — zwingend zu beheben
• Priority 2: Inhalte, die ergänzt oder geschärft werden sollten
• Priority 3: Politur (Sprache, Formatierung, Abbildungen)

Jeder Punkt nennt die einbringende Persona, den betroffenen Abschnitt und einen konkreten Lösungsvorschlag.

Dies ist das umsetzungsstärkste Deliverable. Statt fünf einzelne Gutachten lesen und einen eigenen Aktionsplan ableiten zu müssen, erhalten Sie eine vorsortierte Liste, die zeigt, was zuerst dran ist.

4. Integrity Verification

Vollständige Ergebnisse der Zitatprüfung im JSON-Format. Pro Referenz: Verifikationsstatus, Suchdetails und Hinweise auf Mismatches. Bei 40 Referenzen mit 3 NOT_FOUND-Treffern wissen Sie sofort, wo Sie nachprüfen müssen.

5. Individual Reviews (ZIP)

Die Roh-Gutachten jeder Persona als Markdown, gebündelt in einem ZIP-Archiv. Hilfreich, wenn Sie die volle Argumentationskette eines einzelnen Gutachtens sehen wollen, statt nur die Synthese.

6. Review Report DOCX

Die Word-Version des Review-Reports — für Annotationen oder die Weitergabe an Mitautor·innen, die mit editierbaren Dokumenten arbeiten.

Ein praktisches Szenario

Sie haben einen Artikel zu adaptivem Feedback in Online-Lernumgebungen verfasst. 22 Seiten, Mixed-Methods, Zieljournal Q2 im Bildungstechnologie-Bereich. Sie laden das PDF hoch und wählen den Full-Modus.

45 Minuten später zeigt Ihr Dashboard: Major Revision — Score 68 — 4 Critical Issues.

In der Editorial Decision lesen Sie: Methodik solide, Literaturübersicht übersieht zwei zentrale Frameworks (Domänen-Reviewer), die qualitative Auswertung legt Kodierprozeduren nicht transparent offen (Methodik- und Domänen-Reviewer in Drei-Wege-Konsens), die Diskussion verallgemeinert von einer Single-Site-Stichprobe auf mehr (Perspektiv-Reviewer, gestützt vom Devil's Advocate).

Die Revisions-Roadmap nennt:

1. Kodierprozeduren dokumentieren (Priority 1, ca. 2 Stunden)
2. [Konkretes Framework] in den Literaturteil integrieren (Priority 1, ca. 3 Stunden)
3. Limitationsabsatz zur Single-Site-Stichprobe ergänzen (Priority 2, ca. 1 Stunde)
4. Drei APA-Zitierfehler beheben (Priority 3, ca. 20 Minuten)

Die Integritätsprüfung meldet: 38 von 40 Referenzen verifiziert, 1 nicht gefunden (Konferenzbeitrag mit falschem Jahr), 1 Mismatch (Sie zitieren die Version 2022, die Arbeit wurde 2024 überarbeitet).

Sie haben damit einen klaren Plan. Statt einzureichen und drei Monate auf vergleichbares Feedback menschlicher Gutachtender zu warten, beheben Sie die Punkte vorab und reichen einen stärkeren Artikel ein.

Wer am meisten profitiert

Paper Review eignet sich für:

• Doktorand·innen kurz vor der ersten Journal-Einreichung, denen erfahrene Peer-Reviewer·innen nicht ohne Weiteres zur Verfügung stehen
• Forschungsteams mit internen Review-Runden vor der externen Einreichung, die strukturiertes und konsistentes Feedback brauchen
• Solo-Forschende ohne lokales Peer-Netzwerk zum Manuskript-Austausch
• Nicht-Muttersprachler·innen im Englischen, die Feedback zu Inhalt und Sprache wollen
• Alle Autor·innen in der Revisionsphase, die prüfen möchten, ob ihre Überarbeitungen die ursprünglichen Issues abdecken (Re-Review-Modus)

Verhältnis zu den anderen Produkten

Die drei Produkte von Data2Paper decken verschiedene Phasen ab:

• Generate Paper: Datendateien rein, vollständiger Artikel raus
• Research Report: Thema rein, Literaturübersicht raus
• Paper Review: fertiger Artikel rein, Review-Feedback raus

Paper Review ist die Qualitätssicherungsstufe am Ende. Sie können mit Generate Paper einen Entwurf aus Ihren Daten ziehen und dann mit Paper Review prüfen, was vor der Einreichung noch zu schärfen ist. Oder Sie schreiben den Artikel komplett selbst und nutzen Paper Review als Pre-Submission-Check.

Erste Schritte

Auf der Seite Paper Review laden Sie Ihren Artikel hoch. Ausgabesprache und Prüftiefe wählen, fertig. Die Pipeline startet sofort, Sie erhalten eine E-Mail, sobald das Review vorliegt.

Das nützlichste Feedback entsteht bei Manuskripten, die der Einreichung nahe sind. Den größten Mehrwert liefert das System bei Texten, die bereits eine Selbstkorrektur durchlaufen haben — es ist darauf ausgelegt, blinde Flecken aufzudecken, nicht Erstentwürfe zu sanieren.