5 名の独立した査読者による AI 査読：Data2Paper の Paper Review が原稿を診断する仕組み

論文を書き終えたとします。データを確認し、論述を磨き、参考文献も整えました。この後の選択肢は 2 つあります。そのままジャーナルに投稿して数週間から数ヶ月後の査読コメントを待つか、投稿前に体系的な批判的フィードバックを得るか。

Data2Paper の Paper Review は、後者を実現するためのプロダクトです。論文を PDF でアップロードすると、編集委員会レベルの査読パッケージが返ってきます。汎用 AI による単発のコメントではなく、それぞれ別の視点で原稿を読む 5 名の査読者を独立に構成し、編集判定、優先度付きの改稿ロードマップ、各査読者のレポート、引用の整合性チェックまで揃う仕組みです。

この記事では、各ステージで何が起きているのか、5 名の査読者は誰なのか、編集判定はどう決まるのか、そして実際に手元に届く成果物がどのようなものかを順に説明します。

アップロードするもの

論文の PDF をアップロードします（DOCX、TEX、MD、TXT も対応、最大 20 MB）。査読フィードバックの言語と、査読の深さを選択します。

• Quick：査読者 2 名（Editor-in-Chief と Methodology）、所要時間およそ 15 分。初稿のチェックや簡易的な確認向け。
• Full：5 名全員と引用整合性検証、所要時間およそ 30〜45 分。ジャーナル投稿前のチェックはこちらが本命です。

入力はこれだけです。査読者の専門領域を設定したり、テンプレートを選んだり、事前準備を行ったりする必要はありません。

ステージ 1：論文の取り込み

PDF を構造化された表現にパースします。単純なテキスト抽出ではなく、markitdown と pdfplumber を併用して、表、図、数式、セクション階層を正しく扱います。

出力は、論文を Markdown 形式に正規化した paper.md と、メタデータをまとめた paper_metadata.json です。後者には次の情報が含まれます。

• 抽出されたタイトルと著者リスト
• アブストラクト本文
• 見出し付きのセクション構造
• 検出された言語
• 参考文献の件数
• 図と表の数

テキストレイヤーを持たないスキャン PDF の場合は、ここで処理を止めて通知します。OCR の誤認識から無理に成果物を作ることはしません。

ステージ 2：分野解析と査読者構成

ここが、いわゆる「ChatGPT に論文を貼ってフィードバックを求める」アプローチと根本的に違うポイントです。

システムは取り込んだ論文を読み、6 つの観点で分析します。

1. 第一専門領域 — どの分野の論文か（例：「高等教育質保証」）
2. 隣接領域 — どの分野に接しているか
3. 研究パラダイム — 量的、質的、混合研究、理論研究のいずれか
4. 方法論タイプ — RCT、サーベイ、ケーススタディ、メタ分析など
5. 想定ジャーナルティア — Q1、Q2、Q3、Q4 のどのレベルを狙う原稿か
6. 原稿の成熟度 — 完成度はどの程度か

この分析結果に基づき、5 名のカスタム査読者ペルソナが生成されます。「Reviewer 1, Reviewer 2」のような汎用ラベルではなく、それぞれが具体的なアカデミックアイデンティティ、専門領域、論文の分野・方法論に合わせたキャリブレーション済みの厳しさを持ちます。

たとえば、ICU 看護師のバーンアウトに関する混合研究をアップロードした場合、次のような構成になり得ます。

• 看護研究誌の編集経験があり、医療従事者の労働環境研究に詳しい EIC
• 臨床調査を含む混合研究デザインに合わせてキャリブレーションされた方法論査読者
• 医療領域のバーンアウト研究を熟知し、主要な理論枠組みの引用漏れを指摘できる領域査読者
• 医療政策または組織行動論のレンズを持ち込む視点査読者
• 観察研究における交絡変数を集中的に洗う Devil's Advocate

このダイナミックな構成によって、汎用テンプレートからではなく、当該論文に固有の文脈に即したフィードバックが得られます。

ステージ 3：並列査読と整合性検証

Full モードでは、5 つの査読プロセスが同時並行で動きます。

Editor-in-Chief（EIC）

ジャーナルエディタの視点で論文全体を評価します。新規性はあるか、貢献は十分大きいか、想定誌の慣例に沿った構成か、アブストラクトから結論まで論旨が一貫しているか。

統計手法や文献カバレッジの細部には踏み込みません。それは専門査読者の役割です。EIC が問うのは、「この論文は掲載されるに値するのか、その理由は何か」というレベルの判断です。

Methodology Reviewer

研究デザインの厳密性を点検します。サンプリング戦略、分析手法、統計レポーティング、検出力分析、APA 準拠など。媒介効果を主張しているなら、その分析が実際に主張を裏付けているかを確認します。p-value 0.04 を「highly significant」と書いていれば、当然指摘が入ります。

方法論査読者は研究パラダイムに合わせてキャリブレーションされます。質的ケーススタディなら、効果量ではなく理論的飽和度やコーディングの透明性で評価されます。

Domain Reviewer

文献カバレッジと理論的枠組みを点検します。当該分野の基礎文献を引用しているか、理論的フレームワークは妥当か、専門用語を正確に使っているか、論文の貢献は本当にこの領域の議論を前進させているか。

研究者が同分野の人間ならすぐ気づくような重要文献の抜けがあれば、領域査読者がフラグを立てます。

Perspective Reviewer

学際的なレンズを担当します。著者が前提として疑っていない仮定、考慮されていないステークホルダー、実装上の現実性、別の学問領域から見たときに結果がどう違って見えるか。著者自身では気づきにくい盲点を洗い出すのが役割です。

Devil's Advocate

Devil's Advocate は伝統的な意味での査読者ではありません。スコアもつけませんし、推奨判定も出しません。役割は論文の主張をストレステストすることです。論理の最も弱い接続点を見つけ、エビデンスのギャップを特定し、ありうる最強の反論を構築し、確証バイアスを点検します。

問いはシンプルです。「この論文を引き裂きたい人がいたら、どこから攻めるか」。著者本人が自分の原稿に対して持ち込みにくい敵対的視点を、機械的に補います。

並列で走る整合性検証

査読者群が論文を読んでいる間、別プロセスで引用の整合性が検証されます。

• 参考文献の検証：すべての引用文献を（サンプリングではなく全件）オンライン検索します。各文献は VERIFIED（出版社サイトでメタデータが一致して見つかった）、NOT_FOUND（複数回の検索でも確認できなかった）、MISMATCH（似て非なる出版物が存在する。つまり捏造の混合の可能性）のいずれかに分類されます。
• 引用文脈の正確性：全引用の 30% 以上を抽出し、引用先の主張が原典の内容と本当に一致しているかを点検します。
• データの一貫性：論文中で同じ数値が一貫して登場しているか。Table 3 の値と考察の記述は整合しているか。
• オリジナリティチェック：抽出した段落を検索し、既存の出版物と近接しすぎていないかをフラグします。

出力は integrity_verification.json で、引用ごとに結果が記録されます。これは人間の査読者が見落としがちな問題、特に著者が記憶から再構築した参考文献に紛れ込みがちな捏造・部分的ハルシネーションを捕捉できます。

各査読者の出力

それぞれの査読者は、次の構造化レポートを書きます。

• 推奨判定：Accept / Minor Revision / Major Revision / Reject
• 確信度スコア（1〜5）：自分の評価にどれだけ自信があるか
• 強み（3〜5 件）：論文がうまくできている点。該当セクションへの参照付き
• 弱み（3〜5 件）：それぞれに Critical / Major / Minor の重大度タグ
• セクションごとのコメント：論文各部への詳細フィードバック
• 著者への質問（2〜4 件）：明確化が必要な点
• マイナーな指摘：言語、フォーマット、図表の品質
• 次元別スコア：独創性、方法論的厳密性、エビデンス品質、論理の明瞭さ、文章品質

ステージ 4：編集統合

編集統合プロセスは、5 名分のレポートを読み込んで最終成果物を組み立てます。単純な平均ではなく、構造化された調停プロセスを適用します。

コンセンサスの分類

• 4 者一致：主要な 4 名（EIC、方法論、領域、視点）全員が一致。著者は対応必須。
• 3 者一致：4 名中 3 名が一致。少数意見を明示したうえで、著者は多数派の見解への対応を求められる。
• 2 対 2 のスプリット：EIC が、エビデンスの質と専門性の整合性に基づいて調停する。

確信度による重み付け

確信度 5（領域専門で評価に確信あり）の査読者には満点の重みが与えられます。確信度 2（主要領域から外れている）の査読者の重みは下がります。確信度 1 の評価は脚注扱いとなり、コンセンサスの集計からは除外されます。

Devil's Advocate の組み込み方

Devil's Advocate の批判的所見はコンセンサス集計には参加しませんが、主要査読者の少なくとも 1 名から裏付けが取れた場合に編集判定へ反映されます。これにより、DA が単独で「Reject」を導くことを防ぎつつ、正当な批判が埋もれない設計になっています。

調停の原則

査読者間で意見が割れた場合、統合プロセスは次の優先順位に従います。

1. エビデンス優先：どちらの主張が経験的により裏付けられているか
2. 専門性優先：その意見対立は、当該査読者の専門範囲の内側か外側か
3. 保守的原則：判断が難しい場合、却下せずに著者の応答を求める
4. 著者の裁量：説明可能な余地のある相違点は、著者の判断に委ねる

受け取る 6 つの成果物

1. Review Report（PDF + DOCX）

全査読フィードバックを統合した整形済み文書です。これがメインの成果物で、実際の査読パッケージのように読めます。編集判定、各査読者の評価、引用整合性検証の付録までまとめて含まれます。

2. Editorial Decision

ジャーナルの編集レターをモデルにした Markdown ファイルです。次が含まれます。

• 判定（Accept / Minor Revision / Major Revision / Reject）
• 総合スコア（0〜100）
• Critical イシューの件数
• 査読者間で一致した点のサマリー
• 一致しなかった点と、その調停方法のサマリー
• 引用検証から得られた整合性に関するメモ

3. Revision Roadmap

優先度別に整理された改稿チェックリストです。

• 優先度 1：論旨の核に関わる構造的な必修修正
• 優先度 2：追加・明確化が必要な内容
• 優先度 3：仕上げに関わる項目（言語、フォーマット、図表）

各項目には、誰がその指摘を出したか、論文のどのセクションに該当するか、どう対応するかの具体案が紐づきます。

最も実用的な成果物がこれです。5 本の査読を読み比べて自分でアクションプランを再構築する代わりに、整理済みのリストとして「どこから手をつけるか」が手に入ります。

4. Integrity Verification

引用検証の全結果が JSON で出力されます。各文献に対して、検証ステータス、検索の詳細、不一致がある場合のメモが記録されます。参考文献 40 件中 3 件が NOT_FOUND であれば、どれを再確認すべきかがすぐ分かります。

5. Individual Reviews（ZIP）

各査読者の生レポートを Markdown 形式でまとめた ZIP アーカイブです。統合版だけでなく、個別の査読者の論理展開を細部まで読みたいときに役立ちます。各ファイルは前述の構造化テンプレートに従っています。

6. Review Report DOCX

レビューレポートの Word 版です。注釈を入れたり、Word ベースの共同研究者と共有したりする場面で使えます。

実際のシナリオ

オンライン学習における適応型フィードバックの効果に関する論文を仕上げたとします。22 ページ、混合研究、Q2 教育工学誌を狙う原稿です。PDF をアップロードして Full モードを選びます。

45 分後、ダッシュボードに Major Revision — Score 68 — Critical Issues 4 件 と表示されます。

Editorial Decision を開いて読みます。方法論は妥当だが、文献レビューに重要なフレームワーク 2 つの引用漏れがある（領域査読者の指摘）、質的分析セクションのコーディング手続きの透明性が不足している（方法論と領域の 2 名から指摘、3 者一致）、考察が単一機関のサンプルから過度に一般化している（視点査読者の指摘、Devil's Advocate が裏付け）。

改稿ロードマップは次のように指示します。

1. コーディング手続きの記述を追加（優先度 1、約 2 時間）
2. 該当フレームワークを文献レビューに組み込む（優先度 1、約 3 時間）
3. 単一機関サンプルに関する Limitations 段落を追加（優先度 2、約 1 時間）
4. APA 引用フォーマットの 3 件を修正（優先度 3、約 20 分）

整合性チェックでは、参考文献 40 件のうち 38 件が verified、1 件が not found（年が誤った会議論文）、1 件が mismatch（2022 年版を引用しているが論文は 2024 年に改訂済み）と判明します。

これで明確なプランが手元にあります。投稿後 3 ヶ月待って人間の査読者から似たフィードバックを受け取る代わりに、いまのうちに対応してより強い原稿で投稿できます。

特に有効な使いどころ

Paper Review が活きる場面は次の通りです。

• 初めてジャーナル投稿に挑む大学院生で、経験豊富な査読仲間に簡単にアクセスできない場合
• 投稿前の内部レビューで、構造化された一貫性のあるフィードバックを得たい研究チーム
• ドラフトを交換できる身近なピアグループを持たない単独研究者
• 内容の質と英語表現の両方についてフィードバックが欲しい非英語ネイティブの研究者
• 改稿後の原稿が当初の指摘に応えられているかを確認したい場面（再査読モード）

他のプロダクトとの位置関係

Data2Paper の 3 プロダクトは研究プロセスの異なるフェーズをカバーします。

• Generate Paper：データを入れると、完成した論文ドラフトが返る
• Research Report：トピックを入れると、文献レビューが返る
• Paper Review：完成した論文を入れると、査読フィードバックが返る

Paper Review は、最後の品質保証ステップに位置づけられます。Generate Paper でデータからドラフトを生成し、Paper Review で投稿前に磨くという使い方も、すべて手書きで仕上げた原稿を Paper Review にかけて投稿前チェックに使う、という流れもあります。

はじめ方

Paper Review ページ から論文をアップロードできます。出力言語と査読の深さを選ぶと、すぐにパイプラインが動き出し、完了時にはメールで通知が届きます。

最も役に立つフィードバックを得るには、投稿可能な水準まで仕上がった原稿を送るのが有効です。基本的なセルフ編集を一通り終えた論文に対して、著者本人では見えない問題点を浮かび上がらせる用途として設計されているため、初稿の文章レベルの問題を直すツールとは位置づけが異なります。