AI 피어 리뷰: Data2Paper가 5명의 독립된 리뷰어로 논문을 심사하는 방법

논문을 다 썼습니다. 데이터를 점검했고, 논증을 다듬었고, 참고문헌도 정렬했어요. 이제 두 가지 길 앞에 섭니다. 그대로 저널에 투고하고 몇 주, 몇 달간 리뷰어 코멘트를 기다릴 것인가, 아니면 투고 전에 구조화된 비판을 미리 받아 볼 방법을 찾을 것인가.

Data2Paper의 Paper Review는 후자를 위해 만들어졌어요. 논문을 PDF로 업로드하면 시스템이 완전한 편집부 평가를 돌려보냅니다. 그것도 한 명의 범용 AI가 아니라, 각자 다른 시각으로 논문을 보는 5명의 독립 리뷰어로 구성된 평가예요. 편집장 결정, 우선순위가 매겨진 수정 로드맵, 개별 리뷰어 보고서, 그리고 인용 무결성 검사가 모두 따라옵니다.

이 글에서는 각 단계에서 무엇이 일어나는지, 5명의 리뷰어는 누구인지, 편집장 결정은 어떻게 내려지는지, 그리고 실제 산출물이 어떻게 생겼는지를 풀어 봅니다.

무엇을 업로드하나요

논문을 PDF 파일로 업로드합니다(DOCX, TEX, MD, TXT도 지원, 최대 20MB). 리뷰 피드백 출력 언어를 고르고, 리뷰 깊이를 선택합니다.

• Quick: 리뷰어 2명(Editor-in-Chief과 Methodology), 약 15분 소요. 초기 초안이나 가벼운 점검에 적합합니다.
• Full: 리뷰어 5명 전원 + 무결성 검증, 약 30~45분 소요. 저널 투고 전에 돌리고 싶은 모드예요.

입력은 이게 전부입니다. 리뷰어 전문성을 직접 설정하거나 템플릿을 고르거나 사전 준비를 하지 않아요.

1단계: 논문 인제스트

시스템이 PDF를 읽어서 구조화된 표현으로 변환합니다. 단순한 텍스트 추출이 아니에요. markitdown과 pdfplumber를 함께 사용해서 표, 그림, 수식, 섹션 계층을 다룹니다.

산출물은 정규화된 마크다운 버전(paper.md)과 메타데이터 파일(paper_metadata.json)이고, 메타데이터에는 다음이 들어갑니다.

• 추출된 제목과 저자 목록
• 초록 본문
• 헤딩 단위의 섹션 구조
• 감지된 언어
• 참고문헌 개수
• 그림과 표 개수

PDF가 텍스트 레이어 없이 스캔 이미지로만 돼 있다면, 파이프라인은 OCR 잡음으로 가짜 결과를 만들어 내지 않고 여기서 멈추고 알려줍니다.

2단계: 분야 분석과 리뷰어 구성

이 지점이 "ChatGPT에 논문 붙여넣고 피드백 달라고 하기"와 근본적으로 갈리는 부분이에요.

시스템은 인제스트한 논문을 읽고 6개 차원을 분석합니다.

1. 주 학문 분야 — 어느 분야의 논문인가요? (예: "고등교육 질 보증")
2. 부 학문 분야 — 어떤 인접 분야와 맞닿아 있나요?
3. 연구 패러다임 — 양적/질적/혼합/이론 연구 중 어느 쪽인가요?
4. 방법론 유형 — RCT인가요? 설문인가요? 사례 연구인가요? 메타분석인가요?
5. 목표 저널 등급 — Q1, Q2, Q3, Q4 중 어느 수준의 투고로 보이나요?
6. 논문 성숙도 — 이 초안의 완성도는 어느 정도인가요?

이 분석을 토대로 5명의 맞춤형 리뷰어 페르소나가 생성됩니다. 그냥 "리뷰어 1, 리뷰어 2" 같은 일반 라벨이 아니에요. 각 페르소나는 구체적인 학문적 정체성, 분야 전문성, 그리고 논문의 실제 분야·방법론에 맞춰 보정된 엄격성 수준을 갖습니다.

예를 들어 ICU 간호사 번아웃에 관한 혼합 연구를 업로드했다면, 시스템은 다음과 같이 구성할 수 있어요.

• 간호 연구 저널을 편집한 적 있고 의료 인력 연구를 전문으로 하는 EIC
• 임상 설문이 포함된 혼합 설계에 맞춰 보정된 방법론 리뷰어
• 의료 분야 번아웃 문헌을 잘 알고 핵심 이론 틀이 인용됐는지 확인할 수 있는 도메인 리뷰어
• 보건정책이나 조직행동 관점을 가져오는 시각 리뷰어
• 관찰 연구에서 흔한 교란변수를 집요하게 찾는 데빌스 애드버킷

이 동적 구성 덕분에 받게 되는 피드백은 일반 리뷰 템플릿이 아니라, 본인 논문에 정확히 맞춘 내용이 됩니다.

3단계: 병렬 리뷰와 무결성 검증

Full 모드에서는 5개의 리뷰 프로세스가 동시에 진행됩니다.

Editor-in-Chief (EIC)

EIC는 저널 편집자 시각으로 논문을 봅니다. 독창적인가? 기여가 의미 있는가? 구조가 목표 게재지의 기대에 부합하는가? 초록부터 결론까지 논증이 일관되는가?

EIC는 통계 방법이나 문헌 커버리지를 깊이 파지는 않아요. 그건 전문 리뷰어들의 몫입니다. EIC는 "이 논문이 출판될 가치가 있는가, 그리고 왜 그러한가"에 집중해요.

방법론 리뷰어

연구 설계의 엄밀성을 봅니다. 표집 전략, 분석 방법, 통계 보고, 검정력 분석, APA 준수 여부 등이에요. 매개 효과를 주장한다면, 분석이 실제로 그 주장을 뒷받침하는지 확인합니다. p-value 0.04를 "매우 유의하다"라고 썼다면 표시를 남기죠.

방법론 리뷰어는 논문의 연구 패러다임에 맞게 보정됩니다. 질적 사례 연구라면 효과 크기가 아니라 이론적 포화도와 코딩의 투명성으로 평가받아요.

도메인 리뷰어

문헌 커버리지와 이론적 틀을 확인합니다. 해당 분야의 기초 연구를 인용했는가? 이론적 틀이 적절한가? 분야 전문 용어를 정확히 쓰고 있는가? 이 기여가 실제로 해당 영역의 논의를 진전시키는가?

해당 분야의 인간 리뷰어라면 바로 알아챘을 핵심 논문이 빠져 있다면, 도메인 리뷰어가 표시를 남깁니다.

시각 리뷰어

타 분야의 시선을 가져오는 역할입니다. 의문을 던지지 않고 넘어간 가정, 고려하지 않은 이해관계자 목소리, 실용적 실현 가능성 문제, 다른 분야 관점에서 보면 결과가 어떻게 달라 보일지 등 — 이런 사각지대를 짚어 냅니다.

데빌스 애드버킷 (Devil's Advocate)

전통적 의미의 리뷰어와 달라요. 점수도 매기지 않고, 권고도 하지 않습니다. 역할은 논증을 압박 테스트하는 거예요. 가장 약한 논리 고리를 찾고, 증거 공백을 식별하고, 가능한 가장 강한 반론을 구축하고, 확증 편향을 점검합니다.

데빌스 애드버킷이 던지는 질문은 이거예요. "누군가 이 논문을 갈기갈기 찢고 싶다면 어디부터 공격할까?" 본인 작업에 이런 적대적 시선을 적용하기란 대다수 저자에게 쉽지 않은 일입니다.

무결성 검증 (병렬 실행)

리뷰어들이 논문을 읽는 동안, 별도의 무결성 검증 프로세스가 인용을 검증합니다.

• 참고문헌 검증: 모든 참고문헌이 온라인에서 검색됩니다(샘플링이 아니라 전수). 각 항목은 VERIFIED(출판사 사이트에서 메타데이터 일치 확인), NOT_FOUND(여러 번 검색해도 확인 불가), MISMATCH(비슷하지만 다른 출판물 존재 — 환각이 섞인 인용일 가능성)로 분류됩니다.
• 인용 맥락 정확성: 인용의 30% 이상을 표본 점검해, 인용된 주장이 원전에서 실제로 그렇게 말하고 있는지 확인합니다.
• 데이터 일관성: 같은 숫자가 논문 전체에서 일관되게 나오는가? 표 3의 숫자가 논의 부분의 주장과 맞는가?
• 독창성 점검: 표본 문단을 검색해서 기존 출판물과 가까운 일치가 있는지 표시합니다.

산출물은 인용별 상세 결과가 담긴 integrity_verification.json이에요. 인간 리뷰어가 놓치기 쉬운 문제, 특히 저자가 기억에 의존해 인용을 재구성하다가 끼어든 조작·환각 인용까지 잡아냅니다.

각 리뷰어가 만드는 보고서 항목

각 리뷰어는 다음 구조로 보고서를 씁니다.

• 권고: Accept / Minor Revision / Major Revision / Reject
• 확신도 점수 (1~5): 평가에 대해 얼마나 확신하는지
• 강점 (3~5개): 논문이 잘한 점, 해당 섹션 인용과 함께
• 약점 (3~5개): 각 항목에 Critical, Major, Minor 중 심각도 태그
• 섹션별 코멘트: 논문 부분별 상세 피드백
• 저자에게 묻는 질문 (2~4개): 명확화가 필요한 지점
• 사소한 이슈: 표현, 서식, 그림 품질
• 차원별 점수: 독창성, 방법론적 엄밀성, 증거 품질, 논증 명료성, 글쓰기 품질

4단계: 편집장 종합

편집장 종합기(Editorial Synthesizer)가 5명의 보고서를 모두 읽고 최종 산출물을 만듭니다. 단순 평균이 아니라, 구조화된 중재 프로세스가 적용돼요.

합의 분류

• 4자 합의: 주요 리뷰어 4명(EIC + 방법론 + 도메인 + 시각)이 모두 동의. 저자는 반드시 이 지점들을 다뤄야 합니다.
• 3자 합의: 4명 중 3명이 동의. 반대 의견은 명시적으로 기재되고, 저자는 다수 의견을 따르도록 권고됩니다.
• 분할 결정: 2 대 2. EIC가 증거 품질과 전문성 정합성을 기준으로 중재합니다.

확신도 가중치

확신도 5점(분야 전문가, 평가에 확신)인 리뷰어는 온전한 가중치를 갖습니다. 확신도 2점(주 전문 분야 밖)인 리뷰어는 가중치가 줄어들어요. 확신도 1점은 각주로 기록되지만 합의 카운트에서는 제외됩니다.

데빌스 애드버킷 통합

데빌스 애드버킷의 비판은 합의 카운트에는 포함되지 않지만, 주요 리뷰어 1명 이상이 동조하는 경우 편집 결정에 반영됩니다. 이렇게 하면 데빌스 애드버킷이 단독으로 reject 결정을 끌고 가는 일을 막으면서, 정당한 비판을 묻어버리지도 않게 돼요.

중재 원칙

리뷰어 사이에 의견이 갈리면 종합기는 다음 순서를 따릅니다.

1. 증거 우선: 어느 쪽이 더 나은 경험적 근거를 갖는가?
2. 전문성 우선: 이 의견 차이가 리뷰어의 명시된 전문 영역 안에 있는가, 밖에 있는가?
3. 보수성 원칙: 불분명할 때는 기각하지 않고 저자 응답을 요구합니다.
4. 저자 자율성: 일부 의견 차이는 저자가 합리적 근거와 함께 본인 판단을 밝히면 그대로 둘 수 있습니다.

받게 되는 산출물 6종

1. 리뷰 보고서 (PDF + DOCX)

모든 리뷰어 피드백을 통합한 조판 문서입니다. 핵심 산출물이에요. 실제 저널 리뷰 패키지처럼 읽을 수 있는 종합 보고서로, 편집장 결정, 개별 리뷰어 평가, 무결성 검증 부록이 모두 들어 있어요.

2. 편집장 결정문

실제 저널의 편집장 레터를 본떠 작성된 마크다운 파일입니다. 다음을 포함해요.

• 결정 (Accept / Minor Revision / Major Revision / Reject)
• 종합 점수 (0~100)
• Critical 이슈 개수
• 리뷰어 합의 요약
• 의견 차이 요약과 중재 결과
• 인용 검증에서 나온 무결성 노트

3. 수정 로드맵

해야 할 변경 사항을 우선순위로 정리한 체크리스트입니다.

• Priority 1: 핵심 논증에 영향을 주는 구조적 이슈, 반드시 고쳐야 함
• Priority 2: 추가하거나 명확히 해야 하는 내용
• Priority 3: 다듬기 항목 (표현, 서식, 그림)

각 항목에는 어느 리뷰어가 제기했는지, 논문의 어느 섹션에 해당하는지, 구체적으로 어떻게 다루면 좋을지에 대한 제안이 함께 들어갑니다.

가장 실행 가능한 산출물이에요. 5개의 리뷰를 따로 읽고 본인이 직접 행동 계획을 짜는 게 아니라, 무엇을 먼저 고쳐야 하는지 미리 정렬된 목록을 받게 됩니다.

4. 무결성 검증 결과

JSON 형식의 전체 인용 검증 결과입니다. 각 참고문헌별로 검증 상태, 검색 세부사항, 불일치에 대한 메모가 보여요. 참고문헌 40개 중 3개가 NOT_FOUND로 돌아왔다면, 어느 항목을 다시 확인해야 할지 정확히 알 수 있습니다.

5. 개별 리뷰 (ZIP)

각 리뷰어의 원본 마크다운 보고서를 ZIP으로 묶어 줍니다. 종합본 너머로 특정 리뷰어의 전체 추론을 보고 싶을 때 유용해요. 각 파일은 위에서 설명한 구조 템플릿을 따릅니다.

6. 리뷰 보고서 DOCX

리뷰 보고서의 Word 버전입니다. 주석을 달거나, Word를 선호하는 공동 연구자와 공유할 때 쓰면 좋아요.

실제 시나리오

온라인 학습 환경에서의 적응형 피드백 효과를 다룬 논문이 있다고 해 봅시다. 22쪽, 혼합 연구, 목표 저널은 Q2 교육공학 저널이에요. PDF를 업로드하고 Full 모드를 선택합니다.

45분 뒤, 대시보드에 이렇게 뜹니다. Major Revision — 점수 68 — Critical 이슈 4건.

편집장 결정문을 열어 보면 이렇게 정리돼 있어요. 방법론은 견고하지만, 문헌 검토에서 핵심 이론 틀 두 가지를 빠뜨렸고(도메인 리뷰어 지적), 질적 분석 섹션이 코딩 절차의 투명성 면에서 부족하며(방법론과 도메인 리뷰어 모두 지적 — 3자 합의), 논의 부분이 단일 기관 표본에서 과도하게 일반화하고 있다(시각 리뷰어 지적, 데빌스 애드버킷 동조).

수정 로드맵은 이렇게 알려줍니다.

1. 코딩 절차 문서 추가 (Priority 1, 약 2시간)
2. [구체적 이론 틀] 문헌 검토에 통합 (Priority 1, 약 3시간)
3. 단일 기관 표집에 관한 한계 문단 추가 (Priority 2, 약 1시간)
4. APA 인용 형식 오류 3건 수정 (Priority 3, 약 20분)

무결성 검사는 참고문헌 40개 중 38개 검증, 1개 NOT_FOUND(연도가 잘못 기재된 학술대회 발표 논문), 1개 MISMATCH(2022년 버전을 인용했는데 실제로는 2024년에 개정됨)를 잡아냅니다.

이제 명확한 계획이 손에 들어왔어요. 그대로 투고하고 3개월 뒤에 비슷한 피드백을 받는 대신, 지금 이슈를 다 처리하고 더 단단한 논문으로 투고할 수 있게 됐습니다.

누구에게 가장 유용할까요

Paper Review는 다음과 같은 분들을 위해 만들어졌어요.

• 첫 저널 투고를 준비하는 대학원생 — 경험 많은 동료 리뷰어를 쉽게 구할 수 없는 경우
• 외부 투고 전에 내부 리뷰를 도는 연구팀 — 일관된 구조의 피드백이 필요한 경우
• 초안을 주고받을 동료가 주변에 없는 단독 연구자
• 영어 비원어민 연구자 — 내용 품질과 문장 명료성에 대한 피드백이 함께 필요한 경우
• 수정본을 점검하려는 누구든 — 처음 지적된 이슈가 실제로 해결됐는지 다시 검토하고 싶을 때(re-review depth 모드)

다른 제품과의 관계

Data2Paper의 3개 제품은 서로 다른 단계를 다룹니다.

• Generate Paper: 데이터 파일 입력, 완성된 논문 출력
• Research Report: 주제 입력, 문헌 검토 출력
• Paper Review: 완성된 논문 입력, 리뷰 피드백 출력

Paper Review는 마지막 품질 검증 단계예요. Generate Paper로 데이터에서 초안을 만들고, Paper Review로 투고 전에 무엇을 더 보완할지 식별할 수도 있어요. 또는 처음부터 직접 쓴 논문을 Paper Review에만 통과시켜 투고 전 점검용으로 쓸 수도 있습니다.

시작하기

Paper Review 페이지에서 논문을 업로드해 보세요. 출력 언어와 리뷰 깊이를 선택하면 파이프라인이 바로 시작됩니다. 리뷰가 끝나면 이메일 알림을 받게 돼요.

가장 유용한 피드백은 투고 직전 단계의 논문에서 나옵니다. 시스템은 기본 자가 편집을 마친 논문에서 가장 큰 가치를 만들어요. 저자가 자기 글에서는 보지 못하는 이슈를 잡는 데 특화돼 있고, 첫 초안의 글쓰기 문제를 다듬어 주는 도구가 아니거든요.