科学論文におけるAI生成文書の品質と限界を明らかにするため、人間とAIによる論文の比較を行った。

比較研究デザイン。共通の構成要素に基づき、医師執筆とChatGPT-4o生成の論文を作成。3名のブラインド評価者が5項目について10点満点で評価し、著者推定も実施。

AIは明瞭性で高評価（9.0 vs 7.2）を得たが、技術的正確性（6.3 vs 9.3）と考察の深さ（5.5 vs 7.5）で劣った。全評価者は著者を正確に識別し、自身の出自に偏った評価傾向が見られた。

AIは明瞭性で有用だが、批判的思考や文脈理解に欠ける。学術執筆には人間の関与と検証が不可欠であり、AIは補助的手段として有用である。