背景: 研究成果／研究者の評価

• 研究の評価基準は様々 e.g. 売れる本が偉い、偏差値の高い大学の先生が偉い、実証的な研究が…、 reflexive な…
• 近年はピアレビューの重要性が増している？ e.g. 博論、就職、研究費獲得
  • 研究評価の「客観」的根拠として査読付き雑誌へのアクセプトが?
• ピアレビューの実態は、審査する／される人の関心事に

背景: ピアレビューへの不満

• 時間がかかりすぎる
• 見識に問題のある審査員
• 矛盾する要求
• 評価が厳しすぎる／甘すぎる
• やはり審査の実態が注目されるように

ピアレビュー研究 **

• ジェンダー、人種、縁故によるバイアス研究 e.g. Budden et al. (2008)
• 審査プロセスの研究 e.g. Bakanic, McPhail, and Simon (1989), Guetzkow, Lamont, and Mallard (2004), Mallard, Lamont, and Guetzkow (2009)
• コンセンサス研究（次ページへ）

コンセンサス研究

• 人文社会科学には合意がない？ e.g. 前パラダイム期 (Kuhn 1970)、ソフトサイエンス (Storer 1967)
• これを支持する実証研究も
  • 人社系の論文のほうが審査に時間がかかり(Garvey, Lin, and Nelson 1970)、
  • 掲載率が低く (Hargens 1988) 、
  • 批判的な引用が多い (Lamers et al. 2021)?
  • 社会学内で比較すると質的研究のほうが掲載率が低い (Bakanic, McPhail, and Simon 1987) ?
• 心理学、社会学、経営学等の審査員による評価の一致度は、雑誌によってまちまちで級内相関係数で 0.08～0.52 （単純平均 0.26, \(N=\) 13） (Starbuck 2005)

日本社会学におけるコンセンサスの低下？

• 方法や研究テーマの多様性は増加したが、理論への関心は低下 (太郎丸 2021; 太郎丸, 阪口, and 宮田 2009)
• 理論という共通の言語を失ってコミュニケーションが困難に (土場 2000; 盛山 2000)?

社会学評論との比較

• 齋藤 (2012) が本研究と似た分析を社会学評論 (2001-2010) で
• 分類基準などが明示されていないので、厳密な比較はできないが、参考までに比較
• ソシオロジは編集委員 \(=\) 査読委員なので、審査基準や厳しさのすり合わせが起きやすく、早くはっきりした評価が出しやすいのでは（リスキーシフト: Stoner (1968) ）？

仮説

1. 掲載率の低下
2. 審査の長期化（相互理解が困難になれば、出版の合意を得るのにも時間がかかる？）
3. 統計／数学を使った論文のほうが他の方法を使った論文よりも掲載率が高い（前者のほうが自然科学に近く、評価基準が共有されている？）
4. 社会学評論よりソシオロジのほうが掲載率が高い

データ・方法

• ソシオロジに1997～2024年5月までのあいだに投稿されてきた論文
• 年に3回、概ね4か月に1度出版
• 投稿論文は2名の編集委員に割り当てられ、それぞれ審査
• シングル・ブラインド
• 改稿した結果次第で掲載される可能性がある場合が多く、次号以降の締め切りまでに再投稿すると、引き続き審査

データの構造 **

• 同じ論文が修正されて何度か投稿される場合も。修正された原稿と修正前の原稿を同じものとみなす場合、「論文」、違うものとみなす場合、「原稿」と呼ぶ。最初の原稿は、1版、それが修正されて次に投稿されると、2版、されがさらに… 3版と呼ぶ。

独立変数：投稿者の身分、所属 **

• 投稿者の身分は、以下の基準で分類。
  1. 院生であれば、優先的に「院生」に
  2. 院生以外で、「特任」「非常勤」があれば「任期付」に。
  3. 院生・任期付き以外で「助手」「助教」または「研究員」は、「ポスドク」。
  4. 院生・任期付き以外で、「教授」または「講師」の語があれば「教授等」。
  5. 上記以外を「その他」。
• 所属: 出現頻度が30未満のものは「その他」にカテゴライズし、30以上のものはそのまま用いた。複数所属がある場合は大学、先に書いてある所属をわりふった

独立変数: 方法 **

• タイトルや著者名、査読者名などわかる情報から推測し、以下の 4つに分類 山本 and 太郎丸 (2015)。

1. 「理論・学説」：データを参照しない研究
2. 「歴史・言説分析」: 文書を主な資料とする研究
3. 「エスノグラフィー」: 参与観察やインタビューなどの一次資料を主なデータとする研究
4. 「計量・数理」: 統計や数理モデルなど数学を使った分析を主とする研究

多重代入 **

• 社会学評論 (2001-2010) と総合評価（A～Eの5段階）の分布を比較
• 総合評価の欠測が2007年以前で多いので、その際だけ多重代入。\(m = 20\), Expectation-Maximization with Bootstrapping (EMB) 法 (高橋 and 渡辺 2017.12)。計算には R (R Core Team 2024) の Amelia パッケージ (Honaker, King, and Blackwell 2011) 使用。

二項ロジットと Multi-state Event History Model **

以下のモデルを使用

• 掲載可否を従属変数とした二項ロジットモデル
• 離散時間イベントヒストリー・モデル（イベントは掲載可と否の二種類）

記述統計 **

Note: ^a評価1，2 は 2人の査読者の評価

結果

投稿数と掲載率の推移

図1 投稿原稿数と原稿が掲載される確率の推移（2024年は1号分のデータしかないので原稿数が少ない点に注意）

図2 投稿論文数とその掲載率の推移（初投稿年が2022年までのデータについて図示）

平均審査期間の推移

図3 初投稿年平均1論文あたり審査期間（1997-2022）

評論との比較 1: 掲載率 (2001-2010)

評論との比較 2: 第 1 版への評価

図4 二誌の初回原稿への評価（2001-2010) の分布（評論のデータは 齋藤 (2012) より引用）

## Combination of Chi Square Statistics for Multiply Imputed Data
## Using 20 Imputed Data Sets
## F(4, 18775.29)=13.679     p=0

## Combination of Chi Square Statistics for Multiply Imputed Data
## Using 20 Imputed Data Sets
## F(1, 68360.47)=0.135     p=0.71356

• ソシオロジの場合、B でも 94 % がその号で出版
• 1版が C の論文のうち、評論は 60 % がその後掲載可に。ソシオロジは、62 % で、有意差なし。

評論との比較 3: 身分と掲載率

図5 評論とソシオロジの身分別掲載率 (2001-2010)

方法による論文の掲載率の違い（ソシオロジ 1997～2022）

図6 方法別掲載率と平均審査回数（論文単位、初投稿年 1997-2022）

掲載可否の二項ロジット分析

掲載可否のイベントヒストリー分析 **

審査員による評価結果の違い

• 二人の査読者の審査結果の一致の程度 (級内相関係数) \(\mathrm{ICC}_1 =\) 0.39 (95% CI: 0.35 ～0.43)
• Starbuck (2005) の示す13誌の ICC の最大値が .52、次が .38
• 個々の査読者の評価の分散のうち、35% は二人の評価者の平均的な評価の分散、9% は評価者の厳しさの分散、56% はその他（評価者による評価基準の違い）による。

まとめ

• 掲載率は低下
• 審査は長期化
• 社会学評論よりソシオロジのほうが掲載率が高く、総合評価のバラツキが大きい
• 二人の査読者の評価の ICC は先行研究で報告されたものの中では 2位の高さ
• 方法による掲載率の差は見いだせず
• 銘柄大学の掲載率は高め、やや西高東低か?
• 査読者の全般的な厳しさの違いの評価への影響力は 9% で軽微