未発表稿につき、無断でこの原稿の内容を転載したり、第三者に見せたりすることは禁止。

1 問題

近年、査読付きの雑誌論文が日本の社会学でも高く評価されるようになり、多くの若手研究者が雑誌に投稿するようになっていると思う。とうぜん査読業務もそれに比例して増え、査読される側はもちろん、査読する側も辛酸をなめさせられることが増えているのではないだろうか。審査する側もされる側も、審査の実情について客観的な情報を知りたいという人は多いだろう。審査される側からすれば、どれぐらいの確率で掲載可になるのか、どんな論文が掲載されやすいのか、といった点は知りたいだろうが、そういった情報を公開している日本の社会学雑誌では管見の限りでは存在しない。本稿では、こういった情報を『ソシオロジ』に関して示していく。

米国では査読のプロセスや掲載率に関する研究がいくつかある。例えば、Hargens (1988) によれば、物理学よりも社会学で掲載可になる確率が低いのは、投稿者と審査者、審査者同士の間でのコンセンサスの不在が原因であるという。つまり、評価基準や掲載論文が満たすべき最低限の水準についてコンセンサスがあれば、投稿者は自分の論文が掲載されるかどうか高い精度で予測できるため、掲載される論文だけが投稿され、投稿された論文のほとんどが掲載される。逆にコンセンサスがないと、投稿者は自信があっても、審査者から見たらクオリティが低いといった事態が起きやすくなり、掲載不可が生じやすい、というわけである。自然科学系に比べて人社系のほうがコンセンサスが低い、という指摘は、繰り返しなされているようである (Lamers et al. 2021) 。これは Kuhn (1970) が、人文社会科学を前パラダイム的状態とみなしたこととも符合する。パラダイムがなければコンセンサスもあまりないと考えるべきだろう。

こういったコンセンサスの程度の違いは社会学の内部でも起きる可能性がある。Bakanic, McPhail, and Simon (1987) によると、American Sociological Review に 1977-1981 に投稿された論文に関しては、質的研究のほうが量的な研究よりも少しだけ掲載確率が低いとされており、その理由としてコンセンサスの弱さが考えられる。計量社会学でも、適切な分析法についての論争が常にあるが、いちおう支配的な方法論があるので、質的研究よりはコンセンサスが得られやすい、という可能性は考えられる。

コンセンサスの程度については、雑誌によってまちまちで、級内相関係数で 0.08～0.52 （単純平均 0.26, \(N=\) 13） という報告がある (Starbuck 2005) 。

また、投稿者の人種や性別が掲載率に影響を及ぼすとする研究もある。ダブルブラインドの場合は査読者の評価にそれらが影響するということは考えにくいが、シングルブラインドの場合はその可能性もある。

そこで、この研究では、投稿者の性別や身分、研究で用いられている方法論によって、どの程度掲載確率が異なるのか検証する。

また、齋藤 (2012) で社会学評論に関して、投稿論文の掲載率や審査結果が集計されているので、可能な範囲で比較して、ソシオロジと社会学評論の差異や類似性を述べる。両誌の最も注目すべき違いは、ソシオロジの査読がシングルブラインドなのに対して、社会学評論はダブルブラインドであるという点である。シングルブラインドとは、査読する側は投稿者の氏名や所属などの情報を知っているが、査読される側は誰が査読しているかわからないような査読のやり方を指し、ダブルブラインドは、査読する側もされる側も相手が誰かわからないような査読のやり方である。このような査読のやり方の違いが審査結果にどのような影響を及ぼすのか、考えたい。

審査のやり方が掲載率に影響を及ぼすことは、Hargens (1990) も指摘している。Astrophysical Journal では、逐次審査とでも呼ぶべき審査をしており、二人の査読者に同時に審査してもらう American Sociological Review や Phisiological Zoology よりも平均審査期間が短く、掲載率も高い。逐次審査とは、投稿原稿をまず一人目の査読者に審査してもらい、「可」になればそのまま掲載、「不可」になれば、二人目の査読者に審査してもらい、「可」になればそのまま掲載、「不可」になれば掲載されない、という方式である。逐次審査が同時審査よりも平均審査期間が短く、掲載率も高い、ということは自明であるが、審査のやり方が掲載率に大きな影響を及ぼすことを示す好例といえる。シングルブラインドの場合、投稿者に関する情報が無意識のうちにバイアスを生み出すというリスクもあるが、教育的配慮や建設的なアドバイスがしやすい、というメリットもある。また、査読者が編集委員を兼ねているので、査読者同士が話し合うことで、審査基準がすり合わせられたり、投稿論文の内容に関する理解が深まる、というメリットも考えられる。

1.1 仮説

  1. 掲載率の低下（若手の増加等でクォリティの維持が困難に? 多様性の高まり？ 理論軽視？）
  2. 審査の長期化（論文のクォリティの初期値が低ければ、ブラッシュアップにかかる時間も長くなる）
  3. 統計／数学を使った論文のほうが他の方法を使った論文よりも掲載率が高い（前者のほうが自然科学に近いから）
  4. 社会学評論よりソシオロジのほうが掲載率が高い（編集委員が査読委員を兼ねるので、審査の厳しさや基準のすり合わせが起き、極端に厳しい評価がなされにくいから？）

2 データ・方法

データは『ソシオロジ』に 1997 ～ 2024 年（130 ～ 210 号）に投稿されてきた論文を用いる。ソシオロジは年に3回刊行で、概ね4か月に1度出版されている。編集委員会も年に3回各号の出版前に開かれる。投稿論文は 2名の編集委員に割り当てられ、それぞれ審査した結果をもとに当該号への掲載の可否等が決定される。それゆえ、審査はシングル・ブラインドである。当該号に掲載されなくても、改稿した結果次第で掲載される可能性がある場合が多く、次号以降の締め切りまでに再投稿すると、引き続き審査されることになる。

投稿者の性別は、投稿者の氏名から推測しアフターコードした。共著の場合は第一著者の氏名から推測している（共著原稿率は 1.7 %）。姓と名が分かち書きされていなかったので、姓名分割くん を使い、Gender API で名前から性別を推測した。いずれも精度は 8～9 割程度なので 1 、出力結果は目視でチェックし、適宜修正した。

投稿者の身分は、以下のルールで分類した。

  1. 「博士課程」のように学生であることがわかる表記があれば、優先的に「院生」にカテゴライズ。
  2. 院生ではなく、「特任」「非常勤」のように、任期のあることがわかる後があれば「任期付」に分類。
  3. 院生でも任期付きでもないもののうち、「助手」「助教」または「研究員」の語があれば、「ポスドク」。
  4. 院生でも任期付きでもないもののうち、「教授」または「講師」の語があれば「教授等」。
  5. 上記以外を「その他」。

論文で用いられている方法は、タイトルや著者名、査読者名などわかる情報から推測した。方法は、以下の 4つに分類した。

  1. 「理論・学説」：データを参照しない研究
  2. 「歴史・言説分析」: 文書を主な資料とする研究
  3. 「エスノグラフィー」: 参与観察やインタビューなどの一次資料を主なデータとする研究
  4. 「計量・数理」: 統計や数理モデルなど数学を使った分析を主とする研究

詳しい分類基準については、太郎丸博 (2021) 太郎丸, 阪口, and 宮田 (2009) 、山本 and 太郎丸 (2015) を参照せよ。論文のタイトルだけでは方法まではわからないと考える読者もおられるかもしれないが、少なくとも近年の日本の社会学の論文に関しては、タイトルだけで非常に高い精度で方法を推測できることが、これまでのコーディングの経験で分かっている。はっきりわからない原稿については、欠損値とした。

投稿者の所属は、出現頻度が30未満のものをすべて「その他」にカテゴライズし、30以上のものはそのまま用いた。なお、大学ともう一つの所属先（例えば日本学術振興会）を書いている場合は、大学のほうを所属先とした。複数の大学を書いている場合は、先に書いてあるほうを所属先とした。

表1 架空の審査データ（ロング）
原稿ID 論文ID 号 版 審査員1 審査員2 審査結果1 審査結果2 掲載可否
1 1 1 1 あ い A A 可
2 2 1 1 う え B C 否
3 2 2 2 う え B A 否
4 3 1 1 え お B B 否
5 3 2 2 え お B A 否
6 3 3 3 え お A A 可
7 4 2 1 か あ C C 否
8 4 3 2 か あ B B 否
9 5 2 1 い う C A 否
10 5 3 2 い う A A 可
11 6 2 1 か き B B 否

2.1 データの構造

データの構造がやや複雑なので、架空の例（表1）を使って説明する。表1は、ある雑誌の 1 ～ 3 号に投稿されてきた原稿（合計で 11 稿）のデータである。投稿された原稿が掲載「否」になった後、次号に再び投稿される場合がある。表1 の 2行目が 1号に投稿された論文、3行目が 2号に同じ論文が修正されて投稿されたものである。これらは内容は修正されているが同じ「論文」とみなしている。同じ論文には、同じ論文 ID をふる。2，3行目の原稿は同じ論文 ID = 2 が割り振られている。このように考えると、表1 には 11 の原稿の審査データがあるが、「論文」の数は 6 である。 このように修正された原稿を修正前の原稿と分けて考える／数える場合、「原稿」と呼び、両者は同じものであると考える／数える場合、「論文」と呼ぶことにする。原稿単位で考える場合と、論文単位で考える場合でサンプルサイズ等が変わってくるので注意。さらに審査員を単位にした分析も少しあり、その場合もサンプルサイズ等が違うので注意されたい。また、ある論文の最初の原稿を 1版、それが修正されて再び投稿されたものを 2版、さらに修正されて再々度投稿されたものを 3版、さらに… という具合にある原稿のヴァージョンを「版」と呼ぶことにする。

2.2 多重代入

社会学評論と総合評価（A～Eの5段階）の分布を比較するが、ソシオロジの2007年以前のデータでは、二人の査読者の評価は記録されていても、総合評価が記録されていないケースが多い。そこで、総合評価の分析をする際には、多重代入法を用いた。代入データセット数は 20 で、Expectation-Maximization with Bootstrapping (EMB) 法を用いた (高橋 and 渡辺 2017.12)。計算には R (R Core Team 2024) の Amelia パッケージ (Honaker, King, and Blackwell 2011) を用いた。

それ以外の分析ではリストワイズ法で欠測データを除去している。一割程度の欠測なので、多重代入してもほとんど結果に違いは出ないだろう。

2.3 離散時間イベントヒストリー分析

掲載の可否の分析では、可否を従属変数とした二項ロジットモデルと、離散時間イベントヒストリー・モデルの両方を推定する。前者は掲載までにかかった期間を無視するのに対して、後者は掲載率が同じでも、早く掲載が決まるならば、掲載されやすい、とみなすという違いがある。また、前者の場合は掲載可、否の二つの状態しか考えないが、イベントヒストリー分析では、継続審査中、掲載可、否の 3つの状態を区別することになる（それゆえ、多項ロジット・モデルで推定）。 センサーデータ（観察打ち切り、この場合はまだ審査が継続中の論文）がほとんどないので、どちらでも良いと思うが、両方の結果を示す。

2.4 記述統計

表2 記述統計（原稿単位）
号 出版年 評価1 評価2 総合評価
Min. :130 Min. :1997 Min. :1.00 Min. :1.00 A : 66
1st Qu.:153 1st Qu.:2005 1st Qu.:2.50 1st Qu.:2.50 B :356
Median :169 Median :2010 Median :3.00 Median :3.00 C :727
Mean :171 Mean :2011 Mean :3.16 Mean :3.22 D :403
3rd Qu.:191 3rd Qu.:2018 3rd Qu.:4.00 3rd Qu.:4.00 E : 82
Max. :210 Max. :2024 Max. :5.00 Max. :5.00 NA’s:184
NA’s :62 NA’s :67
版 投稿者性別 所属 身分 方法
Min. :1.0 female: 641 その他 :605 院生 :1066 理論 :433
1st Qu.:1.0 male :1174 京都大学 :429 ポスドク: 300 歴史 :522
Median :1.0 NA’s : 3 大阪大学 :149 任期付 : 164 エスノ:598
Mean :1.7 関西学院大学 :140 教授等 : 157 計量 :261
3rd Qu.:2.0 日本学術振興会: 79 その他 : 64 NA’s : 4
Max. :9.0 (Other) :407 NA’s : 67
NA’s : 9

Note: a評価1，2 は 2人の査読者の評価

3 結果

3.1 投稿数と掲載率の推移

図1 はソシオロジに投稿されてきた原稿数と掲載率の推移、図2は同じものを論文単位で計算したものである。どちらも大差ないトレンドなので、併せて解説する。この間 1015本の論文または研究ノート（1818 の原稿）が投稿され、210号までに掲載されたのは、そのうち 471本 (46%) であった。「原稿」が掲載される確率は年によって波動しているものの、平均的には減少傾向である（年平均で 0.7% ポイントずつ減少、0.1% 水準で有意）。1997-2006年あたりは、投稿される原稿数が多くなるとともに掲載率が下がっているので、両者に因果関係があるようにも見えるが、2007年以降は、投稿数は減少傾向なのに、掲載率も下がっており、単純に時間とともに掲載率が下がっていると考えたほうがよさそうである（詳しくは後のイベントヒストリー分析の結果を見よ）。

図1 投稿原稿数と原稿が掲載される確率の推移（2024年は1号分のデータしかないので原稿数が少ない点に注意）

図1 投稿原稿数と原稿が掲載される確率の推移（2024年は1号分のデータしかないので原稿数が少ない点に注意）

図2 投稿論文数とその掲載率の推移（初投稿年が2022年までのデータについて図示）

図2 投稿論文数とその掲載率の推移（初投稿年が2022年までのデータについて図示）

図3 は論文の平均査読回数（査読回数が1回増えると、掲載までの期間が4か月増える）の推移を示したものである。1997-2000頃は 1.5回程度だが、漸増して2020年ごろには、2 回程度になっている（OLSでは 0.1% 水準で有意な増加）。

図3 初投稿年平均1論文あたり審査期間（1997-2022）

図3 初投稿年平均1論文あたり審査期間（1997-2022）

3.2 社会学評論との比較

齋藤 (2012) に、社会学評論（2001～2010年）への投稿論文の掲載率や評価の分析結果があるので、これとソシオロジの同時期の分析結果と比較してみよう。

社会学評論の 2001～2010年の掲載率（明示されていないがおそらく論文単位で計算）は 35.6% 、ソシオロジの同期間の掲載率は、50.2% であった。社会学評論のほうの投稿数が正確にわからないが、齋藤 (2012) の図2 から概算で 1年間に 50本の投稿と仮定すると、0.1% 水準で有意にソシオロジのほうが掲載率が高い。ただし、2024年現在にどうなっているかは慎重に考えたほうが良いだろう。

図4 二誌の初回原稿への評価（2001-2010) の分布（評論のデータは @Saito2012 より引用）

図4 二誌の初回原稿への評価（2001-2010) の分布（評論のデータは 齋藤 (2012) より引用） 

## Combination of Chi Square Statistics for Multiply Imputed Data
## Using 20 Imputed Data Sets
## F(4, 5976.05)=13.73     p=0

齋藤 (2012) には社会学評論 (2001-2010) の初投稿時（第1版）の審査結果の分布が示されているので、それと同時期のソシオロジの審査結果を比較したのが図4 である。A は掲載可、E は不可、なのでどちらの雑誌も同じ意味だと考えられるが、B, C, D のニュアンスは二誌で異なる可能性があるので、参考程度に考えてほしい。ソシオロジは、社会学評論よりも D が少なく、他の評価（特に C や E）が多いという特徴がある。この違いは 0.1% 水準で有意である（上の出力参照）。

## Combination of Chi Square Statistics for Multiply Imputed Data
## Using 20 Imputed Data Sets
## F(1, 39668.67)=0.116     p=0.7329

齋藤 (2012) では、初回総合評価が C だった投稿論文のうち、60 % がその後掲載可になっていることが示されている。ソシオロジの場合は、62 % で、有意差はない（上の出力を参照）。

齋藤 (2012) の図5 から投稿者の身分別の論文掲載率が計算できる。これとソシオロジの結果を比較したのが、図5 である。齋藤 (2012) では身分を分類する基準が示されていないので、正確な比較はできないが、いずれも学生のほうが、その他のカテゴリよりも掲載率が高い。評論のほうは有意な差がないが、ソシオロジのほうは 5%水準で有意である。学生のほうが優秀ということは考えにくいので、学生のほうが頑張って修正するので、掲載可まで漕ぎつきやすい、ということかもしれない。

ちなみに、ソシオロジのほうの「院生」と社会学評論の「学生 \(+\alpha\)」が同じ操作的定義だと仮定し、身分を「院生」と「その他」に分類すると、身分 \(\times\) 掲載可否 \(\times\) 雑誌の \(2\times 2\times 2\) 表を作ることができる。これに階層的対数線形モデルをあてはめると、\([身分\times 掲載]\; [掲載 \times 雑誌]\) というモデルがもっともフィッティングが良い（AIC も BIC も最小、表3を参照）。すなわち、院生のほうがその他の身分の人より掲載率が高く、ソシオロジのほうが評論よりも掲載率が高い、というモデルが支持される。ソシオロジの院生と社会学評論の学生 \(+\alpha\)、の分類の仕方が同じとは限らないので、参考程度に考えてほしい。

図5 評論とソシオロジの身分別掲載率 (2001-2010)

図5 評論とソシオロジの身分別掲載率 (2001-2010)

表3 身分 \(\times\) 掲載可否 \(\times\) 雑誌の3重クロス表に対数線形モデルを当てはめたときの適合度
\(L^2\) df AIC BIC
[身分][掲載][雑誌] 25.3 4 17.3 -0.8
[身分 掲載][雑誌] 18.6 3 12.6 -1.0
[身分 雑誌][掲載] 24.3 3 18.3 4.7
[掲載 雑誌][身分] 8.8 3 2.8 -10.9
[身分 掲載][身分 雑誌] 17.6 2 13.6 4.5
[身分 掲載][掲載 雑誌] 2.0 2 -2.0 -11.0
[身分 雑誌][掲載 雑誌] 7.8 2 3.8 -5.3
[身分 掲載][身分 雑誌][掲載 雑誌] 0.0 1 -2.0 -6.5
[身分 掲載 雑誌] 0.0 0 0.0 0.0

3.3 方法による論文の掲載率の違い

ソシオロジに関して論文単位で、方法別に掲載率をしめしたのが、図6 である。若干、計量・数理の掲載率が高く、審査期間が短いが有意差はない。また、われわれの主要な関心事ではないが、男女で掲載率に有意な差があったので、図7 に示しておく。若干女性のほうが掲載率が低い。

図6 方法別掲載率と平均審査回数（論文単位、初投稿年 1997-2022）

図6 方法別掲載率と平均審査回数（論文単位、初投稿年 1997-2022）

図7 性別と掲載率・平均審査期間（論文単位, 初投稿年1997-2022）

図7 性別と掲載率・平均審査期間（論文単位, 初投稿年1997-2022）

表4 は掲載の可否を審査回数を無視して二項ロジット分析した結果である。最近になるほど掲載可になる確率が下がることは、図1 でも確認したとおりである。方法に効果がないことも、図6 の結果と同じである。所属については、関西にあるいくつかの大学で正の有意な効果が見られる。首都大学東京は例外的に正の有意な効果がある。査読者の多くが関西の大学に勤めているので、相性がいいということだろうか。ただ、東大や早稲田大学のような関東の銘柄大学も有意ではないが、けっこう大きな正の係数なので、東西で大きな差があるというわけでもないかもしれない（関東からは投稿数が少ないので、有意になりにくい）。身分が有意にならないのは、図5 と異なる結果であるが、こちらのほうが対象期間が長いし、他の変数の効果が統制されているので、矛盾しているというわけではない。また男性のほうが優位に掲載されやすい、という結果も図7 と一致している。

表4 掲載可否の二項ロジット分析（初投稿年1997-2022, 論文単位、イベントヒストリーではない）
  Model 1
(Intercept) -1.07 (0.24)***
歴史 0.26 (0.19)
エスノ 0.34 (0.19)
計量 0.31 (0.24)
出版年 -0.04 (0.01)***
一橋大学 0.48 (0.47)
関西学院大学 0.60 (0.30)*
京都大学 1.01 (0.21)***
首都大学 1.07 (0.51)*
神戸大学 0.90 (0.38)*
早稲田大学 0.59 (0.53)
大阪大学 0.73 (0.28)**
筑波大学 0.78 (0.57)
東京大学 0.46 (0.40)
同志社大学 1.15 (0.51)*
奈良女子大学 1.03 (0.50)*
日本学術振興会 0.18 (0.38)
立命館大学 0.94 (0.44)*
ポスドク 0.07 (0.23)
任期付 -0.07 (0.26)
教授等 0.43 (0.26)
その他 -0.24 (0.38)
男性 0.31 (0.15)*
Deviance 1212.18
Num. obs. 918
***p < 0.001; **p < 0.01; *p < 0.05. () 内は標準誤差。 基準カテゴリは、方法 =「理論」、所属 = 「その他」、身分 = 「院生」、性別 = 「女性」。

表5 はイベントヒストリー分析の結果である。掲載の可否が決まるまでの時間が加味されているので、表4 とは必ずしも同じ結果にならない。こちらでは性別は有意にならない。また、教授等は掲載されやすく、所属大学の効果はいくつか有意であるが、関西の大学のほうが掲載されやすい、といったわかりやすい結果ではない。この結果を見るとわかるように、イベントの種類が複数あるイベントヒストリー分析においては、一方の結果が起きやすいからと言って、他方の結果が起きにくい、とは限らない。審査が継続する場合があるからである。

表5 掲載可否の離散時間イベントヒストリー分析
  可 不可
(Intercept) 0.33 (0.39) 1.02 (0.35)**
男性 0.16 (0.14) -0.13 (0.13)
ポスドク 0.31 (0.22) 0.14 (0.20)
任期付 0.45 (0.25) 0.43 (0.21)*
教授等 1.03 (0.26)*** 0.26 (0.23)
その他 0.87 (0.38)* 0.58 (0.32)
歴史 -0.01 (0.18) -0.19 (0.17)
エスノ 0.06 (0.18) -0.20 (0.16)
計量 0.27 (0.23) -0.10 (0.21)
一橋大学 0.84 (0.49) 0.27 (0.43)
関西学院大学 -0.07 (0.28) -0.67 (0.25)**
京都大学 0.46 (0.20)* -0.54 (0.18)**
首都大学 1.20 (0.45)** -0.24 (0.45)
神戸大学 0.39 (0.35) -0.48 (0.33)
早稲田大学 -0.06 (0.47) -0.57 (0.44)
大阪大学 0.40 (0.27) -0.43 (0.25)
筑波大学 0.03 (0.52) -0.42 (0.46)
東京大学 0.80 (0.40)* 0.20 (0.34)
同志社大学 0.76 (0.43) -0.59 (0.48)
奈良女子大学 0.41 (0.45) -0.61 (0.45)
日本学術振興会 0.69 (0.36) 0.13 (0.33)
立命館大学 -0.38 (0.39) -0.85 (0.36)*
版 1.02 (0.08)*** 0.07 (0.09)
出版年 -0.08 (0.01)*** -0.01 (0.01)
同時投稿原稿数 -0.02 (0.00)*** -0.01 (0.00)***
版:出版年 -0.05 (0.01)*** -0.02 (0.01)
Deviance 3392.46 3392.46
Num. obs. 1741 1741
***p < 0.001; **p < 0.01; *p < 0.05. () 内は標準誤差。 基準カテゴリは、方法 =「理論・学説」、所属 = 「その他」、身分 = 「院生」、性別 = 「女性」

3.4 審査員による評価結果の違い

二人の審査員の審査結果の一致の程度を級内相関係数 (ICC) で調べてみると ICC\(_1 =\) 0.39 (95% CI: 0.35 ～0.43) であった。 Starbuck (2005) の示す13誌の ICC の最大値が .52、次が .38 なので、これらと比べると一致度はかなり高いほうである（厳密には比較不可能なので参考程度）。

ちなみに、原稿 \(i\) に対する査読者 \(j\) の評価を \(y_{ij}\) とし、以下のようなモデルをたててみよう。

\[y_{ij} = \alpha + \beta_i + \gamma_j + e_{ij} .\] \(\beta_i\) は \(i\) という論文に対する二人の査読者の平均的な評価の高さ、\(\gamma_j\) は \(j\) という査読者が担当した論文に下した評価の平均、\(e_{ij}\) は論文と査読者の交互作用効果、すなわち、査読者による評価基準の違いと解釈できる。

\(y_{ij}\) の分散は \(\beta_i\)、\(\gamma_j\)、\(e_{ij}\) の分散の総和に一致する（ただし、\(\beta_i\)、\(\gamma_j\)、\(e_{ij}\) の共分散がすべてゼロであると仮定）。 。ランダム効果モデルでこのモデルの係数を推定し、それらの分散の比率を計算すると、0.35, 0.1, 0.55 となる。つまり、全般に厳しい／甘い審査員に当たることで生じる評価の変動は 1 割程度であり、半分以上は査読者による評価の仕方の違いによって生じている、ということになる。そういう意味では相性の良い査読者に当たればラッキーということかもしれない。

二人の査読者は A, B, C, D, E/F の5段階で論文を評価（まれに A or B といった評価もあるので、その場合は両者の平均をとった）、これらに 5～1 という点数をふると、二人の評価の差は平均で 0.8 、差が 2 以上になるケースは全体の14% であった。審査員は3年の任期のあいだに 40～60程度の原稿を審査している。

4 まとめ

5 議論

文献

Bakanic, V., C. McPhail, and R. J. Simon. 1987. “The Manuscript Review and Decision-Making Process.” American Sociological Review 52(5):631–42.
Hargens, Lowell L. 1988. “Scholarly Consensus and Journal Rejection Rates.” American Sociological Review 53(1):139–51.
Hargens, Lowell L. 1990. “Variation in Journal Peer Review Systems: Possible Causes and Consequences.” JAMA 263(10):1348–52. doi: 10.1001/jama.1990.03440100052008.
Honaker, James, Gary King, and Matthew Blackwell. 2011. “Amelia II: A Program for Missing Data.” Journal of Statistical Software 45(7):1–47.
Kuhn, Thomas S. 1970. The Structure of Scientific Revolutions. University of Chicago Press.
Lamers, Wout S., Kevin Boyack, Vincent Larivière, Cassidy R. Sugimoto, Nees Jan van Eck, Ludo Waltman, and Dakota Murray. 2021. “Meta-Research: Investigating Disagreement in the Scientific Literature” edited by P. Rodgers. eLife 10:e72737. doi: 10.7554/eLife.72737.
R Core Team. 2024. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing.
Starbuck, William H. 2005. “How Much Better Are the Most-Prestigious Journals? The Statistics of Academic Publication.” Organization Science 16(2):180–200. doi: 10.1287/orsc.1040.0107.
太郎丸博. 2021. “社会学の方法のトレンド 1952-2018.” 新社会学研究 5:24–32.
太郎丸博., 阪口祐介, and 宮田尚子. 2009. “ソシオロジと社会学評論に見る社会学の方法のトレンド1952–2008.”
山本耕平, and 太郎丸博. 2015. “社会学の方法と引用文化の日英米比較.” 理論と方法 30(2):165–80.
高橋将宜, and 渡辺美智子. 2017.12. 欠測データ処理: Rによる単一代入法と多重代入法. 東京: 共立出版.
齋藤圭介. 2012. “データからみる 『社会学評論』: 投稿動向と査読動向を中心に.” 社会学評論 別冊： 『社会学評論の現状と課題: 若手支援のために・自己点検のために』 日本社会学会編集委員会 5–26.

  1. 日本語の氏名だけならもっとずっと高い精度で姓名の分割や性別の判別をしてくれると思うが、我々のデータの場合、中国、韓国、など多様な文化的な出自の著者がいるため、精度は下がる。なお、Gender API の場合は、どの国の名前か指示すれば精度は上がるようだが、今回は利用していない。↩︎