• 研究背景
• 先行研究
  • データ
  • 実行
  • 結果
• 課題
• まとめ

正解率/Accuracy :

LLMsは母語識別の予測結果について解釈できるかどうか :

• 従来の研究は特徴量エンジニアリングと特徴量表現の作成に依存している
• LLMsはzero-shotで即時にpromptに即した解釈が出力される

• 自分の解読を正当化できるが、その分析に基づいた仮説は謹慎

• 初めてGPT-3.5とGPT-4を使った母語識別タスク
  • GPT-4がTOEFL11ベンツマックで精度91.7%という新しい記録を達成
  • zero-shot母語識別タスクは母語が未知でもいける
  • GPT-4が自分の回答に言語的推論を提供できる能力を検証
• GPT-4はESL作者が書いた英文章の母語推測に高い正解率を持っている

• I-JASのストーリーライティング(SW1, SW2)を利用

promte及びその出力の例

あなたは「日本語教育の専門家」です。 次の「1. 目的の定義」と「2. プロンプト」を 元に、「3. 生成するもの」を「#結果」の形式 に合わせて生成してください。その際、「4. 参照物」を参考にしてください。 1. 目的の定義：「二つの単語のうちどちらの 単語が中国語母語話者にとって難しいのか知 りたい。」 2. プロンプト：「二つの単語のうちどちらの 単語が中国語母語話者にとって難しいか考え てください。」 3. 生成するもの： - 「4. 参照物」の【難しさリスト】の要因を箇 条書きで詳しく分析してください。ただし， 【難しさリスト】の単語は易しい単語から難 しい単語へと並んでいます。 - 「4. 参照物」の【条件】にある【単語A】と 【単語B】の難しさを分析してください。 - 「4. 参照物」の【条件】にある【単語A】と 【単語B】の難しさを分析した結果を箇条書 きで出してください。 - 最後に【単語A】と【単語B】のうちで【難 しい方の単語】を表示してください。ただし、 【単語A】と【単語B】のいずれかを必ず選択 すること。 4. 参照物： 【難しさリスト】 サテライトなど松下（2021）のデータセット 中無作為に25語選出した 【条件】 【単語A】： 【単語B】： #結果： (1)要因： (2)難しさ分析： (3)難しさ箇条書き： (4)難しい方の単語:

#結果： (1)要因： - 発音の違い：中国語の音韻体系と日本語の発音の間の違いによ る難しさ。 - 漢字の使用：漢字が含まれる単語は中国語母語話者にとって理 解しやすい可能性があるが、読み方や複合語としての意味で難 しさが生じる場合もある。 - 語彙の類似性：中国語と日本語に共通の語彙や類似した語彙が 難易度に影響する。 - 文化的な背景：単語が持つ文化的な意味合いや使われ方が難し さに影響を及ぼす。 - 単語形成の規則性：複合語や派生語など、単語がどのように形 成されているかによる難しさ。 (2)難しさ分析： 【単語A】：童心 - 発音：「童心」の「童（どう）」「心（しん）」は比較的発音 しやすく、中国語の音韻とも類似している。 - 漢字の使用：「童」と「心」は共に中国語にも存在する基本的 な漢字であり、認識しやすい。 - 語彙の類似性：「童心」は「童年的心态」という意味の共通性 が認められる。 - 文化的な背景：この概念は両言語間で理解されやすいと考えら れる。 - 単語形成の規則性：複合語として直感的に理解しやすい構造を している。 【単語B】：アナゴ - 発音：「アナゴ」はカタカナで書かれており、発音が日本語特 有のものであるため、中国語母語話者にとっては発音が難しい。 - 漢字の使用：「アナゴ」は漢字で「穴子」と書かれるが、専門 的な単語であり、中国語との共通性が少なく理解が難しい。 - 語彙の類似性：「穴子」という単語に中国語の類似語彙が見つ かりづらいため、新規の単語として覚える必要がある。 - 文化的な背景：日本独特の食品に関連する単語であるため、中 国語話者にはなじみが薄い。 - 単語形成の規則性：動物の名前ということで類推は可能だが、 「穴」+「子」という組み合わせは直感に反するため難しさがあ る。 (3)難しさ箇条書き： - 「童心」は発音が容易で漢字も基本的、文化的背景も共通して 理解しやすい。 - 「アナゴ」は発音も日本特有、漢字も専門的、文化的背景の共 通性も少なく、全体的な難易度が高い。 (4)難しい方の単語: アナゴ

• I-JAS非対面タスクの作文調査データ:

{ “native_language”: “日本語母語話者”,
“confidence”: [
{
“native_language”: “日本語母語話者”,
“confidence”: 0.95
},
{
“native_language”: “中国語”,
“confidence”: 0.03
},
{
“native_language”: “韓国語”,
“confidence”: 0.02
}
],
“explanation”: [
{
“language_features”: “Kanji usage”,
“explanation”: “The text utilizes a significant amount of Kanji, which is a hallmark of the Japanese writing system.”
},
{
“language_features”: “Grammar structures”,
“explanation”: “The grammatical constructions, such as particles and sentence endings, are distinctly Japanese.”
},
{
“language_features”: “Vocabulary choice”,
“explanation”: “Words like ‘家庭料理’, ‘手作り’, and ‘栄養価値’ are commonly used in Japanese contexts.”
},
{
“language_features”: “Writing style”,
“explanation”: “The text follows a structured, logical flow typical in Japanese essays, weighing pros and cons.”
}
]
}

• タスクによるがどっちも精度をあがる余地がある
• 先行研究が少ないため、研究設計に自由度が高い（実行が難しい場合も多い）
• データの形によって伝統的な機械学習タスクのほか様々な課題を試す機会になる
• promptと特徴抽出の組み合うによってより正確な推測ができるかもしれない