毎年4月下旬に東京都教育委員会（以下、都教委）から「中学校英語スピーキングテスト（以下、ESAT-J）」の結果（実施状況）が発表されます。
今回（令和5年度実施）の結果について分析してみたところ、やはり疑問を持たざるを得なくなる状況でした。
ちなみに、令和5年度実施状況の資料から、都教委が以下のことを言いたいのだというのが透けて見えてきます。
- ESAT-Jの実施により英語スピーキング力が上昇
- だからESAT-Jの実施は間違ってはいなかった
確かに、一見、そのように見えてしまうような資料が提示されています。しかし、初回プレテストから結果推移をみていくと、ツッコミどころがいくつかあります。
今回の記事では、今までの結果をすべてまとめるとともに、そこから見えてくる見解やツッコミの箇所を記載していきます。
１.平均スコアと分布
| GRADE | スコア | R5 | R4 | R3 | R2 | R1 |
|---|---|---|---|---|---|---|
| A | 100 | 3.5% | 2.5% | 1.1% | 1.2% | 1.6% |
| A | 90～99 | 6.5% | 4.2% | 2.5% | 2.0% | 2.5% |
| A | 80～89 | 15.4% | 10.1% | 8.1% | 7.4% | 4.4% |
| B | 70～79 | 18.6% | 15.6% | 12.1% | 12.4% | 17.7% |
| B or C | 60～69 | 20.6% | 21.0% | 17.1% | 16.2% | 18.2% |
| C | 50～59 | 16.0% | 20.5% | 18.0% | 23.2% | 17.6% |
| D | 40～49 | 8.9% | 13.1% | 16.7% | 15.4% | 13.9% |
| D or E | 30～39 | 5.1% | 6.6% | 12.3% | 9.9% | 10.1% |
| E | 20～29 | 2.7% | 2.9% | 5.5% | 6.6% | 7.0% |
| E | 10～19 | 1.2% | 1.7% | 3.5% | 3.1% | 3.4% |
| E or F | 0～9 | 1.5% | 1.8% | 3.1% | 2.7% | 3.4% |
※「R」は令和を意味します。
注目すべき点は、最高評価である「GRADE A」の割合が大幅上昇していること。令和元年度でのGRADE Aは全体の8.5%。令和5年度では全体の25.4%と約3倍になっています。また令和4年度との比較（以下、前年度比）は、16.8%から25.4%と8.7%の上昇です。
- たった数年で、最高評価を獲得できる生徒が増えるのか？
もちろん、可能性は0ではありません。過去問で対策をしたり、都教委が用意している学習ツールを利用したり。特に都教委が用意している学習ツールはプレテストの時代よりかなり充実したのは事実です。
しかし、さらに影響が大きい要因は以下の2つではないでしょうか。
- 学習塾や英会話教室による徹底した対策
- 学習指導要領の改訂
1つ目の要因は想像しやすいと思います。夏期講習前後から都内の学習塾では対策講座を実施（ほとんどが有料）しているのをよく見かけます。新聞広告やホームページはもちろん、街を歩いていても教室のガラス窓に宣伝を掲示しているところも多くあります。
2つ目の要因。これは令和5年度実施の中学3年生は、2021年に改訂した中学学習指導要領で3年間学んだ生徒たち。さらに、小学生の時には、外国語活動として学校授業で英語に触れてきた世代ということです。
つまり、令和元年にESAT-Jプレテストを受験した生徒たちとは、英語学習に関する状況が明らかに異なるのです。
そう考えると、妥当な結果に・・・とはなりません。そもそも、最高評価がここまで大きく変化すること自体、高校入試に利用するテストとしてどうなのか？ということがあります。そして、さらに深くデータを見ていくと、ツッコミどころが見えてきます。
２.コミュニケーションの達成度
Part B
| Part B | No.1 | No.2 | No.3 | No.4 |
|---|---|---|---|---|
| R5年度 | 83.3% | 73.1% | 94.8% | 58.7% |
| R4年度 | 48.0% | 44.8% | 82.3% | 52.0% |
| R3年度(プレ) | 42.3% | 54.7% | 90.3% | 57.2% |
| R2年度(プレ) | 73.5% | 45.8% | 80.6% | 41.3% |
| R元年度(プレ) | 72.4% | - | - | - |
令和5年度の結果がすごいことになりました。No.1～No.4まで、すべてで過去最高の達成度です。No.1とNo.2に関しては30%以上も上昇！
ここで疑問が生じます。
そもそも、スコアの算出には「IRT（項目応答理論）」を使っています。そうすると、ここまで達成度が大きく変化すると、「問題として適切ではなかった」という結論に至るはずですが、堂々と発表をし、かつ、その点に関して都教委は一切触れていません。
むしろ達成度が上がったと喜びが感じられるコメントが記載されています。
採点はブラックボックス化されており、結果はこのように大きな変動がある。IRTによるスコア算出に関する記載もない。これをどう考えれば良いでしょうか？
- ESAT-Jを実施することが英語スピーキング力向上に良い影響がある
そういうことを発信したいという思惑がかなり浮き彫りになったと思います。都教委の自己満足のための試験にならないことを願うばかりです。
Part C
| Part C | 1コマ | 2コマ | 3コマ | 4コマ |
|---|---|---|---|---|
| R5年度 | 92.1% | 55.5% | 30.0% | 64.5% |
| R4年度 | 85.4% | 46.1% | 52.8% | 46.3% |
| R3年度(プレ) | 78.5% | 33.9% | 28.3% | 48.2% |
| R2年度(プレ) | 66.6% | 38.6% | 34.9% | 37.6% |
| R元年度(プレ) | 72.4% | - | - | - |
4コマのイラストのストーリーを英語で答える Part C の問題。1コマ目の達成度は90%超え。それに対して3コマ目は30%。
これを2コマ目～4コマ目について、各年度で見ていくと、同一年度でのコマ同士の比較でここまで差が出ていることが不思議です。3コマ目を基準で考えると、令和3年度で4コマ目と差が20%近くありますが、令和5年度は2コマ目と25.5%の差、4コマ目とは34.5%の差。
4コマのイラストのストーリーを答える問題なのに、前後関係は関係なし！というのが令和5年度の問題です。3コマ目以外は過去最高の正答率。これが、GRADE A の割合を引き上げている要因でしょうか？
改めてそもそもですが、IRTによるスコア算出とはこのような「異様な結果」も含めるものでしたでしょうか？（通常は含めないはずです）
Part D
| Part D | 意見 | 理由 |
|---|---|---|
| R5年度 | 88.3% | 84.3% |
| R4年度 | 62.3% | 59.3% |
| R3年度(プレ) | 27.4% | 39.5% |
| R2年度(プレ) | 70.9% | 53.7% |
| R元年度(プレ) | 72.4% | |
Part D は、画面上に「男の子」が出てきて、流れる音声を聞いて、自分の意見と理由を回答する問題。令和3年度以降、大きな変化はありませんが、結果がすごい状況に。
90%近くの生徒が回答することができている！令和3年度の3倍近くの達成度。過去のESAT-Jよりはるかに高い達成度です。
英語を聞いて、英語で自分の意見とその理由を答えるには高度な英語力が必要なはず。しかも、画面の画像にヒントは1つもありません。これができる生徒は、他の Part でもそれなりに回答できるはずです。
しかし、前述した「GRADE」を見ると、D～F、平均以下の生徒の割合は合計19.4%。つまり、Part Dが達成できても平均以下の生徒がいるということになります。
スコア算出は「IRT」を利用しています。過去のテストの状況と比較してスコア算出がされているはずです。過去のPart Dは今回の結果に比べれば散々な結果。このような場合、テストとして不適切という判断になるか、全員が高いスコアになるはずなのですが、なぜこのようなちぐはぐな結果になるのでしょうか？
さらに細かな結果を都教委は出しません。都教委が意図する結果へ誘導していると考えられなくもありません。この状況を見て、英語スピーキング力が上がっていると言ってもよいのでしょうか？
３.言語使用
Part C
| Part C | 4 | 3 | 2 | 1 | 0 |
|---|---|---|---|---|---|
| R5年度 | 0.0% | 1.1% | 47.9% | 47.6% | 3.4% |
| R4年度 | 0.0% | 1.1% | 34.9% | 60.6% | 3.4% |
| R3年度(プレ) | 0.0% | 0.6% | 30.0% | 63.5% | 5.9% |
| R2年度(プレ) | 0.0% | 0.3% | 15.5% | 72.0% | 12.1% |
| R元年度(プレ) | 0.0% | 0.4% | 32.0% | 48.7% | 18.8% |
言語使用とは、語彙力や文法力を測る項目。ここで着目すべきは下位層の割合。
学習指導要領の改訂以降、英語学習では学ばなければならない語彙数が大幅に増加しました。学校の授業時間数は語彙数の増加に比例して増えているわけではありません。
しかし、平均以下の評価である「1」「0」は、65%～80%で推移していましたが、令和5年度は50%。そこまで語彙力と文法力は大きく変化したのでしょうか？授業時間数は変わっていないのに、効果的な指導はできているのでしょうか？ここ数年で家庭学習などを子供たちが積極的にやるようになったのでしょうか？
答えは全てNOです。一番最後に、文科省、都教委、指導現場との明らかな認識の違いがわかるデータを公表しますが、今回のESAT-Jに関しては「IRT」というテスト評価の仕組みを悪用していると言われても仕方ないと思われる状況かもしれません。
Part D
| Part D | 4 | 3 | 2 | 1 | 0 |
|---|---|---|---|---|---|
| R5年度 | 0.2% | 3.1% | 50.3% | 38.3% | 8.0% |
| R4年度 | 0.1% | 1.8% | 40.1% | 50.2% | 7.9% |
| R3年度(プレ) | 0.1% | 0.6% | 27.0% | 47.9% | 24.4% |
| R2年度(プレ) | 0.0% | 0.3% | 15.5% | 72.0% | 12.1% |
| R元年度(プレ) | 0.0% | 0.4% | 32.0% | 48.7% | 18.8% |
コミュニケーションの達成度では非常に高い結果であるのに対して、語彙力や文法力では例年と大きな差がありません（とはいえ、明らかに全体に高評価に推移している）。
Part D だけでなく、各Partでコミュニケーションの達成度は高く、語彙力・文法力では若干高評価に推移。ということは、GRADEにおいては「下位層」が大きく減少しなくてはなりません。
繰り返しになりますが「IRT」でスコア算出をするのであれば、これだけ達成度に差が出ているのであれば、スコア分布が正規分布になるはずはありません。過去のデータもスコア算出に利用するのですから。
しかし、無理に正規分布に持っていくためか、下位層が一定数確実にいるという構図になっています。達成できているのに低い評価。そういう生徒も一定する発生している可能性は否定できません。
４.音声
Part A
| Part A No.1 | 評価3 | 評価2 | 評価1 | 評価0 |
|---|---|---|---|---|
| R5年度 | 21.9% | 66.3% | 7.4% | 4.4% |
| R4年度 | 16.5% | 74.7% | 6.3% | 2.6% |
| R3年度(プレ) | 7.7% | 80.2% | 8.2% | 3.9% |
| R2年度(プレ) | 0.7% | 55.8% | 36.0% | 7.4% |
| R元年度(プレ) | 1.0% | 53.0% | 35.8% | 10.2% |
| Part A No.2 | 評価3 | 評価2 | 評価1 | 評価0 |
|---|---|---|---|---|
| R5年度 | 16.3% | 68.6% | 10.7% | 4.5% |
| R4年度 | 20.4% | 72.9% | 4.4% | 2.3% |
| R3年度(プレ) | 7.4% | 83.0% | 6.7% | 2.9% |
| R2年度(プレ) | 0.7% | 55.8% | 36.0% | 7.4% |
| R元年度(プレ) | 1.0% | 53.0% | 35.8% | 10.2% |
発音やイントネーションなどを評価する音声。文章を読み上げる問題である Part A No.1については、大げさに言えば二極化の拡大。No.2に関しては前年比で悪化したことに。
おかしいですよね、これ。対策は学習塾や英語教室で行われ、学習指導要領の改訂により小学生のころから英語に触れています。しかし、結果はこの通り。とすると、都教委は文科省の学習指導要領において「発音の改善はされない」ということを明言していると捉えれても仕方ないと思います。
もしくは、様々なところで行われている対策は、発音やイントネーションの指導はできていないということを明示しています。発音はできていなくてもコミュニケーションの達成度は高い。英語スピーキングというのはそういうものでしたでしょうか？
Part C
| Part C | 3 | 2 | 1 | 0 |
|---|---|---|---|---|
| R5年度 | 2.5% | 81.7% | 12.5% | 3.2% |
| R4年度 | 2.3% | 79.0% | 15.5% | 3.3% |
| R3年度(プレ) | 1.6% | 68.9% | 24.0% | 5.6% |
| R2年度(プレ) | 0.7% | 55.8% | 36.0% | 7.4% |
| R元年度(プレ) | 1.0% | 53.0% | 35.8% | 10.2% |
Part C の音声については前年と大きな変化は見られず。しかし、コミュニケーションの達成度は過去最高。言語能力は中間層で改善がみられるものの、上位層・下位層に変化はなし。
発音やイントネーションはどこの部分がどう異なるのか？その採点基準は何かということまで細かく提示されていませんが、都教委からは、採点後に以下のコメントが出されています。
英文全体の内容は聞き手に伝わるものの、heard、math、Tuesday、lived、large、などの単語の発音ができなかったり、英語らしいリズムやイントネーションに欠けたりする例が見られた。
【学習改善ポイント】 ⇒ 意味や内容が相手に伝わるように読んだり、話したりする。
このコメント自体が「？」です。コミュニケーションの達成度が過去最高ですから、意味や内容は伝わっていますよね。それなのに、音声における学習改善のポイントが上記の内容。音声の改善ポイントを明確に出せないということは・・・恐らくそういうことなんだと思います。これ以上、上位層の割合は増えないでしょう。
Part D
| Part D | 3 | 2 | 1 | 0 |
|---|---|---|---|---|
| R5年度 | 7.1% | 74.1% | 10.9% | 7.9% |
| R4年度 | 3.7% | 74.9% | 13.7% | 7.8% |
| R3年度(プレ) | 1.6% | 51.0% | 23.8% | 23.6% |
| R2年度(プレ) | 0.7% | 55.8% | 36.0% | 7.4% |
| R元年度(プレ) | 1.0% | 53.0% | 35.8% | 10.2% |
自分の意見や理由を伝えるPart Dでは、音声が大幅に改善。評価0は昨年同様ですが、評価3が2倍近くに増えてます。ここで疑問が出てきます。Part D の音声における最高評価の生徒は全体の7.1%、Part C の最高評価は2.5%。
つまり、Part D で音声最高評価の半分以上がPart C では評価が下がるということに。音声ですよね？しかも、どちらも得た情報から英語で話すという点は同じ。
ここまでを見て、音声の採点について言えることは、
- 採点者によって評価のバラツキが大きい
要は、Part C の採点者とPart D の採点者では、同じ基準を提示しても評価に差が出ているということです。発音の部分でなければ話はまた違うでしょうが、ここはかなりのツッコミポイントだと思っています。
採点基準の詳細を公にしていないESAT-J。事業者はベネッセからブリティッシュ･カウンシルに変更となりますので、このあたりの体質が改善されることを期待したいですね。
５.まとめと考察
令和5年度実施状況におけるESAT-J GRADEの分布では、参考ではありますが、CEFR･A1以上の力があると、90%を超える生徒が評価をされています。これについては、以下のリンクから都教委の資料を確認することができます。
ちなみに、令和4年度実施状況でも90%前後がCEFR･A1以上の評価。かなり甘い見積もり（参考値）ではないでしょうか？
というのも、文科省では毎年、「英語教育実施状況調査」を実施しています。都道府県別の資料もあり、令和元年からの東京都の集計は以下のようになります。
|
英語教育 (東京都) |
A1以上 取得 |
A1以上 予想 |
A1以上 合計 |
|---|---|---|---|
| R5年度 | 公表待ち | ||
| R4年度 | 42.6% | 16.9% | 59.5% |
| R3年度(プレ) | 40.5% | 13.8% | 54.4% |
| R2年度(プレ) | コロナで中止 | ||
| R元年度(プレ) | 36.8% | 14.8% | 51.6% |
年々上昇しているのは確かですが、指導現場（学校）では、CEFR･A1レベル以上に到達している生徒の割合は、は50～60%程度とみられているようです。ESAT-Jでは90%以上です。この差はいったい？
令和5年度の資料は、本記事を作成している時点でまだ公表されていませんが、どんなに高くても65%を超えることはないでしょう。
- 文科省の英語教育実施状況調査と、都教委のESAT-Jの評価のどちらが正しいのか？
ESAT-Jの結果については、かなり強いベクトルがかかっていると言って過言ではないでしょう。都立高校入試の合否に、多くの反対を押し切って利用した手前、かつ、多額の予算を投じているため、失敗を認めることはできず、むしろ成功を懸命にアピールするしかないのです。
IRTを利用したスコア算出がどのようになっているのか、このあたりの詳細は今以上に公開していかなければ、これだけのツッコミどころがある以上、納得する人は多くないでしょう。そして、教育現場、都教委、文科省とそれぞれがかみ合わない状態で進んでいくことになり、誰も興味を持たない英語スピーキングテストへとなり下がることがないように、今後さらなる発展と、情報の公開を切に願います。
最後に、令和6年度から事業者が変更になります。サンプル問題の提示がされたので、これまでのESAT-Jとの比較や対策方法をまとめた記事を以下に紹介します。
６.お知らせ
筆者はリタイア60の名前でSNSをはじめとした発信活動を行っています。ご興味がある方は是非ご覧ください。
