Zareian
5d490edaf9
102 unique textbook questions, 1,287 full model answers, per-answer cost and the hand grades for both rounds. Book excerpts (retrieval context) are left out. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
450 lines
6.3 KiB
JSON
450 lines
6.3 KiB
JSON
{
|
|
"gpt-4o-mini": {
|
|
"correct": 27,
|
|
"n": 29,
|
|
"errors": 0,
|
|
"tier": {
|
|
"primary": [
|
|
5,
|
|
6
|
|
],
|
|
"middle": [
|
|
10,
|
|
11
|
|
],
|
|
"upper": [
|
|
12,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.046141,
|
|
"p50": 7.050000000000001,
|
|
"p90": 9.5,
|
|
"markup": 0.0,
|
|
"final": 1.0,
|
|
"practice": 0.9666666666666667,
|
|
"check": 0.3,
|
|
"steps": 6.3,
|
|
"chars": 539.5,
|
|
"foreign": 0.0,
|
|
"reasoning": 0,
|
|
"outtok": 306.4,
|
|
"cjk": 0
|
|
},
|
|
"gpt-4.1-mini": {
|
|
"correct": 29,
|
|
"n": 29,
|
|
"errors": 0,
|
|
"tier": {
|
|
"primary": [
|
|
6,
|
|
6
|
|
],
|
|
"middle": [
|
|
11,
|
|
11
|
|
],
|
|
"upper": [
|
|
12,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.12809866666666667,
|
|
"p50": 5.45,
|
|
"p90": 8.5,
|
|
"markup": 0.0,
|
|
"final": 1.0,
|
|
"practice": 1.0,
|
|
"check": 0.3333333333333333,
|
|
"steps": 7.166666666666667,
|
|
"chars": 662.5,
|
|
"foreign": 0.0,
|
|
"reasoning": 0,
|
|
"outtok": 351.6,
|
|
"cjk": 0
|
|
},
|
|
"gpt-4.1-nano": {
|
|
"correct": 24,
|
|
"n": 29,
|
|
"errors": 0,
|
|
"tier": {
|
|
"primary": [
|
|
4,
|
|
6
|
|
],
|
|
"middle": [
|
|
9,
|
|
11
|
|
],
|
|
"upper": [
|
|
11,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.03210333333333334,
|
|
"p50": 5.85,
|
|
"p90": 11.1,
|
|
"markup": 0.03333333333333333,
|
|
"final": 0.8,
|
|
"practice": 0.7666666666666667,
|
|
"check": 0.13333333333333333,
|
|
"steps": 6.4,
|
|
"chars": 713.0,
|
|
"foreign": 0.06666666666666667,
|
|
"reasoning": 0,
|
|
"outtok": 353.56666666666666,
|
|
"cjk": 0
|
|
},
|
|
"o4-mini": {
|
|
"correct": 29,
|
|
"n": 29,
|
|
"errors": 0,
|
|
"tier": {
|
|
"primary": [
|
|
6,
|
|
6
|
|
],
|
|
"middle": [
|
|
11,
|
|
11
|
|
],
|
|
"upper": [
|
|
12,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.4551653333333333,
|
|
"p50": 6.35,
|
|
"p90": 10.6,
|
|
"markup": 0.0,
|
|
"final": 1.0,
|
|
"practice": 1.0,
|
|
"check": 0.2,
|
|
"steps": 5.666666666666667,
|
|
"chars": 499.0,
|
|
"foreign": 0.0,
|
|
"reasoning": 281.6,
|
|
"outtok": 585.7,
|
|
"cjk": 0
|
|
},
|
|
"gpt-5-nano": {
|
|
"correct": 28,
|
|
"n": 29,
|
|
"errors": 0,
|
|
"tier": {
|
|
"primary": [
|
|
5,
|
|
6
|
|
],
|
|
"middle": [
|
|
11,
|
|
11
|
|
],
|
|
"upper": [
|
|
12,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.04213666666666666,
|
|
"p50": 7.8,
|
|
"p90": 10.9,
|
|
"markup": 0.0,
|
|
"final": 0.9333333333333333,
|
|
"practice": 0.8333333333333334,
|
|
"check": 0.23333333333333334,
|
|
"steps": 6.266666666666667,
|
|
"chars": 582.0,
|
|
"foreign": 0.16666666666666666,
|
|
"reasoning": 475.73333333333335,
|
|
"outtok": 822.2333333333333,
|
|
"cjk": 0
|
|
},
|
|
"gpt-5-mini": {
|
|
"correct": 29,
|
|
"n": 29,
|
|
"errors": 0,
|
|
"tier": {
|
|
"primary": [
|
|
6,
|
|
6
|
|
],
|
|
"middle": [
|
|
11,
|
|
11
|
|
],
|
|
"upper": [
|
|
12,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.20963800000000002,
|
|
"p50": 9.6,
|
|
"p90": 15.7,
|
|
"markup": 0.0,
|
|
"final": 1.0,
|
|
"practice": 1.0,
|
|
"check": 1.0,
|
|
"steps": 7.433333333333334,
|
|
"chars": 715.5,
|
|
"foreign": 0.0,
|
|
"reasoning": 407.46666666666664,
|
|
"outtok": 825.1666666666666,
|
|
"cjk": 0
|
|
},
|
|
"gpt-5.4-nano": {
|
|
"correct": 27,
|
|
"n": 29,
|
|
"errors": 0,
|
|
"tier": {
|
|
"primary": [
|
|
5,
|
|
6
|
|
],
|
|
"middle": [
|
|
10,
|
|
11
|
|
],
|
|
"upper": [
|
|
12,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.09855183333333332,
|
|
"p50": 5.65,
|
|
"p90": 9.6,
|
|
"markup": 0.0,
|
|
"final": 0.9666666666666667,
|
|
"practice": 1.0,
|
|
"check": 0.8666666666666667,
|
|
"steps": 8.2,
|
|
"chars": 691.5,
|
|
"foreign": 0.0,
|
|
"reasoning": 110.76666666666667,
|
|
"outtok": 492.5,
|
|
"cjk": 0
|
|
},
|
|
"gpt-5.4-mini": {
|
|
"correct": 29,
|
|
"n": 29,
|
|
"errors": 0,
|
|
"tier": {
|
|
"primary": [
|
|
6,
|
|
6
|
|
],
|
|
"middle": [
|
|
11,
|
|
11
|
|
],
|
|
"upper": [
|
|
12,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.33602000000000004,
|
|
"p50": 5.25,
|
|
"p90": 8.9,
|
|
"markup": 0.0,
|
|
"final": 1.0,
|
|
"practice": 1.0,
|
|
"check": 1.0,
|
|
"steps": 7.066666666666666,
|
|
"chars": 676.0,
|
|
"foreign": 0.0,
|
|
"reasoning": 97.76666666666667,
|
|
"outtok": 438.46666666666664,
|
|
"cjk": 0
|
|
},
|
|
"deepseek-v4-flash": {
|
|
"correct": 28,
|
|
"n": 29,
|
|
"errors": 0,
|
|
"tier": {
|
|
"primary": [
|
|
6,
|
|
6
|
|
],
|
|
"middle": [
|
|
10,
|
|
11
|
|
],
|
|
"upper": [
|
|
12,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.0303581646,
|
|
"p50": 10.3,
|
|
"p90": 30.7,
|
|
"markup": 0.0,
|
|
"final": 1.0,
|
|
"practice": 1.0,
|
|
"check": 0.2,
|
|
"steps": 4.5,
|
|
"chars": 548.0,
|
|
"foreign": 0.0,
|
|
"reasoning": 517.5,
|
|
"outtok": 822.8333333333334,
|
|
"cjk": 1
|
|
},
|
|
"deepseek-chat": {
|
|
"correct": 16,
|
|
"n": 29,
|
|
"errors": 13,
|
|
"tier": {
|
|
"primary": [
|
|
3,
|
|
6
|
|
],
|
|
"middle": [
|
|
4,
|
|
11
|
|
],
|
|
"upper": [
|
|
9,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.004037069025,
|
|
"p50": 11.3,
|
|
"p90": 28.1,
|
|
"markup": 0.0,
|
|
"final": 1.0,
|
|
"practice": 1.0,
|
|
"check": 0.5625,
|
|
"steps": 7.3125,
|
|
"chars": 696.5,
|
|
"foreign": 0.0,
|
|
"reasoning": 0,
|
|
"outtok": 1560.6875,
|
|
"cjk": 0
|
|
},
|
|
"glm-5.3-flash": {
|
|
"correct": 28,
|
|
"n": 29,
|
|
"errors": 1,
|
|
"tier": {
|
|
"primary": [
|
|
6,
|
|
6
|
|
],
|
|
"middle": [
|
|
10,
|
|
11
|
|
],
|
|
"upper": [
|
|
12,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.06651661379310345,
|
|
"p50": 24.9,
|
|
"p90": 49.1,
|
|
"markup": 0.034482758620689655,
|
|
"final": 1.0,
|
|
"practice": 1.0,
|
|
"check": 1.0,
|
|
"steps": 6.310344827586207,
|
|
"chars": 634,
|
|
"foreign": 0.0,
|
|
"reasoning": 794.7241379310345,
|
|
"outtok": 1200.448275862069,
|
|
"cjk": 0
|
|
},
|
|
"gemini-3.1-flash-lite": {
|
|
"correct": 28,
|
|
"n": 29,
|
|
"errors": 0,
|
|
"tier": {
|
|
"primary": [
|
|
6,
|
|
6
|
|
],
|
|
"middle": [
|
|
10,
|
|
11
|
|
],
|
|
"upper": [
|
|
12,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.10049916666666668,
|
|
"p50": 4.35,
|
|
"p90": 11.9,
|
|
"markup": 0.0,
|
|
"final": 1.0,
|
|
"practice": 1.0,
|
|
"check": 0.7666666666666667,
|
|
"steps": 4.933333333333334,
|
|
"chars": 829.0,
|
|
"foreign": 0.0,
|
|
"reasoning": 0,
|
|
"outtok": 370.96666666666664,
|
|
"cjk": 0
|
|
},
|
|
"grok-4.3": {
|
|
"correct": 28,
|
|
"n": 29,
|
|
"errors": 0,
|
|
"tier": {
|
|
"primary": [
|
|
5,
|
|
6
|
|
],
|
|
"middle": [
|
|
11,
|
|
11
|
|
],
|
|
"upper": [
|
|
12,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.4193461666666667,
|
|
"p50": 8.55,
|
|
"p90": 11.1,
|
|
"markup": 0.0,
|
|
"final": 0.9,
|
|
"practice": 0.9666666666666667,
|
|
"check": 0.16666666666666666,
|
|
"steps": 5.433333333333334,
|
|
"chars": 432.0,
|
|
"foreign": 0.0,
|
|
"reasoning": 531.1,
|
|
"outtok": 743.8,
|
|
"cjk": 0
|
|
},
|
|
"claude-haiku-4-5-20251001": {
|
|
"correct": 29,
|
|
"n": 29,
|
|
"errors": 0,
|
|
"tier": {
|
|
"primary": [
|
|
6,
|
|
6
|
|
],
|
|
"middle": [
|
|
11,
|
|
11
|
|
],
|
|
"upper": [
|
|
12,
|
|
12
|
|
]
|
|
},
|
|
"cents": 0.6216966666666667,
|
|
"p50": 7.45,
|
|
"p90": 11.8,
|
|
"markup": 0.6,
|
|
"final": 1.0,
|
|
"practice": 1.0,
|
|
"check": 0.7,
|
|
"steps": 4.7,
|
|
"chars": 688.0,
|
|
"foreign": 0.03333333333333333,
|
|
"reasoning": 0,
|
|
"outtok": 579.8333333333334,
|
|
"cjk": 0
|
|
}
|
|
} |