{ "gpt-4o-mini": { "correct": 27, "n": 29, "errors": 0, "tier": { "primary": [ 5, 6 ], "middle": [ 10, 11 ], "upper": [ 12, 12 ] }, "cents": 0.046141, "p50": 7.050000000000001, "p90": 9.5, "markup": 0.0, "final": 1.0, "practice": 0.9666666666666667, "check": 0.3, "steps": 6.3, "chars": 539.5, "foreign": 0.0, "reasoning": 0, "outtok": 306.4, "cjk": 0 }, "gpt-4.1-mini": { "correct": 29, "n": 29, "errors": 0, "tier": { "primary": [ 6, 6 ], "middle": [ 11, 11 ], "upper": [ 12, 12 ] }, "cents": 0.12809866666666667, "p50": 5.45, "p90": 8.5, "markup": 0.0, "final": 1.0, "practice": 1.0, "check": 0.3333333333333333, "steps": 7.166666666666667, "chars": 662.5, "foreign": 0.0, "reasoning": 0, "outtok": 351.6, "cjk": 0 }, "gpt-4.1-nano": { "correct": 24, "n": 29, "errors": 0, "tier": { "primary": [ 4, 6 ], "middle": [ 9, 11 ], "upper": [ 11, 12 ] }, "cents": 0.03210333333333334, "p50": 5.85, "p90": 11.1, "markup": 0.03333333333333333, "final": 0.8, "practice": 0.7666666666666667, "check": 0.13333333333333333, "steps": 6.4, "chars": 713.0, "foreign": 0.06666666666666667, "reasoning": 0, "outtok": 353.56666666666666, "cjk": 0 }, "o4-mini": { "correct": 29, "n": 29, "errors": 0, "tier": { "primary": [ 6, 6 ], "middle": [ 11, 11 ], "upper": [ 12, 12 ] }, "cents": 0.4551653333333333, "p50": 6.35, "p90": 10.6, "markup": 0.0, "final": 1.0, "practice": 1.0, "check": 0.2, "steps": 5.666666666666667, "chars": 499.0, "foreign": 0.0, "reasoning": 281.6, "outtok": 585.7, "cjk": 0 }, "gpt-5-nano": { "correct": 28, "n": 29, "errors": 0, "tier": { "primary": [ 5, 6 ], "middle": [ 11, 11 ], "upper": [ 12, 12 ] }, "cents": 0.04213666666666666, "p50": 7.8, "p90": 10.9, "markup": 0.0, "final": 0.9333333333333333, "practice": 0.8333333333333334, "check": 0.23333333333333334, "steps": 6.266666666666667, "chars": 582.0, "foreign": 0.16666666666666666, "reasoning": 475.73333333333335, "outtok": 822.2333333333333, "cjk": 0 }, "gpt-5-mini": { "correct": 29, "n": 29, "errors": 0, "tier": { "primary": [ 6, 6 ], "middle": [ 11, 11 ], "upper": [ 12, 12 ] }, "cents": 0.20963800000000002, "p50": 9.6, "p90": 15.7, "markup": 0.0, "final": 1.0, "practice": 1.0, "check": 1.0, "steps": 7.433333333333334, "chars": 715.5, "foreign": 0.0, "reasoning": 407.46666666666664, "outtok": 825.1666666666666, "cjk": 0 }, "gpt-5.4-nano": { "correct": 27, "n": 29, "errors": 0, "tier": { "primary": [ 5, 6 ], "middle": [ 10, 11 ], "upper": [ 12, 12 ] }, "cents": 0.09855183333333332, "p50": 5.65, "p90": 9.6, "markup": 0.0, "final": 0.9666666666666667, "practice": 1.0, "check": 0.8666666666666667, "steps": 8.2, "chars": 691.5, "foreign": 0.0, "reasoning": 110.76666666666667, "outtok": 492.5, "cjk": 0 }, "gpt-5.4-mini": { "correct": 29, "n": 29, "errors": 0, "tier": { "primary": [ 6, 6 ], "middle": [ 11, 11 ], "upper": [ 12, 12 ] }, "cents": 0.33602000000000004, "p50": 5.25, "p90": 8.9, "markup": 0.0, "final": 1.0, "practice": 1.0, "check": 1.0, "steps": 7.066666666666666, "chars": 676.0, "foreign": 0.0, "reasoning": 97.76666666666667, "outtok": 438.46666666666664, "cjk": 0 }, "deepseek-v4-flash": { "correct": 28, "n": 29, "errors": 0, "tier": { "primary": [ 6, 6 ], "middle": [ 10, 11 ], "upper": [ 12, 12 ] }, "cents": 0.0303581646, "p50": 10.3, "p90": 30.7, "markup": 0.0, "final": 1.0, "practice": 1.0, "check": 0.2, "steps": 4.5, "chars": 548.0, "foreign": 0.0, "reasoning": 517.5, "outtok": 822.8333333333334, "cjk": 1 }, "deepseek-chat": { "correct": 16, "n": 29, "errors": 13, "tier": { "primary": [ 3, 6 ], "middle": [ 4, 11 ], "upper": [ 9, 12 ] }, "cents": 0.004037069025, "p50": 11.3, "p90": 28.1, "markup": 0.0, "final": 1.0, "practice": 1.0, "check": 0.5625, "steps": 7.3125, "chars": 696.5, "foreign": 0.0, "reasoning": 0, "outtok": 1560.6875, "cjk": 0 }, "glm-5.3-flash": { "correct": 28, "n": 29, "errors": 1, "tier": { "primary": [ 6, 6 ], "middle": [ 10, 11 ], "upper": [ 12, 12 ] }, "cents": 0.06651661379310345, "p50": 24.9, "p90": 49.1, "markup": 0.034482758620689655, "final": 1.0, "practice": 1.0, "check": 1.0, "steps": 6.310344827586207, "chars": 634, "foreign": 0.0, "reasoning": 794.7241379310345, "outtok": 1200.448275862069, "cjk": 0 }, "gemini-3.1-flash-lite": { "correct": 28, "n": 29, "errors": 0, "tier": { "primary": [ 6, 6 ], "middle": [ 10, 11 ], "upper": [ 12, 12 ] }, "cents": 0.10049916666666668, "p50": 4.35, "p90": 11.9, "markup": 0.0, "final": 1.0, "practice": 1.0, "check": 0.7666666666666667, "steps": 4.933333333333334, "chars": 829.0, "foreign": 0.0, "reasoning": 0, "outtok": 370.96666666666664, "cjk": 0 }, "grok-4.3": { "correct": 28, "n": 29, "errors": 0, "tier": { "primary": [ 5, 6 ], "middle": [ 11, 11 ], "upper": [ 12, 12 ] }, "cents": 0.4193461666666667, "p50": 8.55, "p90": 11.1, "markup": 0.0, "final": 0.9, "practice": 0.9666666666666667, "check": 0.16666666666666666, "steps": 5.433333333333334, "chars": 432.0, "foreign": 0.0, "reasoning": 531.1, "outtok": 743.8, "cjk": 0 }, "claude-haiku-4-5-20251001": { "correct": 29, "n": 29, "errors": 0, "tier": { "primary": [ 6, 6 ], "middle": [ 11, 11 ], "upper": [ 12, 12 ] }, "cents": 0.6216966666666667, "p50": 7.45, "p90": 11.8, "markup": 0.6, "final": 1.0, "practice": 1.0, "check": 0.7, "steps": 4.7, "chars": 688.0, "foreign": 0.03333333333333333, "reasoning": 0, "outtok": 579.8333333333334, "cjk": 0 } }