我比较担心中文的“模糊性”会不会对TrustJudge造成影响。中文不像英文那么精确，很多时候需要结合语境才能理解。如果模型在理解中文文本时存在偏差，那么概率分布可能就不能准确反映模型的真实判断，TrustJudge的效果可能会打折扣。当然，这只是我的猜测，具体还需要实验验证。
这个点很有意思！就像人一样，太聪明了有时反而容易想太多，搞出偏差。模型也是，推理能力强了，可能更倾向于脑补细节、过度解读，反而离事实更远。平衡嘛，我觉得一方面要优化训练方法，避免模型过度拟合；另一方面，可以引入一些约束机制，限制模型的自由发挥，确保评估结果更客观。
【回答第2个讨论】是的，至少别再把模型说的话当“拍板结果”了。很多时候模型嘴上很坚定，心里其实在打鼓。把分布拿出来看，有点像不只看球赛比分，还看控球率、射门数、预期进球，信息量完全不是一个级别。
【回应话题：LLM评估到底是模型不行，还是评测方法太粗？】我更倾向于后者。很多时候不是模型完全不会判断，而是我们把它的判断压成了过于粗糙的标签，比如 1-5 分这种离散刻度，本来就会损失信息。TrustJudge 这篇的价值就在于提醒大家：评测协议本身也是系统误差的重要来源。