Yumina

Community · Feedback

当前对话token的显示是不是有bug

vistor ·

我用的Gemini 2.5 Flash显示的当前对话token一直没看到有突破30000,但我设置的上下文是42k,是提前进行了压缩吗,而且前面剧情里的出场人物设定也丢失了

1 reply

  1. Yumina · Staff ·

    感谢反馈!问题找到了,我们引擎在打包 prompt 时用的是 OpenAI 标准 tokenizer(cl100k)来估算 token 数,但 Gemini 自己的 tokenizer 对中文要高效得多——同一段中文,cl100k 把每个汉字算成 ~2 token,Gemini 算 ~1 token。所以以前你设了 42k 上下文,引擎按 cl100k 装满了 42k,但 Gemini 那边只显示 ~22-28k,看起来一直突破不了 30000。 现在引擎对 Gemini / Claude 改用专门匹配它们 tokenizer 的估算方法。修复后你的 42k 上下文真的能用满 ,相当于中文用户实际可用上下文翻倍!