📄 AI 与算力 · 长文本容量换算

上下文窗口能放多少字 · Token、汉字、英文词与页数换算

128k 能放多少字没有唯一答案:不同 tokenizer 下 1 token 等于几个汉字差别很大,还要扣掉系统提示与输出预留。本工具按窗口 Token 数、中英混合比例与分词系数给出汉字数、英文单词数、A4 页数区间,并输出文档切分建议与建议分块数;系数按模型档位可调,全部本地计算。

4k~200k 窗口中英混合比例区间而非单值批量换算

① 窗口与文本构成

带 * 为必填 · 系数按模型档位可调
中文占比 70%(其余按英文单词计)0% 纯英文 · 100% 纯中文

调好窗口与中文占比后点「换算窗口容量」,结果只写入下方结果区。

📚 容量结果尚未生成 同一段中文在不同 tokenizer 下 token 数可能相差近一倍,所以本工具一律输出区间,不给看似精确的单值。

📏口径说明与常见误填

token 不是字数,先扣掉系统提示与输出预留再算容量。

1 token 等于几个汉字
没有统一答案。中文友好 tokenizer 常约 0.6~1.0 token / 汉字,通用 BPE 约 1.0~1.5,英文为主的词表切中文可能到 1.3~1.8。本工具按档位给区间,并允许自定义上下限。
英文与页数口径
英文按 1 个单词约 1.3 token、折合约 0.75 词 / token 估算,并给 ±15% 区间;A4 页按每页 600~800 汉字或约 450 英文词换算,实际取决于字号、行距与版式。
为什么要扣预留
上下文窗口同时容纳系统提示、用户输入、检索片段与模型输出。若把窗口全部算成输入,生成到一半会超出限制;本工具默认把「系统提示 + 输出预留」先扣除。
切分建议口径
单块 token 建议为可用输入窗口的 1/4~1/2,并在 512~2048 token 之间取值;相邻块保留 10%~15% 重叠以减少语义断裂。块数按可用 token 与单块大小估算。

这个工具解决什么问题

「128k 能放多少字」是长文本与 RAG 落地时最先要算的账,但 token 不是字数:不同模型的分词器对同一段中文切分差异很大,窗口里还要给系统提示、检索片段与模型输出留位置。本工具先扣除系统提示与输出预留,再按中文占比与可调分词系数换算汉字数、英文单词数与 A4 页数区间,并给出文档切分建议(chunk size、overlap 与建议块数)。内置 4K / 8K / 32K / 128K / 200K 窗口预设与三档 tokenizer 系数表,支持自定义系数、批量换算、示例、复制结论与导出 CSV。结果一律输出区间,不给看似精确的单值;实际 token 数请以对应模型官方 tokenizer 计数为准。

四条换算要点

① 先扣预留再算容量:输出越长、系统提示越复杂,可放的输入文档就越少;把窗口全部当输入会导致生成阶段超限。

② 中文系数看模型:国产模型对中文常更省 token,通用 BPE 切中文可能多出近一倍,换模型要重新估。

③ 页数只是体感:A4 页数受字号、行距、图表与公式影响很大,本工具按每页汉字数给区间,用于估算文档厚度。

④ 切分要留重叠:按最大长度硬切容易切断语义,10%~15% overlap 与按段落 / 标题切分通常更利于检索召回。

怎么用

  1. 第 1 步 · 选择窗口与预留
    选 4K~200K 预设或自定义窗口,填系统提示与输出需要预留的 token 数。
  2. 第 2 步 · 设置文本构成与系数
    拖动中文占比,选分词系数档位,必要时自定义每汉字 token 上下限。
  3. 第 3 步 · 换算并看区间
    查看可用 token、汉字 / 英文词 / 页数区间与 token 预算分配条。
  4. 第 4 步 · 按切分建议处理长文
    按建议 chunk 与 overlap 分块,多组文档可用批量框一次换算。

更新记录

  • v1.0 2026-11-09
  • 2026-11-09 上线首个版本:窗口预设、分词系数区间、页数换算与切分建议

常见问题

128k 能放多少字?
以中文为主、扣除系统提示与输出预留后,128k 窗口大约可放 8 万~17 万汉字,折合 100~250 页 A4,具体取决于 tokenizer 与中英比例。本工具按可调系数给出区间,不给单一数字。
1 token 等于几个汉字?
没有固定值。中文友好 tokenizer 约 0.6~1.0 token / 汉字,通用 BPE 约 1.0~1.5,英文为主词表切中文可到 1.3~1.8。换算时应给区间,并以模型官方 tokenizer 实测为准。
Token 与汉字换算为什么要扣预留?
上下文窗口同时装系统提示、用户输入、检索片段与模型输出。若不预留输出空间,生成到一半就会超限;本工具先扣除「系统提示 + 输出预留」,剩下的才是可放文档的 token。
中英混合比例怎么影响容量?
英文按 1 词约 1.3 token 估算,中文按每字 0.6~1.8 token 的档位估算。中文占比越高,可放的字符数通常越多但单词数越少;工具按占比拆分 token 预算后分别换算。
A4 页数换算准吗?
只是体感估算。本工具按每页 600~800 汉字或约 450 英文词折算,实际页数受字号、行距、图表、公式与页边距影响,正式排版请用文档软件统计。
长文本 RAG 分块怎么设置?
建议单块取可用输入窗口的 1/4~1/2,并落在 512~2048 token 之间;相邻块留 10%~15% 重叠,优先按标题或段落边界切分,再按实际召回效果微调。

💬 留言板 0

全部留言需审核通过后展示
💬

还没有留言,来抢沙发吧!

✍️ 说点什么
0 / 500
图形验证码
👣 做完这一步,顺便看看
🧠 大模型显存估算 按参数量、精度、上下文与批大小估算权重显存、KV Cache… → 🧪 LoRA 微调显存计算 按 rank、序列、批量与 4bit QLoRA 估算训练显… → 🧰 乱码修复 / 文本编码转换 在线乱码修复工具:上传乱码文本文件或粘贴乱码字符串,用 UT… → 💻 假装工作模拟器 老板走近工位的一瞬间,点一下就能从摸鱼切回正经工作界面。代码… →
全部工具 →