上下文窗口能放多少字 · Token、汉字、英文词与页数换算
128k 能放多少字没有唯一答案:不同 tokenizer 下 1 token 等于几个汉字差别很大,还要扣掉系统提示与输出预留。本工具按窗口 Token 数、中英混合比例与分词系数给出汉字数、英文单词数、A4 页数区间,并输出文档切分建议与建议分块数;系数按模型档位可调,全部本地计算。
① 窗口与文本构成
带 * 为必填 · 系数按模型档位可调调好窗口与中文占比后点「换算窗口容量」,结果只写入下方结果区。
换算明细 给出区间而不是伪精确单值
文档切分建议 RAG / 长文本分块的 chunk 与 overlap 口径
分词系数与窗口对照 系数按模型档位可调,窗口越大可放文档越长
| 档位 / 窗口 | 每汉字 token | 汉字数区间 | A4 页区间 | 说明 |
|---|
批量换算 一行一条:名称,窗口tokens,中文占比%,预留tokens
中文占比 0~100,预留需小于窗口;不合法行会标出行号。
| # | 文档 | 可用 Token | 汉字区间 | 英文词区间 | A4 页区间 |
|---|

还没有留言,来抢沙发吧!