跳到正文
原文
Simon Willison·· 7 天前AI 评分32

ttok 1.0 发布:默认 tokenizer 切换为 GPT-5/GPT-6

ttok 1.0

AI 导读

Simon Willison 发布 ttok 1.0,将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。

正文 · AI 翻译

我发布了 ttok 0.4,运行 uv tool upgrade ttok,把一个文件通过管道传入新版本……然后意识到它默认使用的是 GPT-4 分词器,而它显然应该默认使用 GPT-5/GPT-6 才对!

我觉得切换默认值是个合理的理由,终于可以发布 1.0 了。

OpenAI 实际上还没有确认 GPT-6 使用与 GPT-5 系列相同的分词器——有一个 关于此问题的激烈讨论——但我找到了 William Liu 的 这个提交,其中报告了他所做的一项实验,确认两者的分词器很可能是相同的:

全部七个 GPT 模型(5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna)都报告 44,794 个 token,并且在全部 31 个测试用例上彼此一致。GPT-6 在该语料库上没有引入输入计数的变化。

来源:Simon Willison · simonwillison.net