ttok 0.4 发布:基于 tiktoken 的 token 计数 CLI 修好 Click 警告、新增 --list-models,uvx ttok 即取即用
ttok 0.4
评分 32
导读
ttok 是作者用 OpenAI 开源的 tiktoken 库做 token 计数的命令行工具,几年没更;这次修掉一个 Click 警告、更新了 CI,并加了 --list-models 列出可用模型。配合 uvx,任意内容都可以 cat file.txt | uvx ttok 直接计数。
主体与标签
Simon Willison#开源/仓库#工具发布
正文
ttok is my CLI tool for counting tokens, using OpenAI's open source tiktoken library.
It hasn't been in updated in a couple of years, but I finally fixed a Click warning, updated CI, and added a --list-models command to list available models.
It works with uvx , so you can count tokens in anything like this:
cat file.txt | uvx ttokTags: projects , ai , openai , generative-ai , llms , tokenization