返回行业内容

ttok 0.4 发布:基于 tiktoken 的 token 计数 CLI 修好 Click 警告、新增 --list-models,uvx ttok 即取即用

ttok 0.4

评分 32

导读

ttok 是作者用 OpenAI 开源的 tiktoken 库做 token 计数的命令行工具,几年没更;这次修掉一个 Click 警告、更新了 CI,并加了 --list-models 列出可用模型。配合 uvx,任意内容都可以 cat file.txt | uvx ttok 直接计数。

主体与标签

Simon Willison#开源/仓库#工具发布

正文

ttok is my CLI tool for counting tokens, using OpenAI's open source tiktoken library.

It hasn't been in updated in a couple of years, but I finally fixed a Click warning, updated CI, and added a --list-models command to list available models.

It works with uvx , so you can count tokens in anything like this:

cat file.txt | uvx ttok

Tags: projects , ai , openai , generative-ai , llms , tokenization

打开原文 ↗