Perplexity开源其自研Unigram分词器，CPU利用率降低5-6倍

Perplexity公司近日宣布开源其重建的Unigram分词器，旨在将CPU利用率降低5至6倍。据公开内容介绍，当前小型重排器和嵌入器在GPU上仅需个位数毫秒即可运行，使得CPU分词成为整体处理延迟中的重要组成部分。通过优化分词器的效率，可以显著减少CPU负载，从而提升系统性能。

技术细节解析

重构版Unigram tokenizer采用更高效的概率计算路径，减少了不必要的内存访问和循环开销。相比原版实现，新版本在保持相同分词质量的前提下，大幅降低了单次推理的CPU负载。这一改进对参数量在十亿以下的小模型尤为关键。
开源代码包含详细文档和基准测试脚本，方便社区验证性能数据。Perplexity表示，此举旨在推动AI工具民主化，让更多研究者和开发者受益。

行业影响分析

该开源项目体现了当前AI领域的开源趋势。众多企业正通过共享核心组件加速技术迭代。CPU优化直接降低了小模型的部署成本，有助于边缘AI应用普及。
从长远看，此类工具的开源可能催生更多轻量化模型方案。开发者无需从头构建分词逻辑，可专注模型训练与应用创新。同时，社区反馈将进一步完善代码，推动标准形成。

该开源项目已在GitHub上发布，仓库地址为perplexityai/pplx-garden，供开发者社区访问和使用。Unigram分词器是自然语言处理中的基础工具，用于文本分割，此次重建聚焦于性能优化，体现了Perplexity在AI工具链上的技术改进。