不争一时,相信投入就会有回报。不同大实验室比资源,跟开源社区一起成长。是语实验室的投入方向是:
- 低成本实践:目标是以有限资源交付出有实际应用价值的模型和应用;
- 底层实现:目标是深度剖析语言技术的不同环节,交付易理解的代码库和文档;
三本书的源码统一维护在 IsBook,从文本、训练到编译器,记录语言 技术的底层实现。
- Text:文本处理 从 Unicode、UTF-8 和正则表达式出发,实现 Trie、中文分词与 Tokenizer。
- Zero:训练引擎 从张量和自动微分出发,实现模型训练、GPU 计算与 GPT。
- Matx:编译器 从 AST 和 Visitor 出发,实现运行时对象、容器、函数与 FFI。
- Summer:使用 ReTok 为 Qwen3 更换 Tokenizer,研究词表迁移对模型能力的影响。
- Interpreter:在 Summer 基础上 结合 SFT、DPO 与 GRPO 训练中英翻译模型。
以本地统计语言模型为核心,支持简繁、中英、全拼、简拼和九宫格输入。
- SimeApp:Android、macOS 与 Linux/Fcitx5 输入法应用。
- Sime:C++ 输入法引擎、语言模型与训练工具。
- DictCut:面向输入法语料的 EM 中文分词实现。
- Handwritten:为输入法补充手写 汉字识别能力的 MobileNet-v2 模型。
- IsEntity:基于维基数据和维基百科, 使用强类型 Scheme Entity 组织人物知识。