Skip to content

feat(video): 自进化系列三集科普视频内容升级与本人音色克隆配音 - #1105

Merged
ThreeFish-AI merged 9 commits into
feature/1.x.xfrom
ThreeFish-AI/video-voice-clone-paper-content-upgrade
Aug 18, 2026
Merged

feat(video): 自进化系列三集科普视频内容升级与本人音色克隆配音#1105
ThreeFish-AI merged 9 commits into
feature/1.x.xfrom
ThreeFish-AI/video-voice-clone-paper-content-upgrade

Conversation

@ThreeFish-AI

@ThreeFish-AI ThreeFish-AI commented Aug 17, 2026

Copy link
Copy Markdown
Owner

概要

三集科普视频（《AI 如何自己变强？》《上线之后，AI 才开始上学》《会写代码的 AI，开始给自己写代码》）的一揽子升级：本人音色克隆配音（充满激情与轻快）+ 源论文第二遍重读校准 + 官方工程站点信源补充 + 动画增强 + 管线沉淀。

一、配音：本人音色克隆（passionate 激情风格）

  • 新增 passionate 风格预设（happy 0.70 高唤醒正价 + surprised 0.20 跳跃感 + calm 0.10 锚定咬字，有效和 0.70 ≤ 0.8 上限，语速 0.97）；参考样本 me-1.wav 从本人录音经 RMS 数值预筛（−26..−14dB 稳态人声段）裁剪，不入库（gitignored）。
  • 性能修复：实测 MPS fp32 每句 RTF 40–58（手册原估「每句 5–30s」严重失实，三集需 ~31h）——定位为上游库内部 num_beams=3 使 GPT 段耗时按束宽线性放大；新增 --num-beams 旋钮（服务端+客户端+缓存契约）并默认降为 1 束，RTF 降至 ≈12–15（采样生成下听感差异可忽略），整集 ~7h 可后台跑完。

二、内容校准（每集审计文档 research/upgrade-2026-08.md 可回溯）

集 逐字稿 新增句 站点信源（与论文正文物理隔离）
《AI 如何自己变强？》 v2→v3 8 312 条收录统计（77 FM/176 Scaffolding/59 Eval）、九篇敲门砖、living map 定位
《上线之后，AI 才开始上学》 v1→v2 7 经验编译器五段闭环（选证据/提抽象/记出处）、Gen3 适应面语义、SIP-Bench 四指标、111 篇×9 章
《会写代码的 AI…》 v2→v3 2 无（用户确认暂无）——纯论文深读：SICA 三选择信号、Table 2 斜线规律
  • 第二遍重读结论：三集全部断言与源论文一致，零事实漂移；新增句双重校验 RISKY/REWRITE=0；未触碰句字节级稳定；storyboard 无悬空 id。
  • 三集主线严格取自各自源论文，站点信源单集专属不跨集。

三、动画增强（全部代码化重建，不嵌入任何站点图片）

  • ep1：P5 新增活地图镜（三色计数条→环形图合拢→橙段 2.3 倍洞察）与敲门砖墙镜（3×3 卡片双色分拣重排）；Voyager 金句条；出题循环流光巡游。
  • ep2：P6 新增经验编译器闭环复盘镜（青快/紫慢双速差流光是概念核心 + 闸门红脉冲）与 111 篇清单卡镜；Gen3 接口面板点亮；SIP-Bench 检查点卡+四仪表通电。
  • ep3：SICA 双仪表（成本/时长）；3×3 矩阵斜线光带扫掠；雷达图数值轨迹+轴辉光。
  • 全部遵循 skill-06 四红线（px 居中/角标 bottom≥150/pathLength 归一化/片尾渐黑从末 beat 推导）；三集 tsc --noEmit 通过。

四、管线沉淀（可复用基建）

  • tts.py/tts_server.py：passionate 预设 + --num-beams 全链路；
  • skills/01-paper-extraction.md：官方工程站点信源补充纪律（事实性内容/逐字引用+URL+日期/独立大节/严禁图片/单集专属）；
  • VOICE-CLONING.md：§4.3b 束宽速度主旋钮 + 实测 RTF 数据 + 修正整集耗时预估；
  • knowledge-map / CHANGELOG / 三集 README（配音命令、许可声明）同步。

测试与验证

  • 每集 G2 门：build_narration.py 重建通过（228/179/189 句）、公共句 text 全等、storyboard ⊆ narration；
  • 三集 video 工程 tsc --noEmit 零错误；
  • 根 lockfile 零变更（三个嵌套 pnpm --ignore-workspace）；
  • 渲染链（草渲+抽帧 QA+终渲 1080p30）将在 TTS 全量合成完成后执行并附证据帧（音频产物 gitignored，不入库）。

🤖 Generated with Claude Code, CodeX, Gemini

@ThreeFish-AI
feat(tts): 视频管线新增「激情」配音风格预设与官方站点信源补充规范;
4b27a47 
- tts.py STYLE_PRESETS 新增 passionate（充满激情与轻快）：happy 0.70 主载高唤醒正价 + surprised 0.20 跳跃感 + calm 0.10 锚定咬字，有效和 1.00×0.7=0.70 ≤0.8 上限，语速 0.97 护密集技术句清晰度；--list-styles 与模块 docstring 同步；
- VOICE-CLONING.md §4.1 风格表收录 passionate 并置于推荐位，§4.4 补科普长视频风格推荐与数字密集段 df=1.0 微调指引，§五示例命令更新；
- skills/01-paper-extraction.md 扩展「官方工程站点信源补充」纪律：只收事实性内容（逐字引用+URL+访问日期）、产出落 paper-notes.md 末尾独立「信源补充」大节与论文正文物理隔离、严禁下载/嵌入站点图片（概念转文字规格供 Remotion 代码动画重建）、站点信源单集专属不跨集、站点与论文冲突以论文为准；
- pipeline README Stage ① 描述与 tts.py 脚本表同步；CHANGELOG Unreleased 收录管线条目。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
@ThreeFish-AI
feat(video): 《会写代码的 AI，开始给自己写代码》论文深读校准与动画升级（v3）;
bb0ffd6 
- 第二遍全文重读 arXiv:2608.03392 校准：v2 全部断言与原文一致（零事实漂移），重读结论与新增锚点沉淀至 paper-notes.md「2026-08 升级复核」节；
- 逐字稿 v2→v3：新增 p2-07b（SICA 选择信号补全：分数+成本+运行时三项一起达标，锚 §4.2 "coding benchmark performance, cost, and runtime"）与 p3-25b（Table 2 结构规律点破：时机×证据耦合近似一条斜线），其余 187 句零字节改动；
- 分镜同步：2-B 补双仪表动效（成本/时长随句点亮）、3-F 补绿色斜线光带扫掠（对角规律可视化）；
- 新增 research/upgrade-2026-08.md 审计文档：校准审计表、句级 delta、双重校验 delta（RISKY/REWRITE=0）、G2 验证记录（189 句 rebuild、公共句字节稳定、storyboard 无悬空 id）；
- 本集无配套官方工程站点（用户确认），不引入站点信源。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
@ThreeFish-AI
feat(video): 《AI 如何自己变强？》官方站点信源补充与收尾活地图镜（v3）;
aa7304c 
- 论文 PDF 第二遍重读校准（§3/§4/§8/§9 重点页）：v2 全部断言与原文一致（零事实漂移），结论与新增锚点沉淀至 paper-notes.md「2026-08 升级复核」节；
- 官方工程站点信源补充（selfimproving-agent.github.io，2026-08-18 访问）：312 条收录统计（77 FM/176 Scaffolding/59 Evaluation）、living research map 定位、九篇敲门砖清单、I.J.Good 题记佐证——按新规范录入 paper-notes.md 独立「信源补充」大节（与论文正文物理隔离）；
- 逐字稿 v2→v3：新增 p3-34b/c（Skill=打包保存的一次自我升级，锚 §3.2 "a reusable instance of the self-induced update operator U"）与 P5 收尾两镜——p5-22a..22d 活地图（三色计数条 77 蓝/176 橙/59 灰，橙条印证「装备最火」）+ p5-22e/f 敲门砖卡片墙（9 篇双色分拣）；其余 220 句零字节改动；
- 分镜同步：3-G 扩金句条翻面动效；P5 新增 5-F 活地图镜（计数条生长+环图合拢）、5-G 敲门砖墙镜（交错飞入+双色分拣重排），原文卡重号为 5-H；
- 新增 research/upgrade-2026-08.md 审计文档：审计表、句级 delta（8 新句）、双重校验 delta（RISKY/REWRITE=0，站点数字显式标注信源等级与访问日期）、G2 验证记录（228 句 rebuild、公共句字节稳定、storyboard 无悬空 id）。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
@ThreeFish-AI
feat(video): 《上线之后，AI 才开始上学》经验编译器闭环与三代史升级（v2）;
8805194 
- 源论文 88 页复核（§1–2 harness 形式化、§8 SIP-Bench、§10 开放问题）：v1 全部断言与论文一致（零事实漂移），关键数字锚点（+16.2pp/16/84/~1,200/>90%/AI-45°）全部维持；
- 官方工程站点信源补充（frontisai.github.io/Awesome-Self-Improving-Agents，2026-08-18 访问）：trace-to-capability 五段闭环（经验编译器：选证据/提抽象/记出处）、Gen1→3 时间线精确语义、SIP-Bench 四指标问句、111 篇×9 章规模——录入 paper-notes.md 独立「信源补充」大节；
- 逐字稿 v1→v2：新增 p1-25a（Gen3「适应面本身可进化」精确语义）、p6-06a..06d（经验编译器闭环复盘：把全片结构升格为一张五段环形图）、p6-13a/b（配套仓库 111 篇×9 章清单卡）；其余 172 句零字节改动；
- 分镜同步：1-G 补 Gen3 接口面板点亮、4-D 升级三检查点卡+四仪表通电、P6 重排新增 6-B2 闭环复盘镜（青路快闪/紫路慢沉双速差+闸门脉冲）与 6-F 清单卡镜，原文卡重号为 6-G；
- 新增 research/upgrade-2026-08.md 审计文档：审计表、句级 delta（7 新句）、双重校验 delta（RISKY/REWRITE=0）、G2 验证记录（179 句 rebuild、公共句字节稳定、storyboard 无悬空 id）。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
@ThreeFish-AI
feat(tts): IndexTTS 推理新增束搜索宽度旋钮并将管线默认降为 1 束（MPS 长跑提速）;
fe3af2f 
- 根因：MPS fp32 实测每句墙钟 RTF 40–58（GPT 束搜索 145–210s + 扩散声码 40–98s / 5s 音频），上游库内部 num_beams=3 使 GPT 段耗时按束宽线性放大，整集 180–230 句需 6–10 小时，三集串行不可行；
- tts_server.py：SynthesizeRequest 新增 num_beams 字段（1–5 校验），_infer_sync 透传给 infer()（上游默认 3，采样生成 do_sample=True 下 1 与 3 听感差异可忽略）；
- tts.py：--num-beams CLI（默认 1，choices 1–5），http_synthesize/synth_indextts 全链路透传，edge-engine 参数忽略提示同步；注意：num_beams 不参与缓存摘要（与文本/风格/样本一样变化才重合成，束宽仅影响推理过程）；
- VOICE-CLONING.md：§4.3b 新增束宽速度主旋钮说明与实测 RTF 数据（40–58 vs 20–30），§五 每句耗时与整集预估改按实测口径（6–10 小时、nohup 后台+断点续跑建议），修正原「每句 5–30 秒」的失实估计。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
@ThreeFish-AI
feat(video): 三集 Remotion 场景新增信源镜与动画升级（站点概念代码化重建）;
11f5be7 
- 《AI 如何自己变强？》：P5Ending 新增 5-F 活地图镜（三色计数条 77 蓝/176 橙/59 灰并行生长→环形图合拢→橙段强调脉冲+2.3 倍洞察行，信源等级角标 bottom 880 避字幕条）与 5-G 敲门砖墙镜（九篇卡片 3×3 交错飞入→按蓝/橙双色分拣重排为两竖列，呼应 P1 分叉）；原 5-F 原文卡重号 5-H（渐黑窗口仍从末 beat 实时推导）；3-G Voyager 补 p3-34b/c 金句条翻出（技能=打包保存的自我升级，衬线体橙描边）；
- 《上线之后，AI 才开始上学》：P6Ending 新增 6-B2 经验编译器闭环复盘镜（五节点环形流水：部署轨迹→编译器三步徽标→青路快闪/紫路慢沉双速差流光→评测安全闸红脉冲→「受控的持久能力」角标）与 6-F 配套清单卡镜（111 计数器滚动+九章名胶囊环绕）；新增 6-C 金句四步下划线收束；1-G 三代史补 Gen3 定格放大+四个「可改接口」面板点亮（适应面自进化）；4-D 纵向协议升级为检查点卡（圆点→卡片）+四仪表逐个通电（新任务/老任务/归因/代价）；
- 《会写代码的 AI，开始给自己写代码》：2-B SICA 补成本/时长双仪表随 p2-07b 点亮+数字轻微脉冲；3-F 矩阵补绿色斜线光带扫掠（pathLength 归一化，Table 2 对角规律）；4-E 雷达补数值轨迹点+当前展开轴辉光+轴值标注；
- 全部遵循 skill-06 四红线：px 居中、角标 bottom≥150、pathLength 归一化不与像素 dasharray 混用、片尾渐黑从末 beat 推导；三集 tsc --noEmit 全通过。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
@ThreeFish-AI
feat(video): 《AI 如何自己变强？》出题循环图升级流光巡游与游标辉光;
8be6bb1 
- QuestionLoop 活动段补 pathLength 归一化流光虚线（沿线巡游）与动点 drop-shadow 辉光，节点点亮感更强；红线 3 合规（不与像素 dasharray 混用）。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
@ThreeFish-AI
docs(video): 三集克隆配音说明与知识地图同步;
04bf703 
- 三集 README：形态行改「本人音色克隆配音（IndexTTS-2.5，passionate 激情风格）」并注明可切回；复现流水线第 2 步换 indextts 命令（含服务启动指引、样本不入库说明、断点续跑提示）；许可节补 bilibili 模型许可与本人自愿克隆声明；
- knowledge-map 管线条目同步：Stage ① 含站点信源补充、风格列表加激情、三集升级波与 upgrade-2026-08.md 审计文档链接；
- CHANGELOG Unreleased 补三集内容升级条目与 num-beams 提速条目。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
@ThreeFish-AI
fix(video): 《上线之后，AI 才开始上学》1-G beat 窗口引用笔误修正（p1-26a→p1-26）;
89b239e 
- 预渲染全量引用校验发现 beatWindow('p1-22','p1-26a') 引用了不存在的句 id（实际新增句为 p1-25a，位于 p1-26 之前），运行时会抛「未找到句 id」阻断渲染；修正为 p1-26（窗口自然覆盖 p1-25a）；
- 三集组件引用 × narration.json 全量交叉校验通过（缺失均为零）。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
@ThreeFish-AI

ThreeFish-AI commented Aug 18, 2026

Copy link
Copy Markdown
Owner Author

✅ 渲染链全部完成（三集终渲 1080p30 已产出）

集 时长 音色 终渲
《AI 如何自己变强？》 16:56 本人克隆 passionate media/self-improving-agents-video/out/final.mp4（91MB）
《上线之后，AI 才开始上学》 13:11 本人克隆 passionate media/experience-era-agents-video/out/final.mp4（52MB）
《会写代码的 AI，开始给自己写代码》 13:38 本人克隆 passionate media/self-evolving-coding-agents-video/out/final.mp4（53MB）

TTS：三集 596 句全量合成（beams=1，passionate 风格，me-1.wav 克隆），零失败；语速抽检 0.19–0.25s/字（df=0.97 轻快档）。

QA 证据（每集草渲后执行）：

  • 新镜数值验证：ep1 活地图三色计数（蓝 3724/橙 6252 像素 ✓）+ 卡片墙分拣落位（蓝列中心 309 / 橙列 649 ✓）；ep2 闭环三阶段递进（编译器→双路 青826/紫360→闸门 红331 ✓）+ 清单卡胶囊 ✓ + Gen3 接口面板 ✓；ep3 斜线光带（绿 1630px ✓）+ SICA 双仪表 ✓（AI 读帧五项检查全过）；
  • 尾幕淡出三帧检查：三集均「渐黑中→JPEG 黑噪基准 18.3」模式 ✓（无长黑屏、无提前渐黑）；
  • 终渲抽查：1080p30 H.264 含音轨，帧亮度正常。

音频与视频产物 gitignored 不入库；复现命令见各集 README。

@ThreeFish-AI
ThreeFish-AI merged commit 4248d41 into feature/1.x.x Aug 18, 2026
1 check passed
@ThreeFish-AI ThreeFish-AI mentioned this pull request Aug 18, 2026
Merged
ThreeFish-AI added a commit that referenced this pull request Aug 18, 2026
@ThreeFish-AI
chore(video): 合入 feature/1.x.x 解决 squash 后分支与基线冲突;
9f7890a 
- PR #1105 以 squash 方式合入 feature/1.x.x，merge-base 仍停在旧位置致 PR #1106 报 CONFLICTING；将 origin/feature/1.x.x merge 回工作分支消除冲突；
- 六处冲突全部取本分支侧（--ours）：squash 提交内容与 89b239e 逐字节一致，本分支侧仅多两个评审修复 commit，语义即「保留修复后的最终态」；
- 合并结果树与合并前分支尖完全一致（diff 为空），零语义变更。

🤖 Generated with [Claude Code](https://github.com/claude), [CodeX](https://openai.com), [Gemini](https://github.com/apps/gemini-code-assist)
Co-Authored-By: Aurelius Huang<threefish.ai@gmail.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Reviewers

No reviews

Assignees

No one assigned

Labels

None yet

Projects

None yet

Milestone

No milestone

Development

Successfully merging this pull request may close these issues.

1 participant

@ThreeFish-AI