一幅油画:化验所里,一位化验师在黄铜天平旁用试金石检验金条,砝码之间放着一个小小的现代 U 盘。

笔记

微调适配器上线前,如何检查

训练跑完,不等于模型做完。适配器进入你的环境之前要回答的四个问题,以及应该随它一起交付的东西。

训练跑完,不等于模型做完

微调训练结束时,你得到的是一个文件。至于你的员工能不能依靠它,是另一个问题。

在适配器进入客户环境之前,我们会回答关于它的四个问题,并把每个答案背后的证据一起交付。只要有一个问题还没有答案,这个适配器就还没准备好。

它能完成工作吗?

用它被训练来做的工作去测试,所用的样例在训练开始前就与你约定好。通用的质量分数,很难说明它能不能正确起草你的条款,或读懂你的屏幕。

说清楚数字的含义。我们训练一个 Qwen3.5-9B 适配器来操作 Mac 软件时,它在一套固定的 477 步测试上的动作得分从 0.33 提高到了 0.77。其中一部分提升来自模型学会了答案格式,所以我们如实这样报告,并把它当作我们自己的离线测试,而不是对真实任务成功率的衡量。

它弄坏了什么?

适配器可能让模型在一件事上变好,却在别的事上悄悄变差。拿它和基础模型比较,看看基础模型原本就做得好的工作:

  • 变得更弱或更含糊的回答
  • 走样或出错的格式
  • 拒绝得太多,或在不该回答时回答
  • 基础模型原本没有的新的薄弱之处

它能在必须运行的地方运行吗?

在它将来所在的那台机器上检查,按那台机器允许的内存、速度和上下文长度来测。只能在我们硬件上运行的适配器,等于没有测试过。

它能被关掉吗?

在任何人依赖它之前,在真实的运行时里加载它、停用它、替换它、回滚它。事先决定什么情况会触发回滚,以及谁有权执行。

随适配器一起交付的东西

适配器绝不应该以一个孤零零的文件交出去。它要附带一份简短的证据包:

  • 它基于哪个基础模型训练
  • 哪些数据塑造了它,并注明对应的数据集卡片
  • 训练设置
  • 测试样例和结果
  • 它在哪里失败或变差
  • 如何启用、如何停用、如何回滚
  • 谁审查过它,是否已被接受

证据包不是为了让适配器显得好看,而是为了让任何人都能看清它的表现。

上线前的六个问题

  • 它要改进的是什么任务?哪些样例证明它做到了?
  • 哪些样例显示没有改进,或者出现了退步?
  • 测试用的是哪个基础模型和哪个运行时?
  • 如何启用?如何停用?
  • 什么情况会让我们回滚?
  • 谁批准它在你的员工或客户中使用?

六个问题都有了答案,适配器就可以进入你的环境,并且在那里可以被审查、启用和撤回。

每一件委托,都从一次谈话开始。

告诉我们要做的工作、你手里有哪些数据、模型需要在哪里运行。我们会在两个工作日内回复。

洽谈项目biz@random-walk.co.jp