学習が終わっても、モデルは完成していない
ファインチューニングの学習が終わると、手元にはファイルがひとつ残ります。それを現場の人が頼れるかどうかは、また別の問題です。
アダプターをお客様の環境に入れる前に、私たちはそれについて 4 つの問いに答え、それぞれの答えの根拠と一緒に引き渡します。答えのない問いがひとつでもあれば、そのアダプターはまだ準備ができていません。
仕事をこなせるか
学習の目的とした仕事で、学習を始める前に御社と取り決めた例を使ってテストします。汎用的な品質スコアでは、御社の条項を正しく起草できるか、御社の画面を正しく読めるかはほとんどわかりません。
数字の意味をはっきりさせます。Mac のソフトウェアを操作する Qwen3.5-9B アダプターを学習させたとき、固定した 477 ステップのテストでアクションスコアは 0.33 から 0.77 に上がりました。改善の一部はモデルが回答の形式を覚えたことによるものなので、そのとおりに報告し、実際のタスクの成功率ではなく自社のオフラインテストの結果として扱っています。
何を壊したか
アダプターは、あることでモデルを良くしながら、ほかのことでひっそり悪くすることがあります。ベースモデルがもともとうまくこなしていた仕事で、ベースモデルと比べます。
- 弱くなった、あるいは曖昧になった回答
- 崩れたり壊れたりする書式
- 断りすぎる、あるいは答えるべきでないときに答える
- ベースモデルにはなかった新しい弱点
動くべき場所で動くか
実際に置かれるマシンで、そのマシンが許すメモリ、速度、コンテキスト長で確かめます。私たちのハードウェアでしか動かないアダプターは、テストされていないのと同じです。
止められるか
誰かが頼り始める前に、実際のランタイムで読み込み、無効にし、差し替え、ロールバックしてみます。何がロールバックのきっかけになるのか、誰がそれを行えるのかを事前に決めておきます。
アダプターと一緒に引き渡すもの
アダプターを、ファイル単体で引き渡してはいけません。短い証跡パッケージを添えます。
- どのベースモデルで学習したか
- どのデータがそれを形づくったか（データセットカードへの参照つき）
- 学習の設定
- テストの例と結果
- どこで失敗したか、どこで悪くなったか
- 有効にする方法、無効にする方法、ロールバックの方法
- 誰がレビューし、受け入れられたかどうか
このパッケージはアダプターをよく見せるためのものではありません。誰もがその振る舞いを確かめられるようにするためのものです。
出荷前の 6 つの問い
- どのタスクを改善するためのものか。改善を示す例はどれか。
- 改善がない、あるいは後退した例はどれか。
- テストに使ったベースモデルとランタイムはどれか。
- どうやって有効にし、どうやって無効にするか。
- 何があればロールバックするか。
- 社員やお客様への利用を誰が承認するか。
6 つすべてに答えが出れば、アダプターは御社の環境に入れる準備ができています。そしてそこで、レビューし、有効にし、元に戻すことができます。