リーダーボードは出発点ではない
ベンチマークで首位のモデルでも、選ぶべきではないことがあります。御社のデータがある場所で動かせない、御社が渡してよいデータを使えない、私たちが離れた後に御社のチームで面倒を見られない。そうであれば、スコアに意味はありません。
だから私たちは、まず境界を決め、モデルはその後に選びます。
最初に決める 5 つのこと
どこで動くか
御社の Mac、サーバールーム、クラウドアカウント、エアギャップ環境、あるいは承認済みのリモートサービス。どれを選ぶかで、候補に入るモデルと外れるモデルが決まります。
何に触れてよいか
モデルがどの資料から学び、どの資料を読んでよいか。出力、ログ、プロンプト、一時ファイルのうち、何が環境の外に出てよいか。終了時に何を残し、返却し、削除するかも決めます。
誰が使い、誰が変えられるか
日々誰が動かすか、誰が変更できるか、誰がその仕事をレビューするか、最初の引き渡しの後は誰が引き継ぐか。
マシンが何を許すか
メモリ、速度、一度に読み込む必要のある文章の量、ストレージ、そして同時に何人が使うか。
何を残していくか
テストの例、実行記録、既知の限界に関するメモ、ロールバックの手順、オペレーター向けのメモ。モデルを動かすチームが、それを理解できるように。
境界が選択をどう変えるか
これらの答えは、どのベンチマークよりも多くのことを決めることがよくあります。たとえば次のことです。
- モデルを自社のマシンで動かすか、承認済みのリモートサービスで動かすか
- ハードウェアに収めるために圧縮が必要か
- モデルを丸ごと入れ替えるより、小さなモデルにアダプターを載せるほうがよいか
- テストで重視するのは速度か、正確さか、書式か、レビューのしやすさか
- 誰かが使い始める前に、ロールバックの手順を実証しておく必要があるか
Mac のソフトウェアを操作するモデルを学習させたとき、Qwen3.5-9B を選んだのはまさにこの理由からです。画面を読めて、しかも Mac 1 台で動くからです。
私たちの進める順番
- 境界。 どこで動くか、何に触れてよいか、誰が面倒を見るか、マシンが何を許すか。
- 候補リスト。 その境界の内側に収まるモデル、アダプター、ランタイムだけ。
- テスト。 御社のタスクの例、わかっている難しいケース、速度とレビューの基準を、候補リストに対して実行します。
境界の内側で生きられるモデルの中から選びます。モデルを選んでから境界を引くのは、最初からやり直すことを意味します。