리더보드는 출발점이 아니다
벤치마크 1위 모델도 잘못된 선택일 수 있습니다. 귀사의 데이터가 있는 곳에서 돌아가지 못하거나, 귀사가 넘겨도 되는 데이터를 쓰지 못하거나, 저희가 떠난 뒤 귀사 팀이 관리할 수 없다면 그 점수는 의미가 없습니다.
그래서 저희는 경계를 먼저 정하고, 모델은 그다음에 고릅니다.
먼저 정할 다섯 가지
어디에서 돌아가는가
귀사의 Mac, 서버실, 클라우드 계정, 망분리 환경, 또는 승인한 원격 서비스. 무엇을 고르느냐에 따라 후보에 드는 모델과 빠지는 모델이 정해집니다.
무엇에 닿아도 되는가
모델이 어떤 자료에서 배우고 어떤 자료를 읽어도 되는지, 그리고 출력, 로그, 프롬프트, 임시 파일 가운데 무엇이 환경 밖으로 나가도 되는지. 끝날 때 무엇을 남기고, 반환하고, 삭제할지도 정합니다.
누가 쓰고 바꿀 수 있는가
누가 매일 운영하는지, 누가 바꿀 수 있는지, 누가 작업을 검토하는지, 첫 인계 이후에는 누가 이어받는지.
장비가 무엇을 허용하는가
메모리, 속도, 한 번에 읽어야 하는 텍스트의 양, 저장 공간, 그리고 동시에 몇 명이 쓰는지.
무엇을 남겨야 하는가
테스트 예시, 실행 기록, 알려진 한계에 관한 메모, 롤백 경로, 운영자 메모. 모델을 운영하는 팀이 그것을 이해할 수 있도록.
경계가 선택을 어떻게 바꾸는가
이 답들은 어떤 벤치마크보다 더 많은 것을 결정하곤 합니다. 예를 들면 다음과 같습니다.
- 모델을 자체 장비에서 돌릴지, 승인한 원격 서비스에서 돌릴지
- 하드웨어에 맞추려면 압축이 필요한지
- 모델을 통째로 바꾸는 것보다 작은 모델에 어댑터를 얹는 편이 나은지
- 테스트에서 속도, 정확도, 형식, 검토 편의성 중 무엇에 집중할지
- 누군가 쓰기 전에 롤백 경로를 입증해야 하는지
Mac 소프트웨어를 다루도록 모델을 학습시킬 때 Qwen3.5-9B를 고른 이유가 바로 이것입니다. 화면을 읽을 수 있으면서도 Mac 한 대에서 돌아가기 때문입니다.
저희가 일하는 순서
- 경계. 어디에서 돌아가는지, 무엇에 닿아도 되는지, 누가 관리하는지, 장비가 무엇을 허용하는지.
- 후보 목록. 그 경계 안에 들어가는 모델, 어댑터, 런타임만.
- 테스트. 귀사의 작업 예시, 알려진 어려운 사례, 속도와 검토 기준을 후보 목록에 대해 실행합니다.
경계 안에서 살아갈 수 있는 모델 중에서 고르세요. 모델을 고른 뒤에 경계를 긋는 것은 처음부터 다시 시작한다는 뜻입니다.