구글이 대형언어모델의 도구 사용 능력을 학습하는 새로운 프레임워크 '툴그래드'를 공개했습니다. 기존 방식과 달리 검증된 도구 사용 경로를 먼저 만든 뒤 사용자 질의를 생성하는 '답변 우선' 구조로, 데이터 생성 성공률을 99.8%까지 높였습니다. 500개의 고품질 데이터만으로도 제미나이(Gemini) 2.5 프로 수준의 성능을 냈습니다.
기존 방식과 툴그래드의 차이
AI 에이전트가 복잡한 업무를 수행하려면 사용자 요청을 이해하고 적절한 API와 도구를 선택해 여러 단계를 거쳐 실행해야 합니다. 기존의 '질의 우선' 방식은 사용자 질의를 먼저 만든 뒤 해결 경로를 깊이 우선 탐색 방식으로 찾았기 때문에 실패 시 불필요한 연산 자원이 낭비되는 문제가 컸습니다.
툴그래드는 이를 역순으로 뒤집었습니다. 성공이 검증된 도구 사용 체인을 먼저 구축한 뒤, 이에 맞는 사용자 질의를 나중에 생성하는 구조입니다. 이미 실행 가능한 정답 경로를 갖고 시작하므로 탐색 모호성이 사라지고, 한 번의 LLM 호출만으로도 지시문을 완성할 수 있습니다.
| 항목 | 기존 방식 (질의 우선) | 툴그래드 (답변 우선) |
|---|---|---|
| 데이터 생성 순서 | 사용자 질의 → 도구 탐색 | 검증된 도구 체인 → 사용자 질의 생성 |
| 성공률 | 63.8% | 99.8% |
| 도구 사용 단계 (평균) | 2.1개 | 3.4개 |
| 탐색 방식 | 깊이 우선 탐색 | 검증된 경로 역참조 |
툴그래드의 4단계 작동 원리
이 프레임워크는 4개의 모듈로 작동합니다.
- API 제안자: 확장 가능성이 높은 API 후보를 추려냅니다.
- 실행기: 제안된 API를 병렬로 처리합니다.
- 선택자: 최종 결과를 종합해 적합한 호출을 워크플로에 붙입니다.
- LLM 업데이트: 워크플로 전체 흐름을 역방향으로 참조해 사용자 질의와 응답을 정교하게 다듬습니다. 이 피드백 과정이 '텍스트 그래디언트' 역할을 수행합니다.
일괄 예측으로 속도 극대화
기존 AI 에이전트는 '생각-실행-생각-실행'을 번갈아 반복하는 ReAct 방식을 써왔습니다. 툴그래드로 학습된 에이전트는 전체 도구 사용 흐름을 한 번에 예측하는 일괄 방식을 채택했습니다.
이를 통해 실행 지연시간과 토큰 소비를 대폭 줄이면서도 작업 정확도를 극대화했습니다. 기존 방식에서는 여러 번의 API 호출과 분석 과정이 필요했지만, 툴그래드는 처음부터 정답 경로를 알고 있어 불필요한 반복을 제거할 수 있습니다.
500개 데이터로 제미나이 2.5 프로 수준의 성능 달성
구글 연구진은 500개의 고품질 데이터만으로 구성된 '툴그래드-500' 데이터셋을 구축해 제미나이 3(1B·4B·12B) 모델을 추가 학습했습니다. 기존에는 수만 개의 데이터를 투입해야 했으므로 이는 획기적인 효율성 개선입니다.
평가 결과, 툴그래드-12B 모델은 버클리 함수 호출 리더보드에서 83.1점을 기록했습니다. 이는 제미나이 2.5 프로(83.2점)나 클로드 오퍼스 4.5(82.8점) 수준에 육박하는 성과입니다.
특히 주목할 점은 이 결과가 데이터를 생성해 준 교사 모델인 제미나이 2.5 플래시-라이트보다 우수하다는 것입니다. 훈련에 쓰이지 않은 낯선 도구 환경에서도 안정적인 일반화 능력이 있다는 뜻입니다.
실제 활용을 위한 공개 자료
구글 연구진은 툴그래드의 코드, 데이터셋, 학습 모델을 깃허브(GitHub)에 공개했습니다. 연구자와 개발자들이 직접 활용할 수 있도록 공개 소스 형태로 제공한 것입니다.
연구진은 이 프레임워크가 도구 사용 데이터 생성의 오랜 문제였던 비용, 확장성, 실패율을 동시에 개선할 수 있다고 설명했습니다. 거의 100%에 가까운 성공률을 확보하면서도 상대적으로 작은 모델이 높은 수준의 도구 활용 능력을 갖추도록 할 수 있다는 점이 의미 있습니다.
댓글 쓰기