구글(Google)이 제미나이 4 카본을 공개했습니다. 인공지능 성능 평가에서 1위를 차지한 모델입니다. 사이버 보안과 장시간 자율 작업에 최적화됐습니다.
제미나이 4 카본, AI 성능 평가 1위
제미나이 4 카본은 아티피셜 애널리시스 인텔리전스 인덱스 v5.0에서 59점을 받았습니다. 클로드 오퍼스 5.5(58점)와 GPT-6 아스트라(57점)를 제쳤습니다. 이 평가는 코딩, 추론, 과학 문제 해결 등 9개 벤치마크를 종합한 것입니다.
구글이 이 평가에서 정상을 차지한 것은 약 11개월 만입니다. 지난해 11월 출시한 제미나이 3 프로 이후 처음입니다. 지난 2주 전 공개한 아르곤(50점)보다 9점 높습니다.
사이버 보안 성능, 3개 벤치마크 모두 최고 수준
카본은 보안 취약점 탐지에 특화됐습니다. 실제 소프트웨어에서 보안 취약점을 찾아내는 SEC-벤치 프로에서 88.2%를 기록했습니다. 발견한 취약점이 실제 공격에 이용될 수 있는지 검증하는 익스플로잇짐에서 54.8%를 기록했습니다. 취약점을 수정하는 CWE-벤치에서 71.0%를 기록했습니다.
이는 AI가 취약점을 발견하는 데 그치지 않고 실제 위험성을 확인하고 수정 코드를 작성하는 전 과정을 수행할 수 있다는 의미입니다. 구글 내부 평가에서 안전한 코드 생성 성공률이 아르곤의 두 배 이상으로 높아졌습니다. 크롬 개발팀에서는 다른 AI 연구소의 대형 모델과 비교해 고품질 보안 패치를 생성하는 성능이 10배 이상 높다고 평가했습니다.
장시간 복잡한 엔지니어링 작업 수행 능력
카본은 며칠에 걸쳐 하나의 엔지니어링 작업을 수행할 수 있도록 설계됐습니다. 단순히 주어진 명령에 따라 코드를 작성하는 데 그치지 않고, 여러 단계의 작업을 계획하고 실패한 접근법을 수정하면서 문제 해결을 이어갑니다. 구글 내부 연구진은 카본이 대규모 코드에서 복잡한 오류의 원인을 추적하고 수정하는 사례를 확인했습니다.
작업 범위를 벗어나는 행동은 26% 감소했습니다. 필요한 작업을 수행하지 못하는 사례는 29% 감소했습니다. 코딩 에이전트 지수에서는 59점을 기록해 클로드 오퍼스 5.5(62점)에 이어 2위를 차지했습니다. 터미널벤치 4.0에서는 64%, 프론티어코드 v1.1에서는 51%로 모두 2위에 올랐습니다.
전문 업무 능력, 속도와의 트레이드오프
발스 AI(Vals AI)의 전문 업무 평가에서 카본은 70.36%로 2위를 기록했습니다. 클로드 소네트 5.5(70.85%)에 근소하게 뒤졌지만, 클로드 오퍼스 5.5(70.18%)는 앞섰습니다. 금융 종합 지수와 법률 연구 벤치마크에서는 모두 1위를 차지했습니다. 금융 모델링은 2위, 세무 에이전트는 3위에 올랐습니다.
다만 성능 향상에는 처리 시간과 토큰 사용량 증가가 뒤따랐습니다. 카본은 아르곤보다 출력 토큰을 64% 더 사용했습니다. 금융·세무 에이전트 작업에는 두 배 이상 시간이 걸렸습니다. 법률 연구는 작업당 50분 넘게 소요됐습니다. 발스 AI는 카본이 더 철저하게 작업을 수행하는 대신 속도를 희생했다고 분석했습니다.
반대로 금융 모델링과 터미널 코딩에서는 아르곤보다 빠르고 정확했습니다. 종합 평가의 작업당 비용은 10.51달러로 클로드 소네트 5.5(18.70달러)보다 낮았습니다.
모델 안전성 개선, 프롬프트 인젝션 공격 방어 강화
구글은 모델 자체의 안전성도 개선했습니다. 구글 내부 평가에서 심각한 정렬 위반 경고는 약 80% 감소했습니다. 충분한 근거 없이 사실을 주장하는 행동은 약 50% 감소했습니다. 외부 지시문으로 AI의 행동을 조작하는 프롬프트 인젝션 공격 평가에서 공격 성공률이 아르곤의 0.7%에서 0%로 낮아졌습니다.
사실관계에 대한 지식과 정확성을 평가하는 AA-옴니사이언스에서는 54점으로 전체 1위를 차지했습니다. 클로드 오퍼스 5.5(48점)를 6점 앞섰습니다. 정답률도 아르곤의 48%에서 58%로 상승했습니다. 다만 이 평가에서 측정한 환각률은 4%에서 11%로 높아졌습니다. AA는 카본의 환각률이 아르곤에 이어 두 번째로 낮다고 평가했습니다.
가격과 사양, 초기 할인 적용
카본의 초기 API 가격은 입력 토큰 100만개당 2달러, 출력 100만개당 10달러입니다. 아르곤과 같은 수준입니다. 캐시된 입력 토큰은 입력 토큰 가격의 95% 할인을 받습니다.
현재 가격은 초기 할인 기간입니다. 할인 종료 후에는 입력 토큰이 100만개당 4달러, 출력이 100만개당 20달러로 두 배 오릅니다. 할인 종료 시점은 공개되지 않았습니다. AA가 할인 종료 후 정가를 기준으로 평가한 작업당 비용은 7.76달러로, 클로드 오퍼스 5.5(10.04달러)보다 약 23% 저렴합니다.
카본은 최대 100만 토큰의 컨텍스트를 지원합니다. 텍스트, 이미지, 음성, 영상을 입력받을 수 있습니다. 출력은 텍스트로 제공됩니다. 모델의 매개변수 규모나 구체적인 학습 구조는 공개되지 않았습니다.
누가 먼저 쓸 수 있나, 출시 절차
구글은 신중한 출시 계획을 진행 중입니다. 미국 정부의 자발적 사전 출시 모델 테스트 과정에 적극 참여하고 있습니다. 이번 주부터 사이버 방어 전문가들의 부분 집단에 카본을 제공합니다. 페어윈드 프로그램을 통해 신뢰할 수 있는 파트너에게 점진적으로 접근 권한을 확대할 계획입니다.
구글은 개발자, 기업, 일반 사용자가 제품 서비스를 통해 쓸 수 있도록 가능한 한 빨리 제공할 계획이라고 밝혔습니다. 현재는 피드백을 수집하고 안전장치를 반복해서 개선하는 과정 중입니다.
자주 묻는 질문
제미나이 4 카본과 아르곤은 뭐가 다른가요?
카본은 아르곤(2주 전 출시)보다 종합 성능 평가에서 9점 높습니다. 특히 사이버 보안과 장시간 자율 작업 능력이 크게 개선됐습니다. 출력 토큰을 64% 더 사용하기 때문에 처리 시간이 더 걸릴 수 있습니다. 가격은 초기 할인 기간 동안 동일합니다.
카본으로 며칠 동안 계속 작업을 시킬 수 있나요?
내부 평가에서 구글 팀들은 카본이 며칠에 걸쳐 복잡한 엔지니어링 작업을 수행한 사례를 확인했습니다. 대규모 코드에서 오류 원인을 추적하고 수정하는 작업을 자율적으로 이어갔습니다.
환각 문제가 있나요?
사실관계 평가에서 환각률이 4%에서 11%로 높아졌습니다. 다만 AA는 이를 아르곤에 이어 두 번째로 낮은 수준이라고 평가했습니다. 클로드 오퍼스 5.5와 GPT-6 아스트라는 각각 50%였습니다.
댓글 쓰기