두 순위는 어떻게 동시에 참인가.
건너뛰기 ↓독파모 2차 평가 100점을 분해하다
2026년 8월 18일 과기정통부와 정보통신산업진흥원이 「독자 AI 파운데이션 모델」 프로젝트 2차 단계평가 결과를 냈다. 부제는 "4개 정예팀 모두 세계적 수준의 독자 AI모델 개발 성과 입증"이었다.A
업스테이지·SK텔레콤·LG AI연구원이 다음 단계로 갔고 모티프테크놀로지스가 남지 못했다.
같은 보도자료는 모티프의 Motif 3(314B-A13B)를 이렇게 소개했다.
美·中 외 국가의 AI모델 중 세계 최고 성능을 기록한 에이전트 특화 AI모델로 (AAII 기준), 코딩·에이전트 등 분야에 특화된 전문 AI 능력을 모델 하나로 통합 2026-08-18 보도자료 · 표에 "출처·설명 : 해당 정예팀"이 명기돼 있다. 정부의 독립 평가가 아니다.A
정부가 직접 인용한 수치는 따로 있다. AI 모델 평가 기관 Artificial Analysis가 측정하는 AAII 지수에서 전 세계 AI기업별 최고 득점 모델을 줄 세운 표다.A
| 순위 | 기업 | 모델 | AAII |
|---|---|---|---|
| 1 | Anthropic | Claude Opus 5 (max) | 63 |
| 2 | OpenAI | GPT-5.6 Sol (max) | 61 |
| 3 | SpaceXAI | Grok 4.6 (high) | 61 |
| 4 | Kimi | Kimi K3 (max) | 60 |
| 5 | Alibaba | Qwen3.8 Max | 58 |
| 6 | Meta | Muse Spark 1.2 (xhigh) | 57 |
| 7 | Gemini 3.7 Flash (high) | 56 | |
| 8 | DeepSeek | DeepSeek V4 Pro 0813 (max) | 53 |
| 9 | Z AI | GLM-5.2 (max) | 53 |
| 10 | Motif Technologies | Motif 3 | 47 |
9위까지가 모두 미국·중국 기업이고 한국 모델은 10위 Motif 3 하나다. 그 모델을 만든 팀이 같은 날 남지 못했다.
8월 18일 보도자료가 인용한 세계 표에서 1위는 63점, 10위는 47점이다. 16점 폭 안에 열 개 기업의 최고 득점 모델이 들어 있고, 9위까지가 미국과 중국 기업이다. Motif 3는 그 열 번째 자리에 있다.A
같은 모델의 AAII 점수가 8월 27일 자료에는 47.4로 적혀 있다. 8월 18일 표의 47과 소수점 자리가 다르다. 본지는 두 표기를 함께 적고 어느 쪽이 반올림인지 해석하지 않는다. 확인된 것은 두 문서가 같은 지수를 서로 다른 자리수로 표기했다는 사실까지다.A
표가 하나 더 있다. 보도자료가 Motif 3를 미국과 중국 밖에서 성능이 가장 높은 에이전트 특화 모델로 소개한 문구다. 그 표에는 출처가 해당 정예팀이라고 적혀 있다. 정부가 인용한 제3자 지수와 팀이 작성한 소개문구는 같은 보도자료에 있지만 성격이 다르다. 앞의 것은 외부 측정치의 인용이고, 뒤의 것은 평가 대상이 스스로 쓴 설명이다.
벤치마크 40 · 전문가 35 · 사용자 25
공표 환산점수. 원점수 47.4에서 재현한 값이 아니다.
이 단계에서 모티프의 벤치마크 합계가 가장 높다.
전문가 35점이 더해졌다. 채점 이유는 공개되지 않았다.
49명이 참여한 평가의 공표점수만 더한다.
185명이 참여한 일반 국민 평가까지 합친 최종 공표점수.
벤치마크 1위와 총점 4위는 서로 다른 범위의 순위다.
2차 평가의 100점은 세 덩어리다. 벤치마크가 40점으로 AAII 25점과 NIA 15점으로 갈리고, 전문가 평가가 35점, 사용자 평가가 25점이다. 사용자 25점은 다시 AI 전문 사용자진 15점과 일반 국민 10점으로 나뉜다.A 벤치마크는 가장 큰 단일 범주가 아니다. 단일 항목으로 가장 큰 것은 전문가 35점이다.
환산 방식에 대해 8월 27일 자료는 예시를 하나 들었다. AAII 점수가 60점일 때 최종 점수는 60에 25를 곱하고 100으로 나눈 15점이 된다는 것이다. 본지는 이 예시를 원문 그대로만 싣고, 모티프의 원점수 47.4에 같은 식을 적용해 공표 환산점수 11.9의 산출 과정을 재현했다고 쓰지 않는다.
전문가 평가는 10명이 맡았다. 산업계 3명, 학계 5명, 연구계 2명이고 약 5일에 걸친 서면평가와 질의응답을 거쳤다. 채점은 최고점과 최저점을 제외한 산술평균으로 정리했다.A 사용자 평가는 AI 스타트업 대표 50명 가운데 49명, 성별과 연령별 쿼터로 무작위 선정한 국민 200명 가운데 185명이 참여했다. 두 집단 모두 1점에서 5점을 주고 각각 15점과 10점 만점으로 환산했다. 선정 인원과 참여 인원이 다르므로 50명 평가, 200명 평가로 적지 않는다.
점수를 매긴 사람들이다. 선정 인원과 실제 참여 인원은 다르다.A
점은 참여 규모를 나타내는 표시다. 평가자 개인의 신원·직업·발언은 공개되지 않았고 이 기사도 만들지 않는다.
8월 27일 보도참고자료의 항목별 점수다. 모티프의 요청과 다른 팀들의 동의에 따라 공개됐다.A
정부는 독파모가 단순한 순위 경쟁이나 탈락 팀 선정을 목적으로 하는 것이 아니라, 국내 AI 생태계의 질적 성장과 확장을 견인하는 데 취지가 있다고 밝혔다.A
정부 설명에 따르면 평가 기준과 방식은 정예팀들과 수차례 협의해 마련했고, 평가 전 최종안을 공식 안내한 결과 이견이 없었다. 이에 대한 기업 측 확인은 확보하지 못했다.A
모티프의 65.8점이 만들어진 순서는 이렇다. AAII 11.9점에 NIA 12.7점이 더해져 벤치마크 24.6점이 되고, 여기에 전문가 27.1점이 붙어 51.7점, AI 전문 사용자 8.4점으로 60.1점, 일반 국민 5.7점으로 65.8점이 된다.A 벤치마크 단계에서 가장 앞서 있던 팀이 나머지 60점 구간에서 순서를 잃었다.
보도에 따르면 모티프가 요구한 것은 여섯 가지였다.C 항목별·업체별 상세 점수, 벤치마크 배점 산정 방식, 전문가 평가의 세부 기준, 사용자 평가 방법론과 블라인드 적용 여부, 글로벌 벤치마크 점수와 전문가·사용자 평가 결과가 크게 달라진 이유, 그리고 평가 결과 재심의다. 첫 번째 요구에 해당하는 항목별 점수는 8월 27일 자료로 공개됐고, 이 기사의 점수표가 그 자료다.
나머지 다섯 가지가 어떻게 처리됐는지는 확인되지 않는다. 같은 보도는 모티프가 재선정을 요구하는 것이 아니며 결과와 관계없이 3차 평가에 참여하지 않겠다고 밝혔고 이의신청은 기각됐다고 전한다.C 본지는 입장문 원문과 기각 문서를 확보하지 못했고 기각 사유와 시점도 확인하지 못했다. 이 문단은 전부 보도 인용이며 앞 문단의 점수와 같은 등급으로 읽을 수 없다.
벤치마크 1위 · 총점 65.8점 · 최종 4위
ASK 003