← 아시아24
벤치마크 1위
총점 65.8점
최종 4위

두 순위는 어떻게 동시에 참인가.

묻고 답하다 · ASK 003 · 2026

1위가 4위가 된
점수표

독파모 2차 평가 100점을 분해하다

발표 · ANNOUNCEMENT

네 팀 가운데
세 팀이 다음 단계로 갔다

2026년 8월 18일 과기정통부와 정보통신산업진흥원이 「독자 AI 파운데이션 모델」 프로젝트 2차 단계평가 결과를 냈다. 부제는 "4개 정예팀 모두 세계적 수준의 독자 AI모델 개발 성과 입증"이었다.A

업스테이지·SK텔레콤·LG AI연구원이 다음 단계로 갔고 모티프테크놀로지스가 남지 못했다.

같은 보도자료는 모티프의 Motif 3(314B-A13B)를 이렇게 소개했다.

美·中 외 국가의 AI모델 중 세계 최고 성능을 기록한 에이전트 특화 AI모델로 (AAII 기준), 코딩·에이전트 등 분야에 특화된 전문 AI 능력을 모델 하나로 통합 2026-08-18 보도자료 · 표에 "출처·설명 : 해당 정예팀"이 명기돼 있다. 정부의 독립 평가가 아니다.A
세계표 · GLOBAL TABLE

10위의 모델,
4위의 팀

정부가 직접 인용한 수치는 따로 있다. AI 모델 평가 기관 Artificial Analysis가 측정하는 AAII 지수에서 전 세계 AI기업별 최고 득점 모델을 줄 세운 표다.A

전세계 AI기업별 AAII 최고 득점 AI모델 순서 · 2026-08-18 보도자료
순위기업모델AAII
1AnthropicClaude Opus 5 (max)63
2OpenAIGPT-5.6 Sol (max)61
3SpaceXAIGrok 4.6 (high)61
4KimiKimi K3 (max)60
5AlibabaQwen3.8 Max58
6MetaMuse Spark 1.2 (xhigh)57
7GoogleGemini 3.7 Flash (high)56
8DeepSeekDeepSeek V4 Pro 0813 (max)53
9Z AIGLM-5.2 (max)53
10Motif TechnologiesMotif 347

9위까지가 모두 미국·중국 기업이고 한국 모델은 10위 Motif 3 하나다. 그 모델을 만든 팀이 같은 날 남지 못했다.

서로 다른 모집단 이 글로벌 표는 전 세계 AI기업의 최고 득점 모델을 비교한 것이고, 독파모 2차 평가는 네 팀을 100점 기준으로 평가한 것이다. 두 순위는 대상도 방식도 다르다. 한쪽 순위로 다른 쪽을 설명할 수 없다.
두 개의 표 · TWO TABLES

같은 모델이
두 표에 다르게 적힌다

8월 18일 보도자료가 인용한 세계 표에서 1위는 63점, 10위는 47점이다. 16점 폭 안에 열 개 기업의 최고 득점 모델이 들어 있고, 9위까지가 미국과 중국 기업이다. Motif 3는 그 열 번째 자리에 있다.A

같은 모델의 AAII 점수가 8월 27일 자료에는 47.4로 적혀 있다. 8월 18일 표의 47과 소수점 자리가 다르다. 본지는 두 표기를 함께 적고 어느 쪽이 반올림인지 해석하지 않는다. 확인된 것은 두 문서가 같은 지수를 서로 다른 자리수로 표기했다는 사실까지다.A

표가 하나 더 있다. 보도자료가 Motif 3를 미국과 중국 밖에서 성능이 가장 높은 에이전트 특화 모델로 소개한 문구다. 그 표에는 출처가 해당 정예팀이라고 적혀 있다. 정부가 인용한 제3자 지수와 팀이 작성한 소개문구는 같은 보도자료에 있지만 성격이 다르다. 앞의 것은 외부 측정치의 인용이고, 뒤의 것은 평가 대상이 스스로 쓴 설명이다.

100점
2차 평가 전체벤치마크 40 · 전문가 35 · 사용자 25
업스테이지
SK텔레콤
LG AI연구원
모티프
0100점
AAII 25 NIA 15 전문가 35 AI 전문 15 일반 국민 10

2차 평가 전체

벤치마크 40 · 전문가 35 · 사용자 25

과기정통부 2026-08-18 보도자료A

모티프 AAII

공표 환산점수. 원점수 47.4에서 재현한 값이 아니다.

과기정통부·NIPA 2026-08-27 보도참고자료 세부 점수A

모티프 벤치마크 합계

이 단계에서 모티프의 벤치마크 합계가 가장 높다.

과기정통부·NIPA 2026-08-27 보도참고자료 세부 점수A

모티프 + 전문가

전문가 35점이 더해졌다. 채점 이유는 공개되지 않았다.

과기정통부·NIPA 2026-08-27 보도참고자료 세부 점수A

모티프 + AI 전문 사용자

49명이 참여한 평가의 공표점수만 더한다.

과기정통부·NIPA 2026-08-27 보도참고자료 세부 점수A

모티프 총점

185명이 참여한 일반 국민 평가까지 합친 최종 공표점수.

과기정통부·NIPA 2026-08-27 보도참고자료 세부 점수A

총점 순위

벤치마크 1위와 총점 4위는 서로 다른 범위의 순위다.

과기정통부·NIPA 2026-08-27 보도참고자료 세부 점수A
배점 · HOW 100 IS BUILT

40과 35와 25로
나뉜 100점

2차 평가의 100점은 세 덩어리다. 벤치마크가 40점으로 AAII 25점과 NIA 15점으로 갈리고, 전문가 평가가 35점, 사용자 평가가 25점이다. 사용자 25점은 다시 AI 전문 사용자진 15점과 일반 국민 10점으로 나뉜다.A 벤치마크는 가장 큰 단일 범주가 아니다. 단일 항목으로 가장 큰 것은 전문가 35점이다.

환산 방식에 대해 8월 27일 자료는 예시를 하나 들었다. AAII 점수가 60점일 때 최종 점수는 60에 25를 곱하고 100으로 나눈 15점이 된다는 것이다. 본지는 이 예시를 원문 그대로만 싣고, 모티프의 원점수 47.4에 같은 식을 적용해 공표 환산점수 11.9의 산출 과정을 재현했다고 쓰지 않는다.

전문가 평가는 10명이 맡았다. 산업계 3명, 학계 5명, 연구계 2명이고 약 5일에 걸친 서면평가와 질의응답을 거쳤다. 채점은 최고점과 최저점을 제외한 산술평균으로 정리했다.A 사용자 평가는 AI 스타트업 대표 50명 가운데 49명, 성별과 연령별 쿼터로 무작위 선정한 국민 200명 가운데 185명이 참여했다. 두 집단 모두 1점에서 5점을 주고 각각 15점과 10점 만점으로 환산했다. 선정 인원과 참여 인원이 다르므로 50명 평가, 200명 평가로 적지 않는다.

평가단 · PARTICIPANTS

10명 · 49명 · 185명

점수를 매긴 사람들이다. 선정 인원과 실제 참여 인원은 다르다.A

10명
전문가 평가 · 35점
산업계 3 · 학계 5 · 연구계 2
약 5일 서면평가와 QnA
최고·최저 제외 산술평균
49명
AI 전문 사용자진 · 15점
AI 스타트업 대표 50명 선정
49명 참여
1~5점 부여 후 15점 만점 환산
×5 − 1
185명
일반 국민 · 10점
성별·연령별 쿼터 무작위 200명 선정
185명 참여
1~5점 부여 후 10점 만점 환산
×18 + 5

점은 참여 규모를 나타내는 표시다. 평가자 개인의 신원·직업·발언은 공개되지 않았고 이 기사도 만들지 않는다.

기록의 벽 · FOUR TEAMS

같은 100점표를
네 장으로 읽다

8월 27일 보도참고자료의 항목별 점수다. 모티프의 요청과 다른 팀들의 동의에 따라 공개됐다.A

기록된 말 · ON RECORD

공개된 점수와
공개되지 않은 이유

정부는 독파모가 단순한 순위 경쟁이나 탈락 팀 선정을 목적으로 하는 것이 아니라, 국내 AI 생태계의 질적 성장과 확장을 견인하는 데 취지가 있다고 밝혔다.A

정부 설명에 따르면 평가 기준과 방식은 정예팀들과 수차례 협의해 마련했고, 평가 전 최종안을 공식 안내한 결과 이견이 없었다. 이에 대한 기업 측 확인은 확보하지 못했다.A

여기서부터는 보도 인용이다C 보도에 따르면 8월 27일 모티프는 입장문을 내고 이의신청을 제기했다. 요구는 여섯 가지였다. 항목별·업체별 상세 점수, 벤치마크 배점 산정 방식, 전문가 평가의 세부 기준, 사용자 평가 방법론과 블라인드 적용 여부, 글로벌 벤치마크 점수와 전문가·사용자 평가 결과가 크게 달라진 이유, 평가 결과 재심의.

같은 보도는 모티프가 재선정을 요구하는 것이 아니며 결과와 관계없이 3차 평가에 참여하지 않겠다고 밝혔다고 전한다. 이의신청은 기각됐다고 보도됐다. 기각 사유는 공개되지 않았고 기각 시점도 확인되지 않았다. 본지는 입장문 원문과 기각 문서를 확보하지 못했다.
여섯 가지 요구 · SIX ASKS

무엇을 공개하라고
요구했나

모티프의 65.8점이 만들어진 순서는 이렇다. AAII 11.9점에 NIA 12.7점이 더해져 벤치마크 24.6점이 되고, 여기에 전문가 27.1점이 붙어 51.7점, AI 전문 사용자 8.4점으로 60.1점, 일반 국민 5.7점으로 65.8점이 된다.A 벤치마크 단계에서 가장 앞서 있던 팀이 나머지 60점 구간에서 순서를 잃었다.

보도에 따르면 모티프가 요구한 것은 여섯 가지였다.C 항목별·업체별 상세 점수, 벤치마크 배점 산정 방식, 전문가 평가의 세부 기준, 사용자 평가 방법론과 블라인드 적용 여부, 글로벌 벤치마크 점수와 전문가·사용자 평가 결과가 크게 달라진 이유, 그리고 평가 결과 재심의다. 첫 번째 요구에 해당하는 항목별 점수는 8월 27일 자료로 공개됐고, 이 기사의 점수표가 그 자료다.

나머지 다섯 가지가 어떻게 처리됐는지는 확인되지 않는다. 같은 보도는 모티프가 재선정을 요구하는 것이 아니며 결과와 관계없이 3차 평가에 참여하지 않겠다고 밝혔고 이의신청은 기각됐다고 전한다.C 본지는 입장문 원문과 기각 문서를 확보하지 못했고 기각 사유와 시점도 확인하지 못했다. 이 문단은 전부 보도 인용이며 앞 문단의 점수와 같은 등급으로 읽을 수 없다.

해답 · REVEAL
1위는 40점,
4위는 100점의 순위였다
모티프의 벤치마크 합계는 24.6점으로 네 팀 중 가장 높았다.
그러나 벤치마크는 100점 중 40점짜리 한 범주다.
전문가 27.1점, AI 전문 사용자 8.4점, 일반 국민 5.7점이 더해져 총점은 65.8점이 됐다.
1위 SK텔레콤 70.6점과의 차이는 4.8점이다.

공개된 점수로 이 구조는 설명할 수 있다. 개별 평가자가 왜 그 점수를 줬는지는 설명할 수 없다.
문서가 말하지 않는 것 · UNKNOWN

점수표 밖에
남은 네 가지

AAII 환산에 대하여 8월 27일 자료는 AAII 원점수를 모티프 47.4, 업스테이지 37.4, SK텔레콤 35.0, LG AI연구원 31.0으로 적고, 환산 예시로 "AAII 점수 60점일 시, 최종 점수는 15점(=60점×(25/100))"을 들었다. 다만 47.4에 이 식을 적용하면 11.85가 되고 공표 환산점수는 11.9다. 공개 원점수가 반올림 표기일 수 있으므로, 본지는 47.4에서 11.9의 산출 과정을 재현했다고 쓰지 않는다.
두 순위는 모순이 아니었다.
1위는 40점의 순위, 4위는 100점의 순위였다.

벤치마크 1위 · 총점 65.8점 · 최종 4위

ASK 003