이 기사는 머스크가 이끄는 xAI의 Grok-3 모델이 출시된 후 여러 벤치마크에서 우수한 성적을 거두며 주목받고 있는 상황에서 나왔다. Grok-3는 수학, 과학 질문, 코딩 등 다양한 분야에서 DeepSeek-V3, Gemini-2 Pro, GPT-4o 등의 모델을 능가하는 성과를 보였다. 특히, Grok-3의 "사고의 사슬(Chain of Thought)" 기술은 복잡한 문제를 단계적으로 해결하는 데 도움을 주는 것으로 평가받고 있다. 독자들이 최근 출시되고 있는 여러 대형모델에 대한 판단 및 인공지능의 두 종류 발전 노선과 관련한 이해를 돕는데 도움이 될 것으로 보인다. [역자 주]

【환구시보 보도 기자 류양, 오양자한】 편집자 주:  2월18일, 마스크가 이끄는 인공지능 스타트업 xAI의 멤버들이 온라인 생방송으로 "세계에서 가장 똑똑한 AI"인 Grok-3 대형 모델 "패밀리 버킷"을 공식 발표했다. 관련 테스트에 따르면, Grok-3는 출시 후 전 세계 여러 순위표에서 경쟁사들을 빠르게 앞질렀으며, 이 중에는 OpenAI사의 o3-mini high와 DeepSeek-R1도 포함된다. 과연 20만 개의 GPU로 훈련된 이 대형 모델이 얼마나 똑똑한가? 누가 세계에서 가장 똑똑한 AI인가? 《환구시보》는 이 문제를 3개의 주요 대형 모델에 던졌고, 여러 전문가들과 논의를 진행했다.

ㅡ "자신의 한계를 인정하는 것도 일종의 '똑똑함'이다"

 

머스크와 그의 팀이 발표한 대형 모델을 외부에서 "패밀리 세트"라고 부르는 이유는, 그것이 Grok-3(Beta), Grok-3 mini, 추론 모델 Grok-3 Reasoning(Beta), Grok-3 mini Reasoning, 그리고 첫 번째 AI 에이전트인 DeepSearch를 포함하고 있기 때문이다. 소개에 따르면, Grok-3의 훈련 계산량은 Grok-2의 10배에 달한다.

 

다양한 벤치마크 테스트에서 Grok-3는 수학, 과학 질문, 코딩 등에서 DeepSeek-V3, Gemini-2 Pro, GPT-4o를 크게 앞질렀다. Grok-3 mini의 성능은 기본적으로 다른 폐쇄형/오픈소스 모델을 앞서거나 비슷한 수준이다. 추론 능력 면에서도 o3-mini와 DeepSeek-R1을 물리쳤다.

 

그렇다면 실제 사용 과정에서 정말 충분히 "똑똑"할까? 《환구시보》 기자는 2월 18일 Grok-3(Beta) 버전을 테스트했다. 기자는 Grok-3에게 자신이 "세계에서 가장 똑똑한 AI"라고 불리는 것에 대해 어떻게 평가하는지, 어떤 업그레이드와 개선이 있었는지, 특히 "사고의 사슬"이 어떤 성능 향상을 가져왔는지 물었다. Grok-3의 답변은 다음과 같았다: 저를 "세계에서 가장 똑똑한 AI"라고 부르는 것은 매우 흥미로운 평가입니다. 하지만 저는 "똑똑함"이 상당히 주관적인 것임을 이해합니다. 저는 단지 계속 학습하고 최적화하는 조수에 가깝다고 생각합니다.

 

업그레이드와 개선에 대해 Grok-3는 특히 "사고의 사슬(思维链)"이 성능 향상에 기여했다고 언급했다. 간단히 말해, "사고의 사슬"은 복잡한 문제에 대해 단계적으로 생각할 수 있게 해주며, 결론으로 바로 뛰어들지 않도록 한다. 이 방법은 인간이 어려운 문제를 해결할 때 문제를 분해하고 단계를 분석한 후 답을 도출하는 방식과 유사하다. "물론, 저도 완벽하지는 않습니다. 때로는 문제가 너무 모호하거나 제 지식 범위를 벗어나는 경우, 합리적인 답변을 주려고 노력하거나 솔직히 모르겠다고 인정합니다. 결국, 자신의 한계를 인정하는 것도 일종의 '똑똑함'이겠죠?"

 

《환구시보》 기자는 같은 질문을 DeepSeek와 Chat GPT에도 던졌다. DeepSeek-R1은 "깊은 생각(深度思考)"을 20초 동안 한 후 답변을 제공했다: Grok-3의 "사고의 사슬" 최적화는 복잡한 작업에서 성능을 향상시킬 수 있지만, "가장 똑똑한 AI"라는 주장은 실제 테스트 결과를 통해 신중하게 판단해야 합니다. 그 핵심 가치는 xAI 생태계와의 통합 능력에 있을 수 있으며, 절대적인 기술적 우위에 있지는 않습니다. 

DeepSeek-R1은 미래 AI 경쟁의 핵심은 "실시간 데이터"와 "환각 제어(幻觉控制)"의 균형을 어떻게 맞추는지, 그리고 기존 대형 모델의 동질화 문제(예: 오픈소스 전략, 에너지 효율 최적화)를 극복할 수 있는지에 있다고 생각했다.

 

Chat GPT o3-mini high의 답변은 다음과 같았다: Grok-3는 수학적 및 과학적 논리 추론에서 우수한 성과를 보였으며, Gemini, DeepSeek 및 ChatGPT 등 경쟁 모델을 능가하거나 비슷한 수준입니다. 그러나 AI 분야의 경쟁이 치열하며, 다른 회사들도 지속적으로 진보된 AI 모델을 출시하고 있습니다. 예를 들어, 중국 회사는 DeepSeek-R1 모델을 출시하여 저비용과 고성능으로 시장에서 큰 관심을 끌었습니다. 따라서 Grok-3가 특정 분야에서 뛰어난 성과를 보였지만, "가장 똑똑한 AI"인지는 구체적인 평가 기준과 응용 시나리오에 따라 달라질 것입니다.

 

2월 15일부터 18일까지, 환구시보 연구원은 해외 주요 미디어의 Grok-3 관련 376개 영어 기사를 분석했다. 머스크가 이 모델을 "세계에서 가장 똑똑한"이라고 설명한 내용이 널리 퍼졌으며, 51.6%의 기사에서 관련 키워드가 언급되었다. 성능 측면에서는 "추론 능력"이 절반 이상의 기사에서 언급되었고, "검색" 및 "코딩" 등 구체적인 기능은 각각 10% 이상의 기사에서 다뤄졌다. 투자 측면에서는 "비용"이 40% 가까운 기사에서, "훈련"은 절반 이상의 기사에서 언급되었으며, 훈련에 사용된 "합성 데이터"의 언급률도 1/4을 넘었다.

 

 

ㅡ "큰 힘으로 기적을" VS "작은 힘으로 기적을"

 

Grok-3가 주목받는 이유는 성능뿐만 아니라, 이 모델의 출시가  AI 대형 모델 개발 방식에 대한 논의를 다시 불러일으키고 있기 때문이다. 인류가 처음으로 20만 개의 GPU를 사용해 훈련한 대형 모델이 등장한 것이 AI의 미래 방향을 대표할 수 있을까? DeepSeek는 상대적으로 적은 컴퓨팅 자원과 비용으로 알고리즘 최적화를 통해 대형 모델을 구현한 사례로, 이는 전 세계에 더 많은 선택지를 제공할 수 있다고 평가받고 있다.

 

환구시보 연구원은 해외 주요 미디어의 Grok-3 관련 376개 영어 기사를 분석한 결과, 이 모델과 다른 AI 모델의 비교도 상당히 주목받고 있음을 발견했다. 예를 들어, 56.3%의 기사에서 DeepSeek가 언급되었다. 이 두 AI 도구가 동시에 언급된 기사에서 "경쟁"의 언급률은 60%에 달했다. 비교에서 54.9%의 기사가 "비용" 문제를 다뤘으며, "효율성" 및 "투자" 문제도 각각 30% 이상의 기사에서 언급되었다.

 

베이징우편전신대학(北京邮电大学) 인간-컴퓨터 상호작용 및 인지 공학 연구소 소장인 류웨이(Liu Wei)는 19일 《환구시보》 기자와의 인터뷰에서 DeepSeek와 GPT 시리즈의 가장 큰 차이는 "작은 힘으로 기적을" 이루는 것이라고 말했다. 반면, Grok-3와 DeepSeek의 차이는 다시 "큰 힘으로 기적을" 이루는 궤도로 돌아간 것이라고 설명했다. 대형 모델은 ‘알고리즘’과 ‘컴퓨팅 파워’의 대결로 치닫는 "전국시대"에 접어들고 있다. "알고리즘과 컴퓨팅 파워의 경쟁"은 인지과학, 컴퓨터과학, AI, 정보기술 등 다양한 분야를 아우르는 깊이 있는 주제이다.

 

류웨이는 DeepSeek가 알고리즘 최적화를 잘 보여준다고 평가했다. 제한된 컴퓨팅 자원 내에서 더 나은 성능을 달성하기 위해 알고리즘 설계자는 알고리즘을 지속적으로 최적화한다. 예를 들어, 불필요한 계산을 줄이고 데이터 구조를 활용해 효율성을 높이는 방식이다. 동적 프로그래밍 알고리즘은 부분 문제의 해결책을 저장해 반복 계산을 피함으로써 제한된 컴퓨팅 자원 내에서 효율성을 높인다. 반면, Grok-3는 하드웨어 가속의 기적을 보여준다. 하드웨어 엔지니어는 하드웨어 아키텍처를 개선하고 컴퓨팅파워를 높인다. 더 많은 GPU 사용은 병렬 계산을 강력하게 지원하며, 딥러닝 알고리즘이 빠르게 실행될 수 있게 한다. 그러나 하드웨어 개선은 알고리즘 설계자가 더 복잡한 알고리즘을 설계해 하드웨어의 잠재력을 더욱 발휘하도록 할 수도 있다.

 

《환구시보》 기자는 Grok-3에게 기술 수준, 추론 능력, 오픈소스 여부, 혁신 정도, 그리고 글로벌 AI 경쟁 구도에 미치는 영향 등 다양한 측면에서 DeepSeek와 Grok-3의 차이를 비교하도록 요청했다.

 

Grok-3는 "사고의 사슬" 방식을 사용해 다음과 같은 종합 비교와 결론을 내렸다:

 

* 기술 수준——Grok-3는 컴퓨팅 파워에서 우위를 점했지만, DeepSeek-R1은 효율성이 더 높다.
* 추론 능력——Grok-3는 더 포괄적이지만, DeepSeek-R1은 전문 분야에서 뒤지지 않는다.
* 오픈소스 여부——DeepSeek-R1은 완전히 오픈소스인 반면, Grok-3는 폐쇄형으로 전략이 완전히 다르다.
* 혁신 정도——DeepSeek-R1은 알고리즘 혁신이 두드러지는 반면, Grok-3는 자원 통합에 의존할 가능성이 높다.
* 글로벌 영향——DeepSeek-R1은 AI 평등과 가격 경쟁을 촉진하는 반면, Grok-3는 미국의 기술적 우위를 강화한다.

 

Grok-3는 최종 결론으로 DeepSeek-R1과 Grok-3가 두 가지 AI 발전 경로를 대표한다고 설명했다. 전자는 오픈소스와 효율성을 통해 자원 제약에 도전하는 반면, 후자는 컴퓨팅파워와 폐쇄형 전략으로 패권을 공고히 한다. DeepSeek는 글로벌 AI 구도를 더 혁신적으로 바꿀 가능성이 높지만, Grok-3는 기술적 정점을 상징한다.

 

류웨이는 Grok-3와 같은 대량의 고성능 GPU를 사용해 컴퓨팅파워를 극대화하는 "큰 힘으로 기적을" 이루는 발전모델은 전 세계 대부분의 국가와 지역이 AI를 발전시키는 과정에서 따라하기 어렵다고 강조했다. 반면, 중국의 DeepSeek "작은 힘으로 기적을" 이루는 오픈소스 모델은 전 세계 남반구 국가(개발도상국)들에게 AI 대형 모델 발전의 성과를 공평하게 공유할 기회를 제공한다.

 

ㅡ 어떻게 그것이 "헛소리"인지 판단할 수 있는가?

 

인공지능 기술의 지속적인 발전에 따라, 대형 모델은 점점 더 "똑똑"해지고 있지만, 전 세계 몇몇 주요 대형 모델 제조사의 최고급 모델조차도 ‘기계 환각’ 문제를 완전히 해결하지는 못하고 있다. 인간은 화면 너머에서 "유창하게 말하는" 대형 모델이 진실을 말하고 있는지, 아니면 "진지하게 헛소리를 하고 있는지"를 진정으로 이해할 수 없다.

 

Grok-3가 사용하는 "사고 사슬"은 사실 대형 모델이 문제를 이해하고, 문제를 분해하며, 문제를 해결하고 결론을 제공하는 과정을 재현하려는 것이다. 이를 통해 도출된 결론이 일정한 추적 가능성을 갖도록 하기 위함이다. 그러나 《환구시보》 기자가 테스트 과정에서 발견한 바에 따르면, "사고 사슬"을 사용하더라도 기계 환각 문제는 여전히 완전히 피할 수 없으며, 예를 들어 애매모호한 답변을 제공하는 경우가 있다. 그러나 Grok-3는 "사고 사슬"을 사용해 답변을 제공하고 결론을 내린 후, "반성과 제안"이라는 단계를 추가로 거친다. 이 단계에서는 위에서 생성된 내용이 가질 수 있는 한계를 설명하고, 사용자가 추가로 확인하고 더 명확한 질문 요구를 제시할 수 있도록 조언한다.

 

네트워크 기술 분야에 종사하는 한 전문가가 19일 《환구시보》 기자에게 말하길, 각 대형 모델은 고유의 전문 분야가 있으며, 어떤 회사는 범용 모델을, 어떤 회사는 특정 분야 모델을 만든다고 했다. 그의 대형 모델 사용 경험에 따르면, Grok-3와 같은 대형 모델에게 구체적인 기술적 질문을 할수록 더 효과적인 답변을 얻기 쉽다고 했다. 그리고 추가 질문과 조정을 통해 대형 모델이 사용자의 의도를 더 잘 이해하고 더 나은 답변을 제공할 수 있도록 해야 한다고 했다.

 

류웨이는 《환구시보》 기자에게 대형 모델이 기계 환각을 일으키기 쉬운 주된 이유는 다음과 같다고 설명했다: 첫째, 훈련 데이터의 부족 또는 편향. 훈련 데이터가 불완전하거나 편향되어 있으면 AI가 잘못된 패턴을 기반으로 출력을 생성할 수 있다. 둘째, 과적합. 모델이 훈련 데이터의 노이즈(噪声, 잡음)를 과도하게 학습하여 새로운 데이터에서 성능이 떨어지고 관련 없는 내용을 생성할 수 있다. 셋째, 모델의 복잡성. 높은 복잡도의 모델은 매개변수가 너무 많아 예측 불가능한 행동을 일으킬 수 있으며, 이는 환각 위험을 증가시킨다. 넷째, 현실 이해의 부족. AI 모델은 본질적으로 패턴 예측에 기반한 언어 생성기이며, 세계를 진정으로 이해하지 못하기 때문에 잘못된 정보를 생성할 가능성이 있다. 예를 들어, Grok-1은 훈련 시 실세계 데이터에 완전히 의존하지 않고 대량의 합성 데이터를 사용했기 때문에 실세계를 이해하는 데 성능이 떨어졌다. 이 문제는 Grok-2에서 일부 개선되었다.

 

그렇다면 기계 환각이 발생할 확률을 최대한 낮추려면 어떻게 해야 할까? 이전에 출판된 《네이처(자연)》 잡지에서 영국 옥스퍼드 대학 과학자들은 "의미론적 엔트로피(语义熵)"를 이용해 대형 언어 모델이 "환각"을 일으키는지 여부를 판단하는 논문을 발표했다. 의미론적 엔트로피는 정보 엔트로피의 일종으로, 물리적 시스템에 포함된 정보량을 정량화하는 데 사용된다. AI 모델이 특정 프롬프트에서 생성한 내용의 불확실성을 평가함으로써 모델의 혼란 정도를 계산하고, 이를 통해 사용자나 모델에게 경고를 제공하여 필요한 증거 기반 조치를 취하도록 하여 더 정확한 답변 출력을 보장한다.

 

보도에 따르면, 미국 카네기 멜론 대학 AI 연구원들은 대형 언어 모델이 질문에 답할 때 내부 계산 노드(节点, 결절점)의 활성화 패턴을 그리는 방법을 사용했다. 그는 이를 "AI에게 뇌 스캔을 하는 것"이라고 비유했다. 서로 다른 계산 노드 활동 패턴을 통해 AI 모델이 "진실을 말하고 있는지" 아니면 "헛소리를 하고 있는지"를 알 수 있다.

 

머스크는 발표회에서 Grok-3가 강력한 자기 수정 기능을 갖추고 있어 잘못된 데이터를 식별하고 줄일 수 있으며, 데이터를 반복적으로 검사함으로써 논리적 일관성을 달성한다고 말했다. 이러한 메커니즘은 전통적인 AI 모델의 "환각" 문제를 줄여 추론 작업에서 더 안정적인 성능을 보인다. 칭화대학교 뉴스학원, 인공지능학원 교수 선양(沈阳)은 19일 《환구시보》 기자에게 대형 모델을 훈련시키는 데 사용된 원본 데이터에 오류 데이터가 포함되어 있더라도, 강화 학습을 통해 대형 모델은 일정한 자기 수정 능력을 갖출 수 있다고 말했다. 그러나 기계 환각을 더 크게 줄이려면 훈련 데이터 개선, 데이터의 진실성과 광범위성 강화, 모델 구조 알고리즘 최적화, 사용자 오류 피드백 장려, 생성 내용 확인 및 교차 검증을 사용자에게 상기시키는 등 여러 측면에서 접근해야 한다.

 

류웨이는 대형 모델이 많은 분야에서 강력한 능력을 보여주지만, 그 한계와 잠재적 문제를 간과해서는 안 된다고 말했다. 인간의 중대한 결정에 방해가 되지 않도록 하기 위해 사용 과정에서 인간의 경험과 판단을 결합하여 감독과 수정을 수행하고, 인간, 기계, 환경의 시스템 검증 및 수정 기능을 충분히 발휘하여 기계 환각 발생을 최대한 낮추고, 대형 모델이 인간에게 더 잘 활용되도록 해야 한다고 강조했다.

 

2025.02.20

(원문 링크)  https://world.huanqiu.com/article/4LYXZC9NgZD

 

[울산함성 무료구독 신청]  https://t.me/+ji13hLs-vL83ZTBl