베이징대학교 화학 및 분자공학 학원에서 유기화학 시험은 많은 학생들에게 고통스럽지만 즐거운 도전이다. 그러나 중간고사 직전에 갑자기 도착한 공지는 이 시험의 분위기를 특별하게 만들었다:  "주의하세요, 이번 시험 범위는 유기화학에만 국한되지 않습니다." 하지만 시험 범위의 변화보다 더 예상치 못했던 것은 시험장에 등장한 "특별한 응시자들"이었다.

 

그들은 자리에 앉을 필요도, 종이와 펜도 필요 없었다. 그들은 GPT, Gemini, DeepSeek... 현재 세계에서 가장 똑똑한 AI들로, 클라우드에서 174명의 베이징대학교 화학 및 분자공학 학원 2학년 학생들과 동시에 경쟁하고 있었다.

 

이는 정교하게 설계된 "튜링 테스트"이자, 베이징대 연구팀이 대형 언어 모델에 던진 "시금석"이었다.

 

최근 베이징대학교 화학 및 분자공학 학원은 베이징대 컴퓨팅 센터, 컴퓨터 학원, 위안페이 학원 팀과 함께 최신 성과인 SUPERChem을 발표했다. 최근 그들은 "베이징대 시험지"를 기준으로 과학적 추론에 있어 AI의 실제 한계를 냉정하게 측정했다.

 

ㅡ 특별한 중간고사

 

SUPERChem의 문제 은행을 열면, 일종의 "압박감"이 몰려온다.

 

결정 구조의 정밀한 분석, 반응 메커니즘의 심층적 추론, 물리화학적 특성의 정량적 계산... 이 500개의 문제는 인터넷에서 쉽게 구할 수 있는 공개 문제 은행에서 온 것이 아니라, 고난도 시험 문제와 최첨단 전문 문헌을 심도 있게 개편한 것이다.

 

왜 이렇게 애써가며 새로운 문제를 출제했을까?

 

"대형 모델이 너무 '암기'를 잘하기 때문입니다." 팀원이 설명했다. 인터넷에서 접근 가능한 테스트 문제 대부분은 이미 박식한 AI가 훈련 단계에서 숙지했다. 그리고 화학은 단순 암기만으로는 안 되는 학문이다. 엄격한 논리적 추론과 미시 세계에 대한 공간적 상상력이 가득하다. "우리는 대형 언어 모델의 1차원 next token prediction이 2차원, 심지어 3차원 공간의 복잡한 추론 문제를 해결할 수 있는지 매우 궁금했습니다."

 

AI가 "본 적 없는", 순수한 실력으로 추론해야 하는 문제를 설계하는 것은 극도로 어렵다. 그러나 이것이 바로 베이징대 화학원의 독특한 강점이다. 올림피아드 금메달리스트를 포함한 약 100명의 교수진과 학생들이 모여, AI에게 높은 진입 장벽과 추론 중심, 부정행위 방지 시험지를 출제하기로 결정했다.

 

그들이 시험하려는 것은 AI가 정말로 화학을 "이해"하는지 여부였다.

 

ㅡ 게임 속의 학술적 공동 창작

 

문제 설계는 종종 지루하지만, 이 젊은 베이징대 사람들은 그것을 "게임"으로 바꾸었다.

 

이 고품질 평가 세트를 구축하기 위해, 팀은 전용 협업 플랫폼을 구축했다. 여기서 문제 출제, 검토, 수정은 단조로운 작업에서 순차적인 "관문 통과" 과정으로 변했다. 구성원들은 플랫폼에서 협업하고, 서로 검토하며 "결함을 찾아내며", 엄격한 과학적 탐구와 활발한 사고의 충돌이 교차하고 융합되게 했다.

 

팀은 또한 포인트 인센티브 시스템을 도입하여 문제 출제 과정이 마치 게임에서 몬스터를 물리치고 레벨 업하는 것처럼 느껴지게 했다. 하나의 문제는 초안 작성, 해설 작성, 그리고 초기 검토와 최종 검토라는 엄격한 심사 과정을 거쳐야 했으며, 각 단계는 서로 다른 학생들이 검토하고 해당 포인트를 부여했다. 최종 검토를 통과한 문제는 최대 15번의 버전 변경을 거쳤다.

 

 

ㅡ 최고의 두뇌가 "베이징대 난이도"를 만났을 때

 

시험 결과가 공개되었다.

 

이 정교하게 설계된 시험에서, 인간은 복잡한 과학적 직관을 보여주었다. 기준선으로, 테스트에 참여한 베이징대 화학원 학부생들은 40.3%의 평균 정확도를 달성했다. 이 수치 자체만으로도 이 문제 세트의 난이도를 충분히 설명할 수 있다.

 

그렇다면 AI의 성적은 어땠을까?

 

테스트에 참여한 최고의 모델조차도 그 성적은 저학년 학부생의 평균 수준에 불과했다.

 

 

 

팀을 놀라게 한 것은 시각적 정보가 가져온 혼란이었다. 화학의 언어는 그래픽이며, 분자 구조와 반응 메커니즘 다이어그램에는 핵심 정보가 담겨 있다. 그러나 일부 모델의 경우, 이미지 정보가 도입되었을 때 정확도가 오히려 떨어졌다. 이는 현재 AI가 시각적 정보를 화학적 의미로 변환할 때 여전히 명백한 인식 병목 현상이 존재함을 보여준다.

 

 

그러나 정답을 선택했더라도 문제 해결 단계는 면밀한 검토를 견디지 못할 수 있다. 따라서 팀은 모든 문제에 대해 상세한 채점 규칙을 표시했다. SUPERChem이라는 "현미경" 아래에서, AI가 진짜로 이해하는지 아니면 이해하는 척하는지가 한눈에 명확해진다.

 

팀은 AI의 추론 체인이 종종 생성물 구조 예측, 반응 메커니즘 식별, 구조-활성 관계 분석과 같은 고차원 작업에서 끊어진다는 것을 발견했다. 현재 최고의 모델들은 방대한 지식을 보유하고 있지만, 엄격한 논리와 깊은 이해가 필요한 핵심 화학 문제를 처리할 때는 여전히 역부족으로 보인다.

 

 

ㅡ AGI를 향한 작은 한 걸음

 

SUPERChem의 탄생은 화학 분야의 다중 모달 심층 추론 평가의 공백을 메웠다.

 

팀이 이 성과를 발표한 것은 AI의 단점을 증명하기 위해서가 아니라, AI가 더 멀리 나아가도록 추진하기 위해서다. SUPERChem은 마치 이정표와 같다. 그것은 우리에게 다음 사항을 상기시킨다. 즉 범용 챗봇에서 구조-활성 관계를 이해하고 반응 메커니즘을 추론할 수 있는 전문 과학 조수가 되기까지, 아직 갈 길이 멀다는 점이다. 그것은 "지식을 기억하는 것"에서 "물리적 세계를 이해하는 것"으로의 도약이다.

 

현재 SUPERChem 프로젝트는 완전히 오픈소스화되었다. 팀은 베이징대에서 시작된 이 "시험지"가 전 세계 과학과 인공지능 분야의 공공 자산이 되어 다음 기술 폭발을 촉진하기를 바란다. 아마도 머지않은 미래에, 우리가 다시 이 시험지를 열었을 때, AI는 만점 답안을 제출할 수 있을 것이다. 그것은 화학과 인공지능이 함께하는 놀라운 순간이 될 것이다.

 

ㅡ 도전해 보시겠습니까?

 

SUPERChem 문제 은행에 포함되지 못한 "간단한" 문제 하나를 선택하여 여러분이 이 시험을 경험해 볼 수 있게 초대합니다.

 

멘델레예프가 원소 주기율을 발견한 150주년을 기념하여, 국제순수응용화학연합은 2019년을 "국제 화학 원소 주기표의 해"로 지정했습니다. 멘델레예프는 당시 알려지지 않은 여러 원소를 예측했으며, M은 그 중 하나입니다.

 

M은 은백색 금속으로, 부드럽고, 진한 황산, 질산, 염산 및 묽은 알칼리 용액에 녹을 수 있습니다. M이 산소와 함께 250°C로 가열되면 반응하여 연한 노란색 고체 A가 생성되며, A는 SOCl2로 처리하면 밝은 노란색 고체 B가 됩니다. B는 또한 M과 황록색 기체 C를 직접 가열 반응시켜 얻을 수도 있습니다. B를 단일 기체 D와 함께 200°C로 가열하여 반응시키면 적색 고체 E로 변환됩니다. M을 직접 묽은 염산에 녹이면 E의 용액도 얻을 수 있습니다. 그러나 M이 도금된 마그네슘 판을 묽은 염산에 녹이면 소량의 이원 화합물 F를 제조할 수 있습니다. F는 상온에서 액체이며 불안정하고, 그 수용액은 산성을 나타냅니다. F는 금속 칼륨과 반응하여 연한 회색 고체 G를 생성하고 단일 기체 D를 방출합니다.

 

위 정보에 따라 다음 선택지 중 올바른 설명을 고르세요:

 

A: 물질 M의 원자 번호와 족 번호의 홀짝성이 다르다
B: M이 도금된 마그네슘 판이 묽은 염산과 반응할 때, 생성물 중 Mg의 산화수는 A에서 M의 산화수와 같다
C: G는 역형석 구조를 가진다
D: 공기 산화로 인해 E 용액은 오래 두면 B를 포함하는 용액으로 변환된다

출처: 베이징대학교

 

2025-12/28

(원문보기) https://society.huanqiu.com/article/4PirNM9vnsU

 

[울산함성 무료구독 신청] https://t.me/+ji13hLs-vL83ZTBl