AI가 복잡한 문제를 해결하는 ‘추론(Reasoning)’ 과정이 단순히 계산 시간을 늘리는 것이 아니라, 모델 내부에서 다양한 관점들이 서로 논쟁하고 조율하는 ‘사회적 상호작용’의 결과라는 연구 결과가 나왔다.
구글과 시카고대학교 연구진은 22일(현지시간) 기존의 명령어 기반(instruction-tuned) 모델보다 추론 특화 모델이 복잡한 문제에서 더 높은 성능을 보이는 이유를 분석한 논문 ‘추론 모델은 ‘사고의 사회’를 생성한다(Models Generate Societies of Thought)’를 온라인 아카이브를 통해 공개했다.
그동안 AI의 추론 능력 향상은 주로 '사고 사슬(CoT)'을 통해 계산 단계를 늘린 결과로 여겨져 왔다. 그러나 연구진은 이번 논문에서 최신 추론 모델들이 하나의 단일한 사고 흐름이 아니라, 서로 다른 성격과 전문성을 지닌 여러 인지적 관점이 상호작용하는 구조를 형성하고 있다고 분석했다.
여기에 CoT에 대비해 ‘사고의 사회(SoT)’라는 이름을 붙였다. 다양한 관점의 분화와 충돌, 토론을 통해 해법 공간을 넓게 탐색하게 만드는 메커니즘이라는 설명이다.
연구진은 ‘딥시크-R1’ ‘QwQ-32B’ 등 대표적인 오픈 소스 추론 모델을 대상으로 추론 흔적(reasoning traces)을 정량 분석한 결과, 강화 학습(RL)으로 훈련된 추론 모델들이 일반적인 명령어 기반 모델보다 훨씬 더 다양한 관점과 성격·전문성 관련 특징을 활성화한다는 사실을 발견했다.
이런 다중 관점 구조는 모델의 행동에서도 쉽게 확인됐다. 모델은 스스로 질문하고 답하며 생각을 이어가고, 상황에 따라 관점을 바꾸거나 서로 다른 해석을 하나로 정리했다. 이 과정은 마치 여러 에이전트가 토론하듯 의견을 주고받는 모습과 비슷했다. 특히 역할이 나뉜 치열한 논의가 이어지면서, 더 정확한 결론에 도달하는 데 큰 도움이 된 것으로 분석됐다.
연구에 따르면 추론 모델은 서로 다른 성격과 전문성을 지닌 여러 ‘가상 인물’이 내부에서 대화하는 방식으로 작동한다. 예를 들어, 한 인물은 가설에 의문을 제기하며 비판하고, 다른 인물은 논리적으로 이를 검토해 보완하거나 반박한다. 이런 식의 내부 토론이 이어지면서 생각이 다듬어지고, 그 결과 복잡한 문제에서도 더 정확한 답을 내릴 수 있다는 설명이다.
또 흥미로운 점은, 이런 모델들이 특별히 지시받지 않아도 스스로 질문을 던지고 답하거나, 생각의 방향을 바꾸고, 상반된 의견을 조정하는 모습을 보였다는 것이다. 이는 사람끼리 토론하는 장면과 비슷한데, 이런 ‘내부 대화’가 많을수록 추론 정확도도 높아지는 경향이 확인됐다.
(a) 기본 CoT 모델(초록색)과 SoT(빨간색)의 정확도 추이 비교. SoT가 최대 정확도에 더 빠르게 도달한다. (b) RL 과정 중에는 ‘질문과 답변’ 행동이 가장 두드러진다. (d) 그 결과, 학습을 마친 모델은 자신을 "우리(we)"라고 부르기 시작한다.
연구진은 RL 실험도 진행했다. 모델에게 “정답을 잘 맞히면 보상한다”라는 간단한 규칙만 줬지만, 모델은 스스로 여러 관점을 오가는 대화식 사고를 더 많이 활용하는 모습을 보였다. 이렇게 하는 것이 가장 보상을 많이 받는 것이라는 점에 도달한 것으로 볼 수 있다.
여기에 질문과 답변 같은 대화 구조를 반영해 추가로 학습한 모델은, 그렇지 않은 모델보다 추론 능력이 훨씬 빠르게 향상된 것으로 나타났다.
연구진은 “효과적인 추론은 계산량의 문제가 아니라, 사고를 어떻게 조직하느냐의 문제”라며 “이러한 사고의 사회 구조는 인간 집단 지성이 다양한 관점을 체계적으로 결합해 더 나은 문제 해결을 이루는 방식과 계산적으로 유사하다”라고 설명했다.