AI가 업무 속도를 크게 높여주지만, 그 대가로 개인의 숙련도와 이해력이 떨어질 수 있다는 연구 결과가 나왔다. 특히 새로운 기술을 배우는 과정에서는 AI 보조가 생산성 향상과 맞바꿔 학습을 저해할 가능성이 있다는 점이 실험을 통해 확인됐다.
앤트로픽은 30일(현지시간) AI가 개발자의 업무 생산성을 높이지만, 장기적인 역량 형성에는 부정적인 영향을 미친다는 연구 논문 ‘AI가 역량 형성에 미치는 영향(How AI Impacts Skill Formation)’를 온라인 아카이브를 통해 공개했다.
앤트로픽은 최근 소프트웨어 개발자를 대상으로 한 무작위 대조 실험(RCT) 결과를 공개하며, AI 보조 도구 사용이 코딩 학습에 미치는 영향을 분석했다. 이에 앞선 관찰 연구에서 AI가 일부 업무를 최대 80%까지 빠르게 처리하도록 돕는다는 사실을 확인했지만, 이번 연구는 “그 속도 향상이 인간의 실력 향상으로도 이어지는가”라는 질문에 초점을 맞췄다.
실험에는 파이썬을 1년 이상 사용해온 주니어 개발자 중심의 엔지니어 52명이 참여했다. 이들은 AI 사용 그룹과 비사용 그룹으로 나뉘어, 비동기 프로그래밍 라이브러리 ‘트리오(Trio)’를 활용한 코딩 과제를 수행한 뒤 곧바로 이해도 평가 퀴즈를 치렀다. 과제는 실무에서 새로운 도구를 독학으로 익히는 상황을 가정해 설계됐다.
새로운 파이썬 라이브러리를 활용한 과제를 수행할 때 AI 보조를 사용한 참가자들은 개념 이해, 코드 읽기, 디버깅 능력 등 라이브러리 특화 역량에서 유의미한 감소를 보였다(왼쪽). AI 활용 패턴을 분류한 결과, AI 보조를 사용하면서도 인지적으로 적극 참여해 높은 수준의 역량 형성을 유지한 세가지 유형의 패턴이 확인됐다.
연구 결과, AI 보조를 사용한 참가자들은 평균적으로 과제를 약 2분 더 빨리 끝냈지만, 이 정도의 차이는 통계적으로 의미가 있는 수준이 아니다.
반면, 학습 성과에서는 뚜렷한 격차가 나타났다. AI 사용 그룹의 퀴즈 평균 점수는 50%로, 손코딩 그룹의 67%보다 17%포인트 낮았다.
특히 디버깅 문제에서 점수 차이가 가장 크게 벌어져, AI가 코드 오류를 스스로 진단하고 원인을 이해하는 능력 형성을 저해할 수 있다는 우려가 제기됐다.
AI를 썼다고 해서 모두 성과가 낮아진 것은 아니었다. 연구진은 참가자들의 AI 활용 방식을 분석해 여섯가지 상호작용 패턴을 도출했다.
코드 생성을 전적으로 AI에 맡기거나 점진적으로 의존한 그룹은 가장 빠르게 과제를 마쳤지만, 이해도는 40% 미만으로 낮았다. 코드 생성 뒤 설명을 요청하거나, 개념적 질문 위주로 AI를 활용한 참가자들은 상대적으로 높은 이해도를 유지했다. AI를 ‘생각을 대신해 주는 도구’가 아니라 ‘이해를 돕는 조력자’로 활용했을 때 학습 손실이 줄어든 셈이다.
앤트로픽은 이번 결과가 기업과 개인 모두에게 중요한 시사점을 준다고 밝혔다. AI가 이미 표준 도구가 된 개발 환경에서, 단기적인 생산성 압박이 주니어 인력의 장기적인 역량 축적을 훼손할 수 있다는 것이다. 특히 안전과 신뢰가 중요한 영역에서는 AI가 만든 결과물을 검증·감독할 인간의 전문성이 필수적이라는 점을 강조했다.
연구진은 “AI 기반 생산성 향상은 곧바로 역량 향상으로 이어지는 지름길이 아니다”라며 “업무 흐름에 AI를 도입할 때는 학습을 보존하는 방식으로 설계돼야 한다”라고 지적했다.
동시에 개인에게도 “막히고 고민하는 인지적 노력 자체가 숙련도를 키우는 데 중요하다”라는 점을 상기시켰다.