주요 인공지능(AI) 기업들이 글로벌 기준에 부합하는 안전 대책을 마련하지 못하고 있다는 평가가 나왔다.
비영리 연구 기관 미래생명연구소(FLI)가 3일(현지시간) 발표한 ‘2025 AI 안전성 지수’에 따르면, 인공일반지능(AGI)이 인류의 존재를 위협할 ‘실존적 안전(Existential Safety)’ 부문에서 D 이상 등급을 받은 기업은 한곳도 없었다.
FLI는 “AI 기업들이 인간 능력을 넘어서는 AGI·초지능 개발 경쟁에 치중하고 있지만, 정작 통제 실패나 악용을 막기 위한 실질적 방어 전략은 거의 마련돼 있지 않다”라고 비판했다.
또 “많은 기업이 위험을 언급하긴 하지만, 구체적 정량 목표나 정렬 실패 방지 전략, 내부 모니터링 체계가 부족하다”라고 지적했다.
이번 평가는 7개의 주요 AI 기업이 공개한 안전 프레임워크와 정책, 사례 등을 ▲위험 평가 ▲현재의 피해 ▲안전 프레임워크 ▲실존적 안전 ▲거버넌스 및 책임 ▲정보 공개 등 항목으로 평가한 것이다.
이번 평가에서 가장 높은 점수를 받은 앤트로픽은 종합 C+ 등급을 받았다. ▲사용자 데이터를 학습에 활용하지 않는 높은 수준의 개인정보 보호 ▲세계적 수준의 정렬(Alignment) 연구 ▲안전성 벤치마크 성과 ▲공익법인(PBC) 구조의 책임경영 등이 긍정적으로 평가됐다.
그러나 핵심인 실존적 안전 점수는 D에 그쳐, 고성능 AI 통제 전략은 여전히 미흡하다는 평가를 받았다.
종합 2위를 기록한 오픈AI는 ▲모델 오용 사례 공개 ▲외부 평가 결과 공유 ▲내부고발(whistleblowing) 정책 전면 공개 등에서 높은 평가를 받았다. 구글 딥마인드는 3위를 차지했다. 이 3곳이 '평균’에 해당하는 C 등급을 받았다.
xAI와 메타는 위험 관리 체계를 일부 갖추고 있었지만, 안전 연구 투자 부족과 모니터링 근거 부재로 '미흡’에 해당하는 D를 받았다.
또 딥시크와 지푸AI 등 중국 기업은 안전 프레임워크 자체를 공개하지 않아 대부분 항목에서 낙제 판정을 받았다. 이와 관련, 딥시크 등은 최근 오픈 소스 정책 자체가 안전장치라고 주장하는 논문을 발표하기도 했다.
그러나 FLI는 “미국 기업이 아무리 안전성을 강화해도, 규제가 약한 국가의 기업들이 비슷한 수준의 기준을 갖추지 않으면 글로벌 위험은 해소되지 않는다”라고 경고했다.
대규모 생물학·사이버테러 등 고위험 능력에 대한 실질적 평가를 보고한 기업은 앤트로픽, 오픈AI, 구글 딥마인드 등 3곳뿐이었다. 그러나 이들 모두 평가 체계가 미비해 “기본적인 위험 분석 기준조차 충족하지 못한다”라는 지적이 제기됐다.
내부고발 제도도 취약해, 공개된 정책을 갖춘 기업은 오픈AI가 유일했다.
FLI는 최근 AI 챗봇의 자살·자해 유도와 정신 이상 사례, AI를 활용한 해킹 시도 등을 언급하며 안전 강화가 시급하다고 강조했다.
FLI 회장인 맥스 테그마크 MIT 교수는 “AI 기업들은 안전보다 기술 경쟁과 로비에 더 몰두하고 있다”라며 “미국의 일반 식당보다도 AI 기업 규제가 더 약한 현실”이라고 비판했다.
한편, FLI는 2014년 설립됐으며 초기에는 일론 머스크 CEO의 지원을 받으며 AGI가 인류에 미칠 위험을 경고해 왔다.
특히 2023년에는 머스크 CEO 등 전문가 1000여명이 참여한 ‘첨단 AI 개발 6개월 중단’ 공개서한을 발표하며 유명해졌다. 지난 10월에는 제프리 힌튼과 요슈아 벤지오 등 세계적 연구자들과 “안전한 개발 방법이 마련되기 전까지 초지능 개발을 금지해야 한다”라고 촉구했다.
AI 기업들이 기술 경쟁에만 집중하고 안전 프레임워크는 거의 갖추지 못했다는 점이 꽤 충격적이네요.
특히 실존적 안전 분야에서 모든 기업이 D 이하라는 건, AGI가 더 발전하기 전에 글로벌 차원의 안전 기준이 시급하다는 의미 같아요. 앞으로 모델 성능뿐 아니라 ‘얼마나 안전하게 만들었는가’도 중요한 과제가 될 것 같습니다.