메타가 슈퍼인텔리전스 랩스(MSL)를 통해 개발 중인 차세대 대형언어모델(LLM)에 대해 낙관적인 전망을 내놓고 있다. 코드명 ‘아보카도(Avocado)’로 불리는 이 모델이 메타 사상 가장 강력한 사전학습 모델이라는 내부 평가가 나왔다.
디 인포메이션은 4일(현지시간) 지난 1월20일자 내부 메모를 인용해 메타가 아보카도의 사전학습(pretraining)을 완료했으며, 이를 “현재까지 메타에서 개발한 가장 유능한 사전학습 모델”이라고 밝혔다고 전했다.
이 메모는 메타 초지능 연구 조직인 MSL 소속 프로덕트 매니저 메건 푸가 게시한 것이다.
이에 따르면 아보카도는 아직 사후학습(post-training)을 거치지 않은 상태임에도 불구하고, 지식 이해도와 시각 인식, 다국어 성능 측면에서 이미 주요 사후학습 완료 모델들과 경쟁 가능한 수준에 도달했다. 특히 아보카도가 현존하는 최고 수준의 오픈소스 기반 모델들을 능가했다고 강조했다.
사전학습 모델은 방대한 데이터를 통해 일반적인 지식과 패턴을 학습한 단계의 모델로, 이후 인간 피드백 기반 강화 학습(RLHF) 등 사후학습을 통해 특정 용도에 맞게 정교화된다. 아보카도는 이 두번째 단계를 거치기 전부터 성능 면에서 의미 있는 진전을 보였다는 것이 내부 평가다.
하지만, 업계는 실제 성능에 대한 평가가 공개 이후에야 가능할 것으로 보고 있다. 특히 메타가 지난 1년간 AI 모델 개발에서 어려움을 겪어온 만큼, 내부적으로라도 과도한 낙관론은 부담이 될 수 있다는 지적도 나온다.
메타는 2025년 차세대 모델로 기대를 모았던 ‘라마 4’ 개발 과정에서 난항을 겪었다. 출시가 연기된 뒤 공개된 ‘매버릭(Maverick)’과 ‘스카우트(Scout)’ 버전은 일부 개발자들로부터 기대에 못 미친다는 평가를 받았다. 이 같은 부진은 메타 AI 전략 전반의 대대적인 개편으로 이어졌다.
그 핵심이 지난해 6월 단행한 스케일 AI에 대한 143억달러(약 20조원) 투자다. 이 거래를 통해 알렉산드르 왕 스케일 AI CEO가 메타에 합류했고, 메타의 AI 연구·개발을 총괄하는 MSL이 출범했다.
이후 전례 없는 수준의 투자를 이어가고 있다. 2026년 자본지출(CAPEX)이 2025년 대비 약 73% 증가한 1150억~1350억달러(약 168조~197조원)에 이를 것으로 전망했으며, 여기에는 AI 연산 인프라 비용이 대거 포함된다.
아보카도는 성능뿐 아니라 효율성 측면에서도 진전을 보였다는 평이다. 메타는 지난해 12월 중순 작성된 또 다른 내부 메모에서, 아보카도가 텍스트 관련 작업에서 이전 모델인 매버릭 대비 10배의 연산 효율 개선을 이뤘으며, 공개되지 않은 라마 4 시리즈 중 최대 규모인 ‘베히모스(Behemoth)’에 비해 100배 이상의 효율 향상을 기록했다고 밝혔다.
메타는 이러한 성과의 배경으로 고품질 데이터 확보, 모델 인프라 투자, 그리고 동일한 조건에서 항상 같은 결과를 내도록 하는 ‘결정론적 학습(deterministic training)’ 기법을 꼽았다. 이는 에너지 사용과 개발 비용을 줄이는 데 중요한 요소로, 경쟁사들을 따라잡기 위한 메타의 전략적 카드로 평가된다.
이 같은 내부 분위기는 최근 메타 경영진의 공개 발언에서도 감지된다. 앤드루 보즈워스 최고 기술책임자(CTO)는 지난달 스위스 다보스에서 열린 세계경제포럼(WEF) 기자 브리핑에서 메타의 AI 모델이 “매우 훌륭하다”라고 언급하며 기술적 진전을 시사했다. 소비자용 제품으로 활용하기 위해서는 “막대한 양의 사후학습이 필요하다”라고 덧붙였다.
마크 저커버그 CEO도 지난주 실적 발표 컨퍼런스콜에서 “MSLdl 처음 공개할 모델들은 충분히 훌륭할 것”이라며 “무엇보다 우리가 얼마나 빠른 궤도로 발전하고 있는지를 보여줄 것”이라고 말했다. 이어 “올해 동안 지속적으로 새로운 모델을 공개하며 기술적 한계를 밀어붙일 것”이라고 강조했다.
아보카도의 정확한 공개 시점은 아직 알려지지 않았다. 이미지·동영상 생성 모델인 '망고(Mango)’와 1분기 중 출시가 유력하다.