비큐AI(대표 임경환)는 자체 구축 사고사슬(CoT) 데이터셋을 활용해 오픈 소스 7B 모델에 파라미터 효율적 미세 조정(PEFT) 방식을 적용, 학습한 초경량 소형언어모델(sLLM) ‘RDP-N1’을 개발했다고 16일 밝혔다.
비큐AI는 지난해 검색 증강 생성(RAG) 모델 ‘RDP 1’ 등을 선보인 바 있다. 핵심 기술은 실시간 데이터 파이프라인 플랫폼 'RDP라인(Line)'이다.
비큐AI는 데이터 공급 플랫폼 '리얼 타임 데이터 파이프라인(RDPLINE)'을 통해 삼성, LG, KT, SK텔레콤 등 국내 대기업에 AI 학습용 데이터를 공급해 왔다. 이는 AI 학습 데이터 공급과 저작권 문제 해결을 지원한다는 설명이다.
특히, 글로벌 뉴스 데이터를 포함해 다양한 데이터 파트너십을 강화, 데이터를 확장하고 있다고 전했다. 이를 통해 금융, 증권, 통신, 빅테크 플랫폼, 자동차 인포테인먼트, 언론 등 산업별 플랫폼과 디바이스에 대화형 AI 뉴스 서비스를 실시간으로 연결하는 것이 주요 목표다.
이번 모델 'RDP-N1’은 QLoRA(Quantized Low-Rank Adaptation) 기법을 적용해 기존 파라미터 손상을 최소화, 양자화 기술로 모델 용량을 29기가바이트(GB)에서 7.1GB로 줄인 것이 특징이다.
이를 통해 EM·ROUGE·BLEU·KoBERT 유사도 등 주요 지표에서 최대 93% 성능 향상을 달성했다고 전했다. 이는 RDPLINE에서 생산되는 고품질 CoT 데이터의 효과를 정량적으로 입증한 결과는 분석이다.
이런 CoT 데이터는 단순히 정답을 제공하는 것이 아니라, 정답에 도달하는 추론 과정을 같이 학습하도록 설계된 데이터라고 강조했다. 예를 들면, ‘답은 A’라는 형태에 그치지 않고, ‘추론 근거와 판단 조건을 단계적으로 제시해 결론에 이르는 과정’을 포함한다.
비큐AI 관계자는 “CoT 데이터는 수작업으로 구축하기 어려워, 로우데이터를 활용해 질의응답과 추론 과정을 생성하고, 상용 고성능 대형언어모델(LLM)로 자동 평가해 오답·모순을 제거하는 단계적 검증 체계를 적용했다”라며 “이 과정을 통해 고신뢰 데이터만 선별해 학습에 활용했다”라고 말했다.
비큐AI는 앞으로 RDPLINE을 통해 확보한 대규모 뉴스 및 미디어 데이터 파이프라인을 통해 ‘RDP-N1’을 다양한 서비스 영역에 적용하고, 경량 모델과 고성능 모델을 조합해 성능과 비용을 최적화하는 전략을 추진할 계획이다.
이어 “이번 개발은 모델 자체 제작보다, 고품질 CoT 데이터가 성능 향상에 미치는 효과를 검증하는 데 초점을 맞췄다”라며 “동일한 원리로 더 큰 파라미터 모델에도 적용 가능한 점이 큰 의미를 가진다”라고 말했다.