업스테이지의 솔라 107억, 세계 최고의 사전 교육형 LLM으로 부상하다
한국의 선도적인 AI 기업이 107억 개의 파라미터를 가진 LLM으로 메타, 알리바바, 01.AI, 미스트랄 AI를 제치고 허깅페이스 오픈 리더보드에서 글로벌 선두를 차지했습니다.
서울, 2023년 12월 14일- 한국의 대표적인 인공지능 스타트업인 업스테이지가 자사의 대표 대규모 언어 모델(LLM)인 솔라 107억 개 파라미터(10.7B)가 실리콘밸리의 유명 기술 대기업들을 제치고 허깅페이스 오픈 LLM 리더보드에서 1위를 차지했다고 자랑스럽게 발표했습니다.
오픈 LLM 리더보드는 오픈 소스 언어 모델을 추적, 순위 지정 및 평가하기 위해 설계된 플랫폼으로, 현재 최신 모델의 객관적인 척도를 제공합니다.
Solar는 전문화되고 최적화된 LLM 및 신뢰성 있는 애플리케이션의 약자로, 업스테이지에서 개발한 사전 학습된 고급 생성 텍스트 모델입니다. 라마 2에서 미세 조정된 Solar 70B는 지난 8월 벤치마크 점수인 GPT-3.5를 초과하고 오픈 LLM 리더보드에서 1위를 차지하며 인상적인 데뷔를 했습니다.
이번에 업스테이지에서는 3조 개 이상의 토큰으로 사전 훈련된 새로운 10.7B 영어 모델을 선보였습니다. 오픈 소스 7B 모델을 기반으로 한 고유한 딥러닝 업스케일링 기법을 활용한 Solar 10.7B는 평균 74.2점을 기록하며 오픈 LLM 리더보드의 모든 모델을 능가했습니다.
이번 성과는 서울의 AI 스타트업이 새롭게 떠오르는 소형 언어 모델(SLM) 부문에서 우위를 점하는 중요한 이정표가 될 것입니다. 딥러닝을 강화한 솔라 10.7B는 작은 크기에도 불구하고 주요 기술 대기업의 사전 학습 모델을 능가하는 성능을 보였으며, 오픈AI의 GPT-3.5 터보(71.07), 메타의 라마 2(67.87), 알리바바의 큐원 72B(73.6)가 세운 벤치마크를 뛰어넘는 성과를 거뒀습니다.
또 다른 주목할 만한 성과로, 솔라 107억은 시리즈 A 펀딩에서 4억 1,500만 달러의 자금을 확보한 파리에 본사를 둔 AI 유니콘 기업인 미스트랄 AI의 믹스트랄 8x7억(72.62)을 넘어섰습니다. 미스트랄 AI는 '전문가 혼합'(MoE) 모델을 도입하여 라마 2와 GPT-3.5에 필적하는 성능을 선보였습니다. 이러한 성과로 업스테이지가 글로벌 AI 업계에서 더욱 두각을 나타낼 수 있게 되었습니다.
김성은 업스테이지 대표는 "세계 최고의 AI 기업을 능가하는 모델을 발표하게 되어 기쁘다"며 "업스테이지 솔라가 모두에게 모범이 될 수 있기를 바란다"고 말했습니다. 업스테이지는 AI 환경을 재정의하고 기업 애플리케이션을 위한 가장 안정적이고 혁신적인 AI 솔루션을 제공하기 위해 최선을 다하고 있다"고 말했다.
이제 Solar 10.7B는 Apache 2.0 라이선스에 따라 사전 학습 및 인스트럭션 미세 조정 버전이 모두 포함된 오픈 소스 LLM으로 제공되므로 상업적으로 제한 없이 사용할 수 있습니다.
Solar는 다양한 실제 시나리오에서 지적 능력과 실용적인 배포 가능성에 대한 업계의 요구를 충족시키며 프라이빗 SLM 분야에서 탁월한 성능을 발휘합니다. 최고의 성능과 보안을 위해 설계된 Solar는 로컬에서 실행하여 데이터 유출을 방지하고 고유한 데이터 세트 학습을 통해 AI 착각을 완화할 수 있어 기업 고객에게 강력한 선택이 될 수 있습니다.
국내 대표 인공지능 스타트업 업스테이지(대표 김성훈)가 자체 개발한 선학습형 언어모델(LLM, Large Language Model) '솔라'를 공개하며 글로벌 LLM 경진대회에 본격적으로 참가한다. 사진은 허깅 페이스 오픈 LLM 리더보드 순위에서 1위를 차지한 업스테이지의 모델 모습.
