2023/10/26 | 작성자: 박성민

최근 인공지능(AI) 시장의 환경은 다양한 오픈소스 제품의 등장으로 큰 변화를 경험하고 있습니다. Meta가 오픈 소스 모델로서 누구나 LLaMa에 액세스할 수 있게 한 이후, 특히 OpenAI나 Google과 같은 거대 기술 기업에 속하지 않은 LLM 플레이어들 사이에서 자사의 모델을 오픈 소스로 공개하는 추세가 관찰되고 있습니다. 그 결과, 이제 소규모 기업이나 개인도 필요에 따라 AI 모델을 만들고 미세 조정할 수 있는 기회를 갖게 되었습니다. 이 인사이트 블로그에서는 이러한 변화의 의미, 특히 제너레이티브 AI 시대의 새로운 물결로 떠오른 '오픈 소스 LLM'의 등장과 이것이 LLM 생태계에 미칠 잠재적 영향에 대해 살펴봅니다.

오픈소스란 무엇인가요?

오픈소스 소프트웨어(OSS)는 AI, 빅데이터, 클라우드 컴퓨팅, 사물인터넷(IoT) 등 4차 산업혁명의 필수 요소로 여겨지는 많은 기술의 원동력이 되었습니다. 오픈 소스 소프트웨어의 출현을 이해하려면 먼저 컴퓨터 소프트웨어의 초창기를 되돌아볼 필요가 있습니다. 컴퓨터가 처음 개발되었을 때 소프트웨어는 주로 학자나 연구자들이 자유롭게 코드를 공유하면서 만들어졌습니다. 하지만 상업용 소프트웨어 시장이 성장하면서 많은 기업들이 코드를 독점적으로 유지하기 시작했고, 이에 대한 반발이 일어났습니다. 이에 1980년대 후반 리처드 스톨먼은 정보 공유라는 소프트웨어의 본래 생산 및 배포 모델을 복원하기 위해 '자유 소프트웨어 운동'을 시작했습니다. 그 후 관련 재단과 협회가 설립되어 "오픈 소스"라는 용어가 등장하게 되었습니다.

💡 오픈 소스

: 각각에 적용되는 오픈 소스 라이선스에 명시된 특정 제한 사항에 따라 누구나 소스 코드를 연구, 수정 및 배포할 수 있는 소프트웨어를 설명하는 데 사용되는 용어입니다.

오픈 소스 소프트웨어는 특히 언어 모델 개발에 대한 수요가 급증함에 따라 비용 문제로 인해 LLM 시장에서 상당한 탄력을 받고 있습니다. 오픈 소스 모델을 사용하면 개발자는 대규모 데이터 학습이나 자체 시스템 개발 없이도 미세 조정을 통해 새로운 모델을 빠르게 구축할 수 있습니다.

💡 오픈소스의 장점

• 더 빠르고 유연한 개발 환경: 여러 사람이 프로젝트에 참여하여 아이디어를 공유하고 문제를 해결할 수 있는 협업 환경을 제공합니다.

• 확장성: 사용자가 코드를 수정하거나 확장하여 필요에 맞게 프로젝트를 사용자 지정할 수 있습니다.

• 비용 효율성: 개발자는 자체 시스템을 개발할 필요 없이 오픈 소스 소프트웨어를 활용할 수 있어 시간과 비용을 절약할 수 있습니다.

오픈 소스 LLM의 등장

오픈 소스 LLM은 올해 2월부터 'sLLM(소규모 대규모 언어 모델)'이 등장하면서 업계에서 핵심 용어로 급부상했습니다. 학계가 LLaMa에 접근할 수 있도록 허용한 Meta의 결정은 수많은 sLLM의 길을 열었습니다. 이러한 모델은 일반적으로 60억 개에서 100억 개 사이의 파라미터를 가지고 있으며, 기존 LLM보다 훨씬 작지만 성능은 비슷하기 때문에 비용 효율적인 솔루션입니다. 예를 들어 OpenAI의 "GPT-3"는 1,750억 개의 파라미터를 가지고 있고, Google의 "LaMDA"는 1,370억 개, "PaLM"은 5,400억 개의 파라미터를 가지고 있습니다.

메타 플랫폼의 CEO인 마크 저커버그는 7월에 LLaMa 2를 오픈소스로 공개하면서 "우리는 오픈소스 커뮤니티의 힘을 깊이 믿으며, 최첨단 AI 기술은 모든 사람에게 공개되고 접근 가능할 때 더 안전하고 더 잘 조율됩니다."라고 말하며 오픈소스의 중요성을 강조한 바 있습니다. Meta와 같은 기업은 다양한 조직과 개발자가 자유롭게 경쟁하고 혁신할 수 있는 환경을 조성하여 궁극적으로 업계 내 성장을 촉진하고 있습니다.

오픈 소스 LLM 모델

오늘날 널리 사용되고 있는 주요 오픈소스 대규모 언어 모델(LLM)을 살펴보세요.


1. LLaMA

오픈소스 언어 모델을 대중화하는 데 중추적인 역할을 해온 Meta의 LLaMA가 그 대표적인 예입니다. 상업적 사용이 가능한 버전인 LLaMA 2는 2023년 7월 18일에 출시되었습니다. 인간의 피드백을 통한 강화 학습(RLHF)과 보상 모델링을 활용하여 텍스트 생성, 요약, 질의응답 등 보다 유용하고 안전한 결과물을 생성할 수 있습니다. LLaMA 2는 세 가지 크기로 구성됩니다: 7B, 13B, 70B이며, 각 크기는 모델에 사용된 파라미터의 수로 표시됩니다. 모델 크기에 따라 생성 완료에 걸리는 시간은 달라질 수 있지만, 이전 버전에 비해 정확도가 향상되고 유해한 텍스트 생성을 방지하는 데 중점을 두었습니다. 또한 Azure, Windows 등 여러 플랫폼에서 미세 조정할 수 있도록 확장되어 다양한 프로젝트에 폭넓게 적용될 수 있습니다.

2. MPT-7B

MPT-7B(Mosaic 사전 훈련된 트랜스포머)는 1조 토큰으로 훈련된 트랜스포머로, MosaicML에서 출시한 또 다른 오픈 소스 언어 모델입니다. 상업적으로 사용할 수 있으며, 기본 모델 외에도 세 가지 파생 모델(MPT-7B-Instruct, MPT-7B-Chat, MPT-7B-StoryWriter-65k+)을 기반으로 구축할 수 있습니다. MPT-7B 모델은 70억 개의 파라미터를 가진 Meta의 LLaMA-7B와 동등한 품질을 가진 것으로 알려져 있습니다.

3. 알파카

알파카는 스탠포드 대학교에서 학술 연구 목적으로 공개한 오픈 소스 언어 모델의 또 다른 예입니다. 스탠포드 학생들은 ChatGPT, Claude, Bing Chat과 같은 모델의 발전에도 불구하고 잘못된 정보나 불쾌한 텍스트가 생성될 수 있는 등 기존 모델의 잠재적인 문제점에 주목했습니다. 이러한 우려를 해결하고 기술 발전을 촉진하기 위해서는 학계의 참여가 중요하다고 생각했습니다. 그래서 그들은 추가 연구에 사용할 수 있는 모델로 알파카를 제시했습니다. 알파카는 Meta의 LLaMA-7B를 기반으로 하며, 언어 모델이 사용자 명령에 적절하게 응답하도록 설계된 명령 추종 데이터를 사용하여 미세 조정되었습니다.

4. 비쿠나

또 다른 오픈 소스 언어 모델인 Vicuna는 LMSYS Org에서 개발했으며 역시 LLaMA를 기반으로 합니다. 이 모델은 ShareGPT.com에서 수집한 70,000건의 사용자 공유 대화로 구성된 훈련 세트를 사용하여 미세 조정되었습니다. Vicuna 팀에 따르면, GPT-4를 심사위원으로 사용한 예비 평가에서 Vicuna-13B는 ChatGPT 및 Google Bard의 90% 이상의 품질을 달성한 것으로 나타났습니다. 또한, 팀이 제공한 온라인 데모와 코드는 비상업적 용도로만 사용한다면 누구나 사용할 수 있습니다.

5. 팔콘

아랍에미리트의 기술 혁신 연구소에서도 Falcon이라는 오픈 소스 언어 모델을 출시했습니다. Falcon 40B는 연구용과 상업용으로 모두 사용할 수 있는 주요 모델 중 하나입니다. 그 중에서도 1,800억 개의 파라미터를 활용하고 3조 5천억 개의 토큰으로 구성된 방대한 데이터 세트를 학습하여 탁월한 성능을 제공하는 Falcon 180B가 눈에 띕니다.

오픈소스가 LLM 생태계에 미치는 영향

앞서 살펴본 바와 같이 오픈소스는 AI 기술의 접근성 및 투명성 향상 등의 장점으로 인해 다양한 분야에서 활용되고 있습니다. 오용에 대한 우려와 같은 단점도 있지만, LLM 생태계 발전에 미치는 긍정적인 영향과 적은 자본으로 새로운 모델이나 서비스를 효율적으로 연구하고 만들 수 있는 능력은 오픈소스 AI를 지속 가능하게 만드는 원동력입니다.

이러한 추세에 따라 자연어 처리를 위한 최대 오픈소스 플랫폼인 '허깅 페이스'도 주목받고 있습니다. 허깅 페이스는 전 세계 다양한 기업과 연구 기관이 개발한 생성형 AI 모델의 성능을 평가하고 경쟁할 수 있는 '오픈 LLM 리더보드 '를 운영하고 있습니다. 이 리더보드에는 네 가지 지표에 대한 평가를 기반으로 500개의 오픈 소스 생성 AI 모델의 순위가 표시됩니다: ARC, HellaSwag, MMLU, TruthfulQA. 리더보드는 공개되어 있으며 새로 제출된 모델의 평가를 반영하기 위해 정기적으로 업데이트됩니다.

특히 국내 기업 중에서는 차세대 인공지능 모델을 개발한 AI 스타트업 업스테이지가 2023년 8월 ChatGPT의 기반이 되는 GPT-3.5의 성능을 뛰어넘으며 선두를 차지해 화제를 불러일으켰습니다. 업스테이지가 2023년 7월 허깅페이스를 통해 공개한 300억 개 파라미터 모델은 평균 67점을 달성하며 같은 날 발표된 메타의 LLaMA 2 70억 개 모델을 제치고 국내 최초로 LLM(언어 학습 모델) 1위를 달성했습니다. 또한, LLaMA 2 70B(700억) 파라미터를 기반으로 미세 조정된 모델을 발표하여 72.3점의 리더보드 평가를 기록했으며, 다음을 목표로 하고 있습니다. 확보 글로벌 1위를 목표로 하고 있습니다.

허깅 페이스 리더보드에 따르면, 업스테이지가 차세대 인공지능 모델의 벤치마크인 GPT-3.5 점수를 최초로 돌파하며 글로벌 경쟁력을 입증했습니다. 업스테이지의 LLM 모델 'SOLAR'(솔라)는 지난 9월에도 ChatGPT, 구글 PaLM, 메타 라마, 앤트로픽 클로드와 대등한 성능을 인정받아 혁신적인 AI 플랫폼 'Poe'의 메인 모델로 선정되기도 했습니다. 이는 자본과 인력이 부족한 스타트업도 오픈소스 기술을 활용하면 글로벌 톱 수준의 모델을 개발할 수 있다는 것을 보여주는 대표적인 사례로 꼽힙니다.

'오픈 Ko-LLM 리더보드'로 국내 AI 경쟁력 강화

국내에서도 오픈소스 AI 생태계 움직임이 확산되고 있습니다. 허깅 페이스 오픈 LLM 리더보드에서 1위를 차지한 업스테이지가 최근 한국정보화진흥원(NIA)과 파트너십을 맺고 오픈 Ko-LLM 리더보드. 이 플랫폼은 한국 언어 문화와 특성에 맞는 방식으로 한국어 LLM의 성능을 평가하고 비교합니다. 또한 상식적인 지식을 생성하는 모델의 능력을 평가하는 지표를 추가하여 환각을 방지할 수 있는 기능을 강화했습니다. 이러한 접근 방식을 통해 한국어 LLM을 보다 포괄적이고 다양하며 정확하게 평가할 수 있습니다. 오픈 Ko-LLM 리더보드를 통해 국내 사용자들은 한국어 LLM을 보다 효과적으로 비교하고 평가할 수 있으며, 이를 통해 보다 우수하고 신뢰할 수 있는 AI 애플리케이션을 개발할 수 있습니다.

오픈 Ko-LLM 리더보드는 출시 2주 만에 100개 이상의 모델이 등록되는 등 빠르게 성장하고 있습니다. 'Ko-Alpaca', 고려대학교의 'KULLM', 'Polyglot-Ko' 등 국내 유명 오픈소스 모델들이 이 플랫폼에 참여하면서 한국 특화 LLM 성능 평가의 표준으로 빠르게 자리 잡고 있습니다. 이러한 성장과 더불어 1억 단어 이상의 한국어 데이터를 제공하는 파트너에게 수익 공유 모델을 통해 인센티브를 제공하는 '1T 클럽 ' 프로그램과 함께 오픈 Ko-LLM 리더보드가 한국 오픈소스 LLM 생태계의 구심점으로 자리매김하고 있습니다.

제너레이티브 AI 시장이 빠른 속도로 진화함에 따라 오픈소스 이니셔티브의 영향력은 글로벌 시장뿐 아니라 한국에서도 여전히 업계 내에서 흥미롭고 영향력 있는 힘을 발휘하고 있습니다. 오픈소스 생태계가 가져올 미래의 혁신을 기대하며, 함께 협력하여 LLM 생태계를 확장해 나가겠습니다.