[Upstage X DeepLearning.AI] "Pre-training LLMs" Courses Now launched in Collaboration with AI Pioneer Andrew Ng!
2024/07/18 | 작성자: 박성민
거대 언어 모델(LLM)에 대해 더 알고 싶으신가요? LLM에 관심 있는 엔지니어, 데이터 사이언티스트, 혹은 비용 효율적이면서 뛰어난 성능을 자랑하는 LLM을 비즈니스에 도입하고자 하는 기업이시라면 신규 런칭한 'LLM 사전학습(Pre-training LLM)' 강좌를 주목해 주세요!
업스테이지는 글로벌 온라인 교육 플랫폼 'DeepLearning.AI)'를 통해 'Pretraining LLM' 과정을 무료로 선보입니다. DeepLearning.AI는 세계 4대 AI 석학으로 불리는 딥러닝의 선구자 앤드류 응(Andrew Ng) 미국 스탠퍼드대 교수가 만든 교육 플랫폼인데요. 앤드류 응 교수의 특화 과정부터 오픈AI, 구글, 메타, MS 등 빅테크 기업들이 다양한 AI 수업을 운영 중으로, 국내 기업중에서는 업스테이지가 최초로 참여합니다.
사전학습이 필요한 이유는 무엇인가요?
업스테이지가 사전학습(Pre-training)을 주제로 앤드류 응 교수와의 협업을 기획한 이유는 바로 사전학습이 LLM을 학습시키는 첫 번째 단계이며, 이는 곧 우리의 필요에 꼭 맞는 기능을 갖춘 모델을 개발하는 열쇠가 될 수 있기 때문입니다. LLM을 사전학습 하는 것은 일반적으로 Transformer Neural Network라고 하는 모델에서 거대 말뭉치를 통해 지도 학습 방식으로 모델을 학습시키는 복잡한 과정을 거칩니다. 여기에는 입력 프롬프트가 주어진 후 다음 토큰을 예측하는 학습이 포함되며, 인간의 선호도에 맞게 미세 조정 또는 추가 조정을 수행하기 전에 이루어집니다. 업스테이지에서는 또한 Depthwise Scaling과 지속적인 모델 사전학습을 포함하는 'Depth Up-Scaling(DUS)'을 사용하여 'Solar Mini '를 고도화 시켰습니다.
사람이 책을 읽기 위해서는 글자를 먼저 배워야 하듯이 AI 세계에서 사전학습은 그러한 역할을 합니다. 사전 학습은 모델이 단어, 문장 또는 이미지와 같은 데이터의 기본 구성 요소를 이해하도록 도와주며, 이를 통해 복잡한 문제를 보다 효율적인 방식으로 해결할 수 있습니다.
다음은 사전 학습의 영향에 대한 구체적인 예입니다: 모델이 새로운 도메인에 대해 깊이 이해하도록 하려면 좋은 성능을 얻기 위해 추가적인 사전 학습이 필요합니다.
(출처: DeepLearning.AI)
LLM from Scratch와 Continued Pre-training의 차이점은?
머신러닝 모델의 학습에는 처음부터 학습하는 방법과 지속적인 사전 학습의 두 가지 주요 접근 방식이 있습니다.
처음부터 모델을 학습시킨다는 것은 사전 지식이나 사전 훈련된 모델 없이 처음부터 데이터 세트에 대해 모델을 훈련하는 것입니다. 기본적으로 백지 상태에서 시작하기 때문에 모델은 모든 것을 처음부터 배워야 합니다. 예를 들어, 모델에 고양이를 인식하도록 가르치는 경우, 모델에 무작위 이미지를 보여주는 것으로 시작하여 모델이 고양이를 정확하게 식별할 수 있을 때까지 고양이 이미지를 점진적으로 학습시켜야 합니다.
반면에 지속적인 사전 학습은 특정 데이터 세트에 대해 사전 학습된 모델을 사용하여 모델의 지식과 기능을 넓히거나 심화시키는 것을 포함합니다. 이는 모델에 작업에 대한 사전 지식을 이미 가지고 있기 때문에 모델에 유리한 출발점을 제공하는 것과 비슷합니다. 예를 들어 고양이를 인식하도록 모델을 가르치는 경우 이미 대규모 이미지 데이터 세트에 대해 학습된 사전 학습된 모델을 사용할 수 있습니다. 이 모델은 이미 이미지가 어떻게 생겼는지 이해하고 있으므로 정확도를 높이기 위해 더 작은 고양이 이미지 데이터 세트에 대해 파인튜닝(미세 조정)하기만 하면 됩니다.
이처럼 모델을 처음부터 학습시킬지, 혹은 이미 학습된 모델을 활용하는의 여부는 특정 분야 및 사용 가능한 리소스에 따라 달라집니다.
온라인 강의를 통해 "LLM 사전학습"에 대해 더 자세히 알아보세요!
'Pretraining LLM' 과정을 통해 수강생은 사전학습으로 좋은 성과를 달성할 수 있는 이상적인 사례들을 탐색할 수 있습니다.
교육 과정 전반에 걸쳐 수강생은 다음을 이해하게 됩니다:
사전 학습이 모델 성능을 위한 최적의 선택인 시나리오를 살펴보세요. 동일한 모델의 여러 버전에서 텍스트 생성을 비교하여 기본, 미세 조정 및 특수 사전 학습된 모델 간의 성능 차이를 파악할 수 있습니다.
효과적인 모델 사전 학습에 필수적인 웹 텍스트와 기존 데이터 세트를 사용하여 고품질 학습 데이터 세트를 만드는 방법을 알아보세요.
모델 학습을 위해 정리된 데이터 세트를 준비합니다. 허깅 페이스 라이브러리와 함께 사용할 수 있도록 학습 데이터를 패키징하는 방법을 알아보세요.
학습을 위한 모델을 구성하고 초기화하는 방법을 살펴보고 이러한 선택이 사전 학습 속도에 어떤 영향을 미치는지 알아보세요.
모델 학습을 구성, 실행하는 방법을 알아보고 자신만의 모델을 학습 시켜볼 수 있습니다.
학습된 모델의 성능을 평가하는 방법을 알아보고 다양한 모델의 성능을 비교하는 데 사용되는 중요한 벤치마크 작업을 포함하여 LLM에 대한 일반적인 평가 전략을 살펴보세요.
이 과정을 통해 여러분은 데이터 준비와 모델 구성부터 성능 평가에 이르기까지 모델을 사전 학습할 수 있는 기술을 모두 갖추게 됩니다. 지금 아래 링크를 확인하여 여러분의 AI 역량을 무료로 Up! 시켜보세요!
Unlock Advanced AI Capabilities with Upstage!
Discover Our Innovative Solutions and Educational Resources
✨ Contact Us to Learn More
