Solar LLM 활용 사례 알아보기 - 웨비나 요약

Use Case

8월 20일

2024/08/20 | 박성민

업스테이지의 Solar LLM과 함께한 실무형 AI 인재 양성 프로젝트

우리의 일상과 비즈니스 환경에서 거대 언어 모델(LLM)의 잠재력을 효과적으로 활용할 수 있는 방법은 무엇일까요? 빠르게 변화하는 LLM의 시대에서 한 걸음 더 앞서 나갈 수 있는 실무형 AI 인재를 양성하기 위해 업스테이지는 올 초부터 많은 대학생들과 함께 했습니다. 국내에서는 지난 5월, 서울대학교를 시작으로 7월에는 카이스트 학생들과 만나 "LLM 프로젝트 단기 강의"를 진행했는데요. 이 과정에서 학생들은 네트워킹 시간을 통해 현업에 종사중인 직장인 분들과 소통하며 팀을 구성하고, Solar LLM을 활용해 LLM 애플리케이션을 함께 제작하는 프로젝트에 참여하는 기회를 가졌습니다.

이 중 우수 프로젝트로 선정된 6개 팀을 업스테이지의 온라인 웨비나로 모셔 더욱 많은 분들과 다양한 아이디어를 공유할 수 있는 장을 마련할 수 있었는데요.

이번 블로그에서는 "Exploring Real-World LLM Solutions with Solar" 웨비나에 소개된 6개 팀의 아이디어를 살펴보며 실생활에서 LLM을 활용하는 다양한 유즈케이스를 공유합니다.

서울대학교에서 진행된 'LLM 프로젝트 단기 강의' 사진 (2024년 5월 16~18일)

KAIST에서 진행된 "LLM 프로젝트 단기 강의" 사진 (2024년 7월 4일~6일)

Solar LLM 유즈케이스 살펴보기

1. 🎥 업스테이지의 유튜브 댓글을 자동으로 생성해주는 "YouskUp"

'유스컵'은 숭실대학교 휴먼랩 학생들과 기업 '위크노우'의 직원이 공동으로 개발한 유튜브 댓글 답변 지원 애플리케이션입니다.

프로젝트 목표:
- 업스테이지의 유튜브 채널 동영상 댓글에 자동으로 답글을 달아주는 LLM 모델 개발
  - 업스테이지의 Solar API를 활용하여 정확하고 관련성 높은 답변을 생성하도록 함.
- 댓글 관리의 효율성을 높이고 유튜브 채널 관리자의 업무 부담을 줄임, 시청자와의 상호작용을 강화할 수 있도록 함
- RAG(검색 증강 생성) 기술을 통해 더욱 신뢰할 수 있고 유용한 답변을 제공하여 채널의 신뢰도를 높임

프로젝트 과정:
- RAG를 사용하여 업스테이지 관련 자료(보도자료, 블로그, 유튜브 동영상)를 벡터 DB화 하고 Embedding 하여 정확하고 유용한 답변을 자동으로 생성함
- 업스테이지 솔라-1 미니 채팅은 LLM으로 활용됩니다.

이처럼 Solar API를 활용해 만들어진 유튜브 댓글 자동 생성 시스템은 개인이나 기업에서 운영 중인 다양한 유튜브 채널에 적용할 경우 각 채널을 관리하는 모델로 활용할 수 있을 것입니다.

2. 🖼️ 전시 감상 경험을 향상시켜주는, "Docent AI"

두 번째로 소개된 유즈케이스는 업스테이지의 AI 교육 과정 수강생들과 서울대학교 학생이 함께 만든 'Docent AI' 서비스입니다.

프로젝트 목표:
- LLM을 활용한 서비스를 개발하여 사용자들의 전시 감상을 더욱 즐겁고 유익한 경험으로 만들고자 함
  - 작품에 대한 심층 해설 제공
  - 유사 작품 검색: Solar Embedding 모델을 사용한 유사도 검색을 기반으로 감상중인 작품과 유사한 작품 추천
  - 인터넷 검색 기반 답변: LLM이 답변하기 어려운 주제는 Solar LLM이 추출한 검색 키워드로 인터넷 검색한 결과를 활용해 추가 설명 제공
  - 작품에 대한 감상 나누기: Docent AI와 작품에 대한 감상 및 대화를 나눌 수 있도록 함
  - 대화 기반 전시 경험 아카이빙: 유저와의 대화 내용을 바탕으로 SNS 공유를 위한 감상 후기 작성 기능

프로젝트 과정:
- 다양한 전시회를 대상으로 서비스를 제공하기 위해 국립현대미술관의 5개 전시에서 선보여진 136점의 작품에 대한 데이터 수집 및 전처리 작업
  - 작가, 작품명, 제작년도, 작품 설명 등의 데이터 수집
  - 정확한 검색을 위해 작품 설명에서 작가에 대한 설명과 작품에 대한 설명 분리

3. 🩺 문진표 작성 보이스 챗봇, "WHENILL.ai"

갑자기 아플 때 어느 병원이나 응급실을 방문해야 할지 망설여진 적이 있나요? 이런 고민을 덜어주기 위해 만들어진 보이스 챗봇 'WHENILL.ai'를 소개합니다. 이 프로젝트는 언더밀리의 이호종 대표가 업스테이지의 LLM 프로젝트 다기 강의를 듣고 참여한 프로젝트의 결과물인데요. 프로젝트의 목표와 과정은 다음과 같습니다:

프로젝트 목표:
- 처음 방문한 환자의 기본 정보, 증상 및 의료 정보에 대한 문진표를 작성하는 데 도움을 주는 보이스 챗봇 개발
  - 환자의 입장에서는 의료 정보의 비대칭과 긴 진료 대기 시간에 대한 부담을 덜 수 있음
  - 의료진에게는 진료의 정확성과 효율성을 향상할 수 있음
프로젝트 과정:
- STT, LLM, TTS를 통해 사용자가 보이스 챗봇과 대화를 할 수 있도록 함
- 의학 용어 및 문맥의 이해는 'Zero-Shot Learning'(제로샷 학습 기법: 인공지능 모델이 이전에 본 적이 없는 새로운 것에 대해 학습하는 방법으로, 모델이 사전에 학습된 정보나 지식을 활용하여 새로운 문제에 대해 일반화하고 예측할 수 있는 능력을 갖추는 것)을 활용함
- 순서에 맞는 질문을 생성하는 것은 RAG(검색 증강 생성)와 유사하게 구성함

"WHENILL.ai" 사용시 백엔드에서 어떻게 보여지는지를 나타낸 데모 시연 사례

4. 📑 학위 과정 학생들을 위한 논문 읽기 도움 서비스, "낮달"

팀원의 대부분이 석사 과정을 진행 중인 팀에서 개발한 논문 읽기에 도움을 주는 서비스입니다. 이 팀은 카이스트와 포스텍의 학생들과 바이브 컴퍼니에 재직 중인 직장인으로 구성 되었는데요. 공통 관심사인 논문을 주제로 학위 과정을 진행 중인 학생들에게 도움을 줄 수 있는 서비스를 만들게 되었다고 합니다.

프로젝트 목표:
- 논문 읽기에 최적화된 서비스 개발
  - 최신 연구 논문을 읽으려면 그 분야의 대한 배경 지식이 필요하므로 여러 논문을 동시에 업로드하고 질문할 수 있는 서비스가 필요함
  - 논문을 읽고 메모할 수 있도록 편집 기능을 제공함
  - LLM이 생성하는 답변의 출처가 제공되어 사용자가 직접 답변을 검증할 수 있도록 함
프로젝트 과정 및 결과:
- RAG 기반 다중 PDF 쿼리 제공
- PDF 문서를 HTML로 변환하여 제공, 에디터 기능 제공
- 중요한 내용을 표시하는 하이라이트 기능 제공
- 실시간 번역 기능 제공
- 업스테이지의 Groundedness Check API를 통해 SOTA급 모델보다 신뢰 가능한 답변 제공
- 답변에 출처 표기

5. 📧 RAG를 활용한 이메일 도움 서비스, "Smart E-mail"

쌓여있는 메일함에서 꼭 필요한 정보만 걸러서 확인하는 방법을 찾고 계셨다면 이 프로젝트를 주목하세요! 카이스트 전산학부 학생들이 만든 'Smart E-mail' 서비스는 RAG(검색 증강 생성) 를 활용해 챗봇과 대화형으로 내가 수신한 이메일 중 필요한 정보를 정리, 답장 내용까지 생성해주는 서비스입니다.

서비스에 활용된 주요 기술
- Embedding: Solar embedding-1-Large
  - 다국어 처리
- LLM: Solar-mini-chat
- Groundedness Check: Solar-1-mini-groundedness-check
- OCR(Optical Character Recognition, 광학문자인식): Upstage Document OCR
- GraphDB: Neo4j
  - Knowledge Graph 구성으로 메타 데이터를 시각적으로 한 눈에 볼 수 있도록 함

"스마트 이메일" 데모 시연 사례: "업스테이지의 단기 특강과 관련된 메일을 정리해서 알려줘" 라는 사용자의 프롬프트로 확인할 수 있는 결과

6. 🕹️ 유저가 직접 세계관을 만들고 플레이 하는 RPG 게임, "LRPG(LLM RPG)"

TRPG(테이블탑 롤플레잉 게임)에 대해 들어보셨나요? 인기 넷플릭스 시리즈 기묘한 이야기에 등장한 TRPG는 참가자가 캐릭터의 역할을 맡아 함께 이야기를 만들어가는 보드 게임으로, 게임 마스터가 이야기를 이끌어갑니다.

하지만 TRPG와 CRPG(Computer Role-Playing Game)에는 여러 제약 사항이 있습니다. TRPG는 참가자가 각자 맡은 역할에 대한 연기를 잘 해야 하며, 게임 진행에 능숙한 마스터를 섭외해야 합니다. 반면에 CRPG는 혼자서도 플레이할 수 있지만 게임 개발사가 설계한 흐름에서 벗어나지 못하도록 선택의 폭이 제한되어 있다는 한계가 있는데요. 이러한 문제점을 해결하기 위해 카이스트 학생과 개발자들이 뭉쳐 설계한 LLM RPG, "LRPG"를 소개합니다.

프로젝트 목표:
- 사용자가 원하는 세계 속에서 센스 있는 사회자와 함께 혼자서도 TRPG를 플레이할 수 있도록 함
  - Solar Mini를 활용하여 사용자가 원하는 스토리를 생성함
  - LLM이 게임 마스터 역할을 수행하여 사용자가 TRPG 같은 CRPG 경험을 즐길 수 있도록 함

LLM 프로젝트 단기 강의 및 웨비나를 마무리하며

Q: 업스테이지의 LLM 프로젝트 단기 강의에 참여한 소감과 Solar LLM 사용 경험은 어땠나요?

"LLM 사용 사례에 대한 구체적인 인사이트를 공유할 수 있어서 도움이 되었습니다."

- 박성일(서울대학교) / 팀 "도슨트 AI"

모델의 응답 시간이나 생성 속도가 다른 API에 비해 매우 빠른 것 같습니다. 속도가 중요한 서비스에서 사용하기에 좋다고 느꼈습니다.
이 모델의 사용자 지침을 따르는 능력은 인상적이었습니다. 다른 대형 모델은 이 부분에서 성능이 좋지 않지만 Solar는 일반적으로 주어진 지침을 준수하는 응답을 생성하여 사용하기 편리합니다.
Solar의 한국어 임베딩 모델은 다른 상용 서비스에 비해 성능이 높은 것으로 보입니다.
저희 서비스에서는 사용하지 않지만 Layout Analysis, OCR, Groundedness Check 기능도 유용하게 사용할 수 있을 것 같습니다.

"대규모 언어 모델에 열광하는 사람으로서 다른 사람들과 교류하고 LLM에 관한 경험을 공유할 수 있어서 기뻤습니다."

- 황태호(카이스트) / 팀 "스마트 이메일"

이번에 Solar 모델을 사용해 본 결과, 임베딩과 LLM의 뛰어난 성능에 깊은 인상을 받았습니다. 한국어를 지원하는 LLM 도입을 고려하고 있다면 비용 대비 성능이 뛰어난 Solar 모델을 검토해 보시길 적극 추천합니다.

Solar API는 Langchain과 원활하게 결합되어 개발 프로세스와 서비스 구축을 편리하게 만들어줍니다.
- Layout Analysis API와 Groundedness Checker API는 PDF를 HTML로 변환하는 데 매우 유용했습니다.
- 다양한 LLM 서비스를 구축하는 데 합리적인 가격으로 고품질 API를 사용할 수 있어 적극 추천합니다.
- 저희 팀처럼 정보를 업로드하고 그 정보로부터 답을 얻어내는 서비스를 구현하는 분들께 Solar를 추천합니다.

"많은 전문가들 앞에서 기술적인 관점에서 업스테이지 API를 활용한 서비스 개발 경험을 공유할 수 있어서 좋았습니다. 특히 Q&A 세션에서 저희 서비스에 대한 관심을 보여주셔서 감사했습니다. 이번 강좌를 마련해준 업스테이지에 감사드립니다."

- 이동재(카이스트) / "논문 읽기 지원 서비스" 팀

"이렇게 많은 청중 앞에서 발표하는 것은 처음이라 긴장을 많이 했지만 발표가 잘 진행되어 기쁘게 생각합니다. 특히 Q&A 세션에서 저희 제품에 많은 관심을 가져주셔서 감사했습니다. 저희 팀에서 아이디어를 본격적인 서비스로 사업화하기 위해 논의 중인데 잘 진행되었으면 좋겠습니다!"

- 이서현(카이스트) / "논문 읽기 지원 서비스" 팀

업스테이지의 Solar API를 활용하면서 비용 효율성 측면에서 놀라움을 느꼈습니다. 전체 서비스 사용 요금이 천 원도 나오지 않았을 정도여서 small LLM을 사용하고자 하는 많은 분들께 추천드리고 싶습니다. 저희처럼 예산이 한정적인 초기 단계의 스타트업이 매우 유용하게 사용할 수 있을 것 같습니다.

이번에 Solar 모델을 사용해 본 결과, 임베딩과 LLM의 뛰어난 성능에 깊은 인상을 받았습니다. 한국어 지원 LLM 도입을 고려하고 있다면 비용 대비 성능이 뛰어난 Solar 모델을 적극 추천합니다.

"LLM을 주요 구성 요소로 사용하여 실제 서비스를 개발하는 것은 교육적이면서도 재미있었습니다. LLM의 힘에 대해 들어본 적은 있지만, 자동화된 시스템 내에 적용해 보니 미래 기술이 아니라 지금 당장 실용적으로 활용할 수 있는 잠재력이 큰 기술이라는 것을 알 수 있었습니다. 앞으로 업스테이지나 솔라를 통해 협업하거나 프로젝트를 진행하고 싶습니다."

- 이현구(카이스트) / 팀 "LRPG"

"많은 사람들 앞에서 우리 팀의 프로젝트를 발표할 수 있어서 감사했습니다. 다른 팀의 발표를 듣는 것도 흥미로웠습니다."

- 이다현(숭실대학교) / 팀 "YouskUp"

Solar LLM, Embedding 등 여러 모델을 편리하게 사용할 수 있도록 추상화가 잘 된 부분이 좋았습니다. 앞으로 더욱 발전할 OCR 서비스도 기대가 되네요. LLM 활용 연구를 진행하시는 모든 분들께 추천드리고 싶습니다.

"웨비나에 참여하게 되어 기뻤습니다. Solar는 사용자 친화적이며 데이터 분석 과정에서 큰 도움이 되었습니다. 향후 AI 챗봇 및 데이터 디지털 마이그레이션과 관련된 프로젝트에서 Solar를 적극적으로 사용할 수 있기를 기대합니다. 특히 데이터 분석과 AI 기술 개발에 쉽게 뛰어들고 싶은 모든 분들께 Solar를 추천하고 싶습니다."

- 이호종(언더밀리 대표) / 팀 "WHENILL.ai"

[ → Solar API 체험하기]

웨비나에서 다뤄진 내용들을 다시보기로 자세히 확인해 보세요!

지금까지 업스테이지의 Solar LLM을 활용한 다양한 유즈케이스를 만나 보았습니다. 이를 통해 LLM이 정말 다양한 산업군에 무궁무진하게 활용될 수 있다는 가능성을 엿볼 수 있었습니다. 특히 이번 웨비나에서는 업스테이지가 함께 만들어 가고 있는 '부스트캠프 AI Tech'와 'Upstage AI Lab'의 일부 수료생을 프로젝트 참가자로 만나게 되어 더욱 뜻깊었는데요.

업스테이지가 만들어 가고 있는 건강한 LLM 생태계가 앞으로도 더욱 확장될 수 있길 바라며, Solar LLM으로 또 어떠한 Making AI Beneficial 사례들이 탄생하게 될지 기대해 봅니다.

LLM 활용 사례에 대한 자세한 내용은 아래 링크에서 영상 다시보기를 통해 확인해 보세요.

👉 Check Out the Video for Real-World LLM Solutions

←ProductDocumentAISolar

Hailey(박성민) .