언어 :
Leadtek은 NVIDIA DLI와 협력하여 학생들이 LangChain을 활용해 대규모 언어 모델(LLM) 애플리케이션을 구축할 수 있도록 돕는 프롬프트 엔지니어링 과정을 개설합니다. 기초부터 실습까지, 참가자들은 자동화된 분석, 데이터 구조화, 비용 절감 기술을 습득하여 기업의 AI 효율성과 애플리케이션 가치를 높이는 데 기여하게 될 것입니다.
생성형 AI가 점점 더 보편화됨에 따라, 이를 생산성 향상을 위한 도구로 여기는 기업이 늘고 있습니다. AI 기술의 지속적인 발전에 따라, 다양한 AI 애플리케이션과 대규모 언어 모델(LLM)을 연결하여 기업의 요구에 맞춰 AI를 맞춤화하는 것이 주요 애플리케이션 트렌드로 부상하고 있습니다.
이러한 트렌드에 부응하여 Leadtek과 NVIDIA Deep Learning Institute(DLI)는 협력하여 “프롬프트 엔지니어링을 활용한 LLM 애플리케이션 구축” 과정을 제공합니다. 이 과정은 해외 강의 경력을 갖춘 NVIDIA DLI 공인 강사인 웨이옌 린(Weiyen Lin) 박사가 진행하며, 프롬프트 엔지니어링의 기본 개념부터 LangChain 활용 방법에 대한 심층적인 이해에 이르기까지 학생들을 알기 쉽게 안내할 예정입니다. 참가자들은 고객 피드백 양식을 자동으로 식별하고 분석할 수 있는 샘플 LLM 애플리케이션을 직접 제작해 보는 실습 경험을 쌓게 됩니다.
LLM의 응답 품질을 높이기 위한 프롬프트 작성 기법에 대해 들어보셨을 것입니다. 예를 들어, 질문을 하기 전에 LLM에게 특정 역할을 부여하는 방식이 있습니다. “당신은 지금 XYZ 회사의 프로젝트 매니저로서 고객 피드백 설문조사를 분석하고 있습니다.” 이와 같은 방식은 LLM이 해당 역할에 부합하는 사고 과정을 따르도록 유도하여, 결과적으로 응답의 전반적인 품질을 향상시킵니다.
프롬프트 엔지니어링 역시 응답 품질을 높이는 것을 목표로 하지만, LLM의 사고 과정을 더 효과적으로 제어하고, 외부 도구를 활용하며, 심지어 출력 형식까지 지정할 수 있는 보다 진보된 방법을 사용합니다. 예를 들어, LLM에게 정의된 절차에 따라 입력 데이터를 단계별로 처리하고, 추론이 완료된 후 JSON 형식의 구조화된 데이터를 생성하도록 지시할 수 있습니다. 이를 통해 후속 처리 및 양식 생성을 용이하게 할 수 있습니다.
실제 사례를 들어보면, LangChain을 활용하면 기업은 고객 피드백 양식을 신속하게 분석하고, 전반적인 감정이 긍정적인지 부정적인지 자동으로 판단하며, 제품 모델 및 유형별로 피드백을 분류할 수 있습니다. 이를 통해 LLM은 사람의 개입 없이 데이터 분석을 수행하고 상세한 피벗 테이블을 생성할 수 있으며, 관리자는 어떤 제품 카테고리가 가장 잘 팔리고 있는지, 해당 카테고리 내의 어떤 특정 모델이 동종 모델에 비해 실적이 저조한지 파악할 수 있어 제품 개선을 위한 근거를 마련할 수 있습니다.
반면, 프롬프트 명령어만 사용하여 LLM으로 데이터 분석을 수행하는 것은 더 쉽지만, 응답 품질의 개선 효과는 제한적입니다. 이는 가격 필드에서 “TWD”, “New Taiwan Dollar”, “$”를 혼용하는 등 응답 문구의 불일치를 초래할 수 있으며, 이로 인해 후속 자동 데이터 분석이 복잡해질 수 있습니다.
동일한 작업에 LangChain을 활용하면 감정 분석의 정확도를 크게 향상시킬 수 있을 뿐만 아니라, 가격 필드의 형식을 일관되게 유지하여 데이터 분석 워크플로우를 훨씬 원활하게 만들 수 있습니다.
LangChain의 주요 특징 중 하나는 ‘조합성'입니다. 개발자는 마치 블록을 쌓듯이 PromptTemplate, LLM, Tool, Memory, Chain, Agent와 같은 구성 요소를 Python에서 유연하게 조합하여 다양한 AI 애플리케이션을 신속하게 구축할 수 있습니다. 이 강좌에서는 ‘사고의 사슬(Chain of Thought, CoT)' 개념과 프롬프트를 활용하여 LLM이 단계별로 추론하여 복잡한 작업을 수행하도록 하는 방법을 소개합니다. LangChain은 또한 ReAct(Reason + Act)와 같은 에이전트(Agent) 프레임워크를 제공하는데, 이를 통해 LLM은 추론 과정에서 단순히 “생각”하는 데 그치지 않고, 웹 검색 수행, 데이터 통합, API 호출, 또는 여러 애플리케이션 운영과 같은 작업을 수행하기 위해 도구를 능동적으로 활용할 수 있습니다. 이러한 설계를 통해 AI는 계획된 단계별 순서를 따라 더 복잡한 작업을 완료할 수 있으며, 이를 통해 에이전트형 AI(Agentic AI)의 기능을 실현합니다.
그러나 'Chain of Thought'가 추론 능력을 향상시킬 수 있는 반면, 계산 과정에서 AI가 사용하는 토큰 수를 크게 증가시켜 클라우드 호스팅 및 API 비용을 상승시킨다는 점을 유의해야 합니다. 따라서 본 과정은 학생들이 토큰의 정의를 이해하고, LangChain을 활용하여 시스템 프롬프트, 사용자 프롬프트, AI 응답을 검토함으로써 토큰 사용량을 간소화하는 데 도움을 줄 것입니다. 마지막으로, 올바른 프롬프트를 사용하여 토큰 소비를 줄이고 불필요한 토큰을 제거함으로써, 24시간 연중무휴 AI 서비스 운영과 관련된 비용을 절감하고 효율성을 높일 수 있으며, 이는 특히 엔터프라이즈 애플리케이션에 있어 매우 중요합니다.
“Building LLM Applications with Prompt Engineering” 과정에서는 NVIDIA DLI에서 제공하는 플랫폼을 통해 수강할 수 있으므로, 노트북만 있으면 참여가 가능해 진입 장벽이 크게 낮아집니다.
이 과정은 기초부터 심화 주제까지 단계적으로 진행되도록 설계되었습니다. 먼저 프롬프트와 프롬프트 엔지니어링을 소개하고 LLM의 작동 원리를 이해하는 것으로 시작합니다. 그 후 LangChain Expression Language(LCEL)를 활용한 실습으로 넘어가, 데이터 일괄 처리, 분석 수행, 생성 작업 실행 방법뿐만 아니라 대화 이력을 유지할 수 있는 챗봇 구축 방법까지 배웁니다. 이 과정을 통해 여러분은 LLM이 다른 애플리케이션으로 전달할 수 있는 지정된 형식의 구조화된 데이터를 출력하도록 만드는 방법을 숙달하게 될 것입니다. 마지막으로, 강사의 안내에 따라 복잡하고 비정형적인 텍스트를 명확하고 체계적인 구조화된 정보로 변환하는 소규모 프로젝트를 수행하며, 자동화된 데이터 분석이 주는 효율성과 성취감을 직접 경험해 볼 수 있습니다.
또한, LLM 애플리케이션으로 더 많은 도전을 원하신다면 “Building RAG Agents with Large Language Models” 과정을 참고하실 수 있습니다. 이 과정에서는 가상 고객 서비스 에이전트를 구축하고 고객 정보를 분석하여 기업이 운영을 간소화하고, 비용을 절감하며, 대규모로 생산성을 높일 수 있도록 돕는 방법을 배울 수 있습니다.
또 다른 과정인 “Rapid Application Development Using Large Language Models”에서는 LLM을 처음부터 구축하는 기초를 다룹니다. 이 과정에는 실습도 포함되어 있어, 강사의 지도 하에 샘플 코드와 데이터셋을 활용하여 미세 조정된 모델을 통해 레이블 분류, 시퀀스 분류, 스팬 예측 등의 작업을 수행하고 챗봇을 설정해 볼 수 있습니다. 실제 시나리오를 통해 애플리케이션을 배포하는 전체 과정을 경험하게 됩니다.
Future
