개요
대규모 언어 모델(Large Language Model, LLM)은 대규모 텍스트 데이터와 많은 수의 모델 파라미터를 바탕으로 언어의 통계적·구조적 패턴을 학습하는 신경망 언어 모델을 가리키는 넓은 표현이다. 현대 LLM의 상당수는 Transformer 계열 구조를 사용하지만, LLM이라는 말 자체가 특정 아키텍처 하나를 뜻하는 것은 아니다.[1]
어떻게 학습되는가
LLM은 먼저 많은 텍스트에서 일반적인 언어 패턴을 익히는 사전학습을 거친다. GPT 계열처럼 자동회귀 방식의 모델은 앞선 토큰을 조건으로 다음 토큰을 예측하는 목표를 사용한다. 이후 모델에 따라 지시 데이터, 사람의 선호 데이터, 도메인 데이터 등을 이용한 추가 학습이 붙을 수 있다. 따라서 같은 'LLM' 범주라도 학습 데이터, 모델 구조, 추가 학습 방식에 따라 행동 특성이 달라진다.
프롬프트와 인컨텍스트 학습
GPT-3 연구에서는 모델의 가중치를 다시 바꾸지 않고도 프롬프트에 지시나 예시를 제공해 여러 과제를 수행하게 하는 zero-shot·one-shot·few-shot 방식을 체계적으로 평가했다.[2] 이런 인컨텍스트 학습은 사용자가 모델을 별도로 재학습하지 않고도 입력 문맥만으로 행동을 유도할 수 있다는 점에서 현대 LLM 활용의 중요한 특징이 됐다.
무엇을 잘하고 무엇을 주의해야 하나
LLM은 요약, 분류, 질의응답, 초안 작성, 코드 생성처럼 언어 패턴을 활용하는 다양한 작업에 적용될 수 있다. 다만 모델의 출력은 외부 데이터베이스에서 정답을 조회한 결과가 아니라 학습된 패턴에 따라 생성된 결과다. 모델 규모가 크다는 사실만으로 정확성·최신성·안전성이 자동으로 보장되는 것도 아니다. 중요한 사실 판단에는 출처 확인과 별도의 검증 절차가 필요하다.
관련 개념
GPT는 대표적인 LLM 계열이고, ChatGPT는 이런 모델을 사용자가 대화 형식으로 이용하게 하는 제품이다. LLM이 넓은 범주의 모델 개념이라면, 특정 모델 계열과 실제 서비스는 구분해서 보는 것이 좋다.
사례: 같은 모델로 분류와 초안 작성하기
다음은 ORBiS Tree가 만든 가상 사례다. '배송이 늦어요'라는 고객 문장을 보고 '배송'이라는 분류를 출력하는 일과, 사과와 확인 절차를 포함한 안내문을 작성하는 일은 출력의 목적이 다르다. LLM에 요청할 때도 분류 기준과 안내문 형식을 각각 지정해야 한다. 프롬프트 안의 지시와 예시로 과제를 설명하는 방식은 인컨텍스트 학습의 활용과 연결된다.[2]
모델·서비스·도구를 구분하기
- LLM: 언어 입력을 처리하고 언어 표현이나 생성 결과를 계산하는 모델 범주다.
- ChatGPT 같은 서비스: 모델에 대화 화면, 파일 처리, 검색 등 제품 기능을 결합해 제공할 수 있다. 실제 지원 기능은 서비스와 시점별로 확인해야 한다.
- 검색 도구: 필요한 외부 자료를 찾아 모델에 전달하는 역할이다. 모델이 문장을 생성하는 일과 자료를 조회하는 일은 다르다.
- 에이전트: 목표를 위해 도구 사용과 다음 행동 선택을 반복하도록 구성한 시스템이다. 같은 LLM을 쓰더라도 도구 권한과 처리 과정에 따라 결과가 달라진다.
어떤 문제에는 다른 도구가 더 맞는가
정확한 주문 금액의 합계처럼 결정된 규칙으로 계산할 수 있는 작업은 계산기나 데이터베이스에서 처리하고, LLM은 결과를 설명하는 역할을 맡길 수 있다. 매번 같은 판정 규칙이 필요한 작업에는 규칙 기반 처리와 비교해 보는 것이 좋다. 최신 제품 설명이나 내부 자료가 필요한 질문에는 외부 근거 조회가 중요하다.[3] 모든 단계를 모델의 자유로운 문장 생성으로 처리할 이유는 없다.
평가 질문을 만드는 방법
가상의 고객 응대 도구라면 정상 질문뿐 아니라 상품명이 비슷한 질문, 원문에 답이 없는 질문, 서로 충돌하는 자료가 있는 질문을 따로 준비할 수 있다. 보기 좋은 문장과 사실 정확도, 형식 준수, 응답 지연을 각각 기록한다. 공개 벤치마크가 높은 모델이라도 실제 자료와 질문에서 같은 장점을 보이는지 확인해야 한다.
모델 규모만으로 판단하기 어려운 이유
서비스의 결과에는 모델뿐 아니라 시스템 지시, 검색 자료, 출력 제한, 후처리와 운영 조건이 영향을 준다. 비용을 비교할 때도 한 번의 모델 호출 가격보다 성공한 작업 하나를 처리하는 데 든 호출 수와 검토 시간을 함께 보는 것이 유용하다. 수치가 공개되지 않은 항목은 장점으로 추정하기보다 비교할 수 없는 정보로 남겨 두는 편이 정확하다.
확률 계산 예제: 생성 가능성과 사실 정확도
자동회귀 모델에서 가상 첫 토큰의 조건부 확률이 0.5이고 그 토큰 뒤 두 번째의 확률이 0.25라면 두 토큰 열의 확률은 0.5×0.25 = 0.125다. 이 예제에서 토큰당 평균 음의 자연로그 확률은 -(ln(0.5) + ln(0.25))/2이고, 그 지수로 정의한 perplexity는 √8 = 약 2.83이다. 실제 모델 점수나 서비스 정답률이 아닌 계산 예제다.
다음 토큰의 가능성이 높다는 사실과 문장 내용이 참이라는 사실은 다르다. 토크나이저·자료 분포·문장 길이·평가 규칙을 고정하지 않은 perplexity를 직접 비교하지 않는다. 토큰 분할과 사실 근거를 구분하고, 보기 자연스러운 문장을 자동으로 검증된 답으로 승인하지 않는다.
문맥 예시와 가중치 학습을 분리하는 실험
GPT-3 연구 ↗는 추가 가중치 학습 없이 프롬프트의 예시로 여러 과제를 평가했다.[2] 가상 문의 분류에 '배송지 변경 → 배송', '환불 요청 → 반품'을 넣는 것은 그 입력의 과제를 설명하는 것이다. '환불을 요청한 것은 아니다'처럼 부정이 있는 질문은 단어 포함만으로 판정하지 않도록 라벨 기준과 예외를 명시한다.
모델·질문 세트를 고정해 예시 없음·예시 있음의 결과를 비교하고, 예시 선택에 쓴 질문을 별도 최종 평가로 재사용하지 않는다. 프롬프트만 바꾼 실험과 가중치를 바꾼 학습은 다른 개입이다. 서비스의 저장·검색도 별도 기능이므로 대화에 정보를 적었다는 사실만으로 영구 학습됐다고 가정하지 않는다.
계산 예제: 형식 90%와 사실성 85%의 교집합
다음은 가상 20개 답변의 평가다. JSON 형식이 맞는 답은 18개, 사실이 맞는 답은 17개, 두 기준을 모두 만족하는 답은 15개다. 형식 준수는 90%, 사실성은 85%, 두 기준을 동시에 만족하는 성공은 75%다. 형식만 맞는 3개와 사실만 맞는 2개를 구분해야 실패의 원인을 볼 수 있다.
실제 작업에는 필수 필드·자료형·단위·근거·허용 행동을 기준으로 정하고 각각 검사한다. JSON이 파싱된다는 사실이 저장이나 도구 실행의 권한을 부여하지 않는다. 질문 ID로 결과를 연결하고 다른 품질 지표와 업무 완료를 함께 기록한다. 위 점수는 제품 비교나 보편적 합격 기준이 아니다.
계산·검색·설명의 역할을 나누는 사례
가상의 세 항목 금액 12,000원·7,500원·4,500원의 합계는 규칙 계산으로 24,000원이다. 계산기나 검증된 코드로 수치를 확정하고 모델은 어떤 항목을 합쳤는지 설명하게 할 수 있다. 최신 규정은 해당 버전의 자료를 찾고 적용 범위와 예외를 확인해야 한다. 계산에 맞는 도구와 사실 조회에 맞는 도구는 목적이 다르다.
RAG 원 연구 ↗는 검색 자료와 생성 모델을 결합한 접근을 평가했다.[3] 검색 결과가 없거나 서로 충돌하면 답을 만들어 채우는 대신 미확인 상태와 필요한 자료를 남긴다. 근거의 시점·출처와 실제 검색·도구 구성을 연결하면 모델의 언어 능력과 서비스 전체의 성공을 구분할 수 있다.