Mistral AI

Mistral AI는 언어·멀티모달·코딩·음성 등 여러 과제의 모델과 추론 서비스를 제공하는 AI 기업이다. 공식 모델 문서는 공개 가중치 모델과 상용 제공 모델을 함께 안내한다.^[1] 기업 이름, 특정 모델 이름과 호스팅 서비스의 기능은 각각 구분해서 읽어야 한다.

가중치를 내려받을 수 있다는 사실은 모델을 모든 목적에 제한 없이 사용할 수 있다는 뜻이 아니다. 공식 목록에는 모델마다 다른 라이선스가 표시되며, 제공 방식과 사용 조건도 다를 수 있다.^[1] 'Mistral은 전부 오픈소스다'처럼 기업 전체에 하나의 조건을 적용하기보다 선택한 모델의 가중치·코드·사용 약관을 확인한다.

먼저 모델이 처리하는 입력과 출력, 과제 범위를 확인한다. 그다음 모델 식별자와 버전, 제공 경로, 라이선스와 지원 상태를 본다. 공식 추론 문서는 모델 선택과 서비스 인터페이스를 확인하는 출발점이다.^[2] 오래된 예제 코드에 등장하는 이름이 현재 이용 가능한 모델인지도 별도로 확인해야 한다.

직접 운영에서는 GPU 메모리, 배치, 지연, 장애 대응과 업데이트가 필요하다. 호스팅 서비스에서는 요청 한도, 자료 처리 조건, 요금과 버전 변경을 확인한다. 어느 방식이 더 유리한지는 같은 품질·업무량에서 비교해야 하며, 공개 가중치라는 이유만으로 운영 비용이 사라지지는 않는다. Inference와 Quantization은 운영과 메모리 조건의 배경 문서다.

다음은 가상 사례다. 두 모델로 같은 한국어 문서에서 날짜·기관명·금액을 추출한다고 하자. 실제 질문과 문서 형식을 고정하고 필드별 정확도, 원문 근거, 형식 오류와 처리 시간을 기록한다. 문서에 없는 필드를 꾸며낸 경우도 별도로 센다. 평균 점수만 보면 중요한 금액 오류나 특정 문서 형식의 실패를 놓칠 수 있다.

모델 식별자, 자료 버전, 지시문, 생성 설정과 실행 환경을 함께 남긴다. 모델·인터페이스·라이선스는 바뀔 수 있으므로 설치와 도입 시 연결된 공식 자료의 현재 조건을 확인한다. Model Card는 평가 범위를 읽는 배경, Sovereign AI는 운영 통제와 외부 의존성을 따로 비교하는 연결 문서다.

Mistral 모델 목록 ↗에서 과제와 제공 방식, 모델별 라이선스를 확인할 수 있다.^[1] 도입 기록에는 모델 식별자·버전, 가중치 파일과 토크나이저, 호스팅 API 사용 여부를 따로 적는다. 기업 이름이 같은 두 모델이라도 입력·출력 범위와 사용 조건이 같다고 가정하지 않는다.

추론 안내 ↗는 제공 인터페이스를 확인하는 출발점이다.^[2] 오래된 코드 예제의 모델 ID와 현재 목록을 대조한다. '공개 가중치'와 '제한 없는 상업적 이용', '소스 코드 공개'는 서로 다른 주장이다. 라이선스 문서의 실제 조건을 확인하고 본 문서의 예제를 사용 권한의 보증으로 읽지 않는다.

다음은 Mistral의 특정 모델 사양이 아닌 가상 모델이다. 파라미터 40억 개를 각각 2바이트로 저장하면 가중치만 80억 바이트이며 약 7.45GiB다. 0.5바이트로 저장한다고 단순 계산하면 20억 바이트지만, 양자화 메타데이터·KV 캐시·활성값·실행 엔진의 여유 메모리는 빠져 있다. 장치 메모리가 그 숫자보다 조금 크다고 바로 실행 가능하다고 판단할 수 없다.

양자화는 정밀도·메모리·실행 환경과 관련되며 과제의 정확도 변화도 확인한다. 가중치가 메모리에 들어가는 문제와 여러 요청을 목표 지연으로 처리하는 문제는 다르다. 가속기 환경과 추론 운영을 함께 비교한다.

가상의 20개 문서에서 날짜·기관명·금액을 추출하면 60개 필드가 평가 대상이다. 57개가 맞아 95%라고 해도 틀린 3개가 모두 중요한 금액이라면 평균만으로 도입을 판단하기 어렵다. 필드별 오류, 문서 형식별 실패와 원문에 없는 필드를 만들어 낸 경우를 별도로 센다. 숫자는 설명용이며 제품 성능을 주장하지 않는다.

같은 문서·지시·정답 기준으로 모델을 비교하고, JSON 형식의 유효성과 필드 값의 정확성을 나눈다. 문서가 바뀌거나 토크나이저·모델 버전이 바뀌면 이전 점수를 그대로 재사용하지 않는다. 근거 없는 값의 처리를 포함해 평가한다.

자체 운영에는 장치·엔진·배치·자료 준비·업데이트를, 호스팅에는 모델 ID·요청 조건·자료 처리 조건·실패 대응을 기록한다. 모델 카드의 평가 범위와 운영 통제를 연결하면 브랜드 비교보다 실제 업무의 선택 조건을 분명하게 만들 수 있다. 가장 작은 비용의 호출보다 필요한 품질로 완료한 작업의 전체 비용을 비교한다.