메타(Meta)는 최근 공개한 오픈 소스 대형 언어모델 라마 3(LLaMa 3)를 통해 AI 업계에 새로운 물결을 일으키고 있습니다. 라마 3는 전작인 라마 2에 비해 성능이 압도적으로 향상되었을 뿐만 아니라, 비용 효율성과 모델 크기 측면에서도 큰 이점을 가지고 있습니다.
라마3 모델
라마 3는 크게 세 가지 모델로 구성되어 있습니다.
- 8억 매개변수 모델 (소형)
- 70억 매개변수 모델 (중형)
- 400억 매개변수 모델 (대형, 현재 훈련 중)
여러 전문 분야의 객관식 문제 풀이 능력을 평가하는 MMLU(Multitask Multilingual) 벤치마크에서 소형 모델은 구글의 PaLM 소형 모델을 능가했습니다. 중형 모델은 Claude-v1.5와 비등한 수준까지 올라왔고, Anthropic의 Claude-3, Google의 PaLM 2등을 압도했습니다.
물리, 화학, 생물 전문 벤치마크와 코딩 능력 평가 벤치마크, 수학 능력 평가 벤치마크에서도 라마 3는 우수한 성능을 보였습니다.
가장 주목할 만한 점은 챗봇 아레나 벤치마크에서 라마 3 70억 모델이 4위를 기록했다는 것입니다. 이 벤치마크는 실제 사용자 입장에서 두 모델의 응답을 비교하는 방식으로 진행됩니다. 1-3위는 GPT 모델이지만, 라마 3는 GPT보다 매개변수 수가 작음에도 불구하고 동급의 성능을 내고 있습니다.
아직 훈련 중인 400억 모델의 벤치마크 결과를 보면, 현재 최신 GPT-4 모델과 차이가 나지 않을 정도로 성능이 뛰어납니다. 이렇게 작은 모델 크기에 비해 엄청난 성능을 내는 라마 3의 효율성이 가장 큰 특징입니다.
추론비용
메타는 라마 3의 추론 비용을 공개했는데, 70억 매개변수 모델 기준으로 100만 토큰 입력에 0.65달러, 출력에 2.75달러의 비용이 든다고 합니다. 이를 GPT-4와 비교해보면 확연한 차이를 보입니다.
GPT-4의 추론 비용(출력 기준)은 100만 토큰 당 23달러로, 라마 3 70억 모델보다 8배 이상 비싼 수준입니다. 물론 라마 3의 400억 모델은 70억 모델보다 2-3배 정도 비용이 더 들 것으로 예상되지만, 그래도 GPT-4보다는 훨씬 저렴할 것으로 보입니다.
이처럼 라마 3는 상대적으로 낮은 추론 비용을 자랑하고 있습니다. 기업 입장에서 AI 모델 선택 시 비용 효율성이 큰 고려 대상이 될 것입니다.
모델 사이즈 : 온디바이스 특화
또한 라마 3는 모델 사이즈가 작고 효율적이어서 온디바이스(on-device) 환경, 즉 인터넷이나 클라우드 연결 없이 기기 자체에서 구동이 가능합니다. 이미 라마 3 8억 모델을 아이폰에서 돌리는 사례도 나왔고, 70억 모델도 고사양 GPU 2개 정도면 구동 가능할 것으로 보입니다.
온디바이스 구동 능력은 보안 측면에서도 큰 이점입니다. 데이터를 클라우드에 전송할 필요가 없어 개인정보 유출 위험이 적습니다.
라마 3는 추론 비용 절감, 온디바이스 구동, 보안성 강화 등의 이점으로 비용 효율성이 매우 뛰어난 모델입니다.
폐쇄형 모델 vs 오픈소스
폐쇄형 모델
대표적인 예: OpenAI의 GPT 시리즈, 안트로픽의 Claude 등
장점:
- 대규모 자본과 연구인력을 투입하여 최고 수준의 성능 구현 가능
- 모델 통제가 용이하여 부작용이나 오용 방지 가능
- 상업적 활용 시 수익 창출 구조 확립 가능
단점:
- 고비용 문제로 인해 중소기업이나 개인 접근성 낮음
- 모델 변형이 제한적이어서 특정 산업/태스크에 특화하기 어려움
- 모델 업데이트 시 기존 시스템 전면 교체 필요
오픈소스 모델
대표적인 예: 메타의 라마, 구글의 PaLM, 스탠퍼드의 AlpacaAA 등
장점:
- 비용 효율성이 높아 광범위한 접근이 가능
- 모델 변형과 특화가 자유로워 다양한 활용 가능
- 로컬 환경 구동으로 보안성과 프라이버시 보장
- 모델 업데이트 시 기존 시스템 일부만 교체 가능
단점:
- 상대적으로 성능이 떨어질 수 있음
- 모델 오용 및 부작용 통제가 어려움
상업화를 위한 별도 전략 필요
현재로서는 폐쇄형 모델이 다소 앞서 있지만, 오픈소스 진영이 빠르게 따라오고 있습니다. 구글 개발자들 사이에서도 장기적으로 오픈소스 모델이 승자가 될 것이라는 의견이 많습니다.
메타는 라마 3를 오픈소스화하여 생태계를 선점하려 하고 있으며, 오픈소스의 장점을 최대한 활용하여 AI 시장을 주도해 나갈 것으로 보입니다.
