GPT4 의 게으름 문제와 MoE(Mixture of Experts) 전문가 모델

GPT-4 게으름 문제

문제점

챗봇 응답 거부, 성능 저하, 작업 거부 등 정상 작동 불이행함

코드 생성 시 일부만 출력함

발생 시기

• 2023년 여름부터 지속적으로 발생
• 2023년 11월 GPT-4 터보 출시로 일시적 해결
• 2024년 초 재발

원인

모델 분할 방식인 전문가 모델(MoE) 적용으로 성능 저하 가능성

오픈AI의 리소스 집중 부족 가능성

클로드 3

장점

챗봇 아레나 리더보드 1위

GPT-4보다 뛰어난 성능 (벤치마크, 인간 선호도 평가와 같은 챗봇 리더보드)

사용자 반응

GPT-4 대체 모델로 등장했고 긍정적 평가 증가하고 있음

오픈AI 및 전문가 의견

샘 알트먼 CEO, 트위터를 통해 문제 인정 및 수정 발표

오픈AI는 GPT-5 출시 예정임 (2024년 여름)

앨리 밀러 엔젤 투자자, "대부분 사람이 클로드 3 사용" 언급

이던 몰릭 와튼대학교 교수, 클로드 3의 엘비시 언어 해석 능력 언급

전문가 모델(MoE)이란?

전문가 모델(MoE)은 여러 개의 '전문가'라고 불리는 작은 신경망을 결합하여 하나의 큰 모델을 만드는 인공지능 모델 아키텍처입니다. 

각 전문가는 특정 유형의 데이터나 작업에 대한 처리 능력을 갖도록 학습됩니다.

MoE 작동 방식

1. 입력 데이터: 모델에 입력 데이터가 주어집니다.
2. 전문가 선택: 게이팅 네트워크라는 작은 모델이 각 전문가의 적합도를 평가하고 입력 데이터에 가장 적합한 전문가 그룹을 선택합니다.
3. 전문가 수행: 선택된 전문가 그룹은 각자의 전문성을 바탕으로 데이터를 처리하고 결과를 출력합니다.
4. 결과 통합: 마지막으로, '결합기'라는 모듈이 각 전문가의 결과를 종합하여 최종 결과를 출력합니다.

MoE 장점

• 모델 용량 향상: 여러 전문가를 결합하여 단일 모델보다 더 많은 정보를 처리하고 더 복잡한 작업을 수행할 수 있습니다.
• 효율성 증대: 데이터의 특성에 따라 필요한 전문가만 사용하여 계산 효율성을 높일 수 있습니다.
• 모듈화 및 재사용 가능성: 각 전문가는 독립적인 모듈로 구성되어, 다른 모델에 쉽게 적용하거나 재사용할 수 있습니다.

MoE 단점

• 학습 및 추론 과정 복잡화: 여러 전문가를 학습하고 관리해야 하기 때문에 학습 및 추론 과정이 복잡해집니다.
• 전문가 선택 문제: 게이팅 네트워크가 항상 최적의 전문가 그룹을 선택하지 못할 수 있으며, 이는 모델 성능 저하를 초래할 수 있습니다.

MoE 활용 분야

자연어 처리: 기계 번역, 챗봇, 요약, 질의응답

컴퓨터 비전: 이미지 분류, 객체 인식, 영상 분석

음성 인식: 음성 명령 인식, 음성 번역