딥러닝 혁신: ServiceNow의 Apriel-5B 언어 모델
최근 인공지능(AI) 분야에서 자원의 효율성이 중요한 초점으로 떠오르고 있습니다. 대규모 언어 모델(LLMs)의 발전과 이에 따른 기술적 제약을 해결하기 위해, ServiceNow AI는 Apriel-5B라는 소형 언어 모델을 출시하였습니다. 이 모델은 기존의 대형 모델들에 비해 상대적으로 적은 자원으로도 효율적인 성능을 제공하는 것을 목표로 하고 있습니다.
작은 언어 모델의 필요성과 진화
AI 분야에서 언어 모델의 필요성은 날로 증가하고 있으며, 그에 따라 모델의 규모와 복잡성이 급증하고 있습니다. 그러나 대규모 모델은 종종 기업이나 연구 기관이 쉽게 사용할 수 없는 높은 인프라 요구 사항과 운영 비용을 가지고 있습니다. 이러한 점에서 소형 언어 모델(SLMs)은 적은 메모리와 계산 자원으로도 유용한 성능을 제공할 수 있는 대안으로 여겨지고 있습니다.
그러나 대부분의 SLM들은 다양한 작업에서 일관된 결과를 제공하는 데 어려움을 겪고 있으며, 일반화 능력이나 사용성에 있어 trade-off가 발생하는 경우가 많습니다. 이러한 문제를 해결하기 위해, ServiceNow는 Apriel-5B를 설계하여 여러 요구 사항을 동시에 충족할 수 있는 모델을 내놓았습니다.
Apriel-5B의 설계 및 특징
Apriel-5B는 4.8억 개의 파라미터를 갖고 있으며, 이러한 수치는 적당한 하드웨어에서 배포 가능하도록 최적화되어 있습니다. 모델의 주요 특징으로는 높은 추론 처리량, 훈련 효율성 및 다중 도메인 대응력이 있습니다. 이러한 특성 덕분에 Apriel-5B는 다양한 지시를 수행할 수 있는 능력을 갖추고 있습니다.
Apriel-5B는 두 가지 버전으로 제공됩니다:
- Apriel-5B-Base: 사전 훈련된 기본 모델로, 추가 조정이나 파이프라인 통합을 위해 설계되었습니다.
- Apriel-5B-Instruct: 지시 조정 버전으로, 대화, 추론 및 작업 완료를 위한 최적화가 이루어졌습니다.
핵심 기술적 혁신
Apriel-5B는 4.5조 개 이상의 토큰으로 훈련되었으며, 모델의 아키텍처는 다양한 작업 범주를 아우르는 데이터셋으로 구성되어 있습니다. 여기에는 자연어 이해, 추론 및 다국어 지원 능력이 포함됩니다. 모델의 주요 기술적 특징으로는 다음과 같은 요소들이 있습니다:
- 회전 위치 임베딩(RoPE): 8,192 토큰의 컨텍스트 창을 지원하여 긴 시퀀스 작업을 가능하게 합니다.
- FlashAttention-2: 빠른 주의 계산과 향상된 메모리 활용을 지원합니다.
- 그룹 쿼리 주의(GQA): 자가 회귀 디코딩 중 메모리 오버헤드를 줄입니다.
- BFloat16으로 훈련: 현대 가속기와의 호환성을 제공하면서도 수치 안정성을 유지합니다.
성능 평가 및 벤치마크 결과
Apriel-5B-Instruct 모델은 여러 유명 공개 모델들, 예를 들어 Meta의 LLaMA 3.1–8B, Allen AI의 OLMo-2–7B 및 Mistral-Nemo-12B와 비교하여 평가되었습니다. 이러한 벤치마크에서 Apriel 모델은 다음과 같은 결과를 보였습니다:
- 일반 작업에서 평균적으로 OLMo-2–7B-Instruct 및 Mistral-Nemo-12B-Instruct보다 뛰어난 성능을 보였습니다.
- 수학 중심의 작업 및 지시 일관성 평가에서 LLaMA-3.1–8B-Instruct보다 우수한 결과를 기록했습니다.
- OLMo-2–7B보다 2.3배 적은 GPU 시간을 요구하여 훈련 효율성을 강조했습니다.
이 결과들은 Apriel-5B가 가벼운 배포와 작업 다재다능성 사이에서 효과적인 중간점을 찾았음을 시사합니다. 특히 실시간 성능과 제한된 자원이 중요한 고려 요소인 분야에서 유용하게 활용될 수 있습니다.
결론: 접근 가능한 모델 생태계의 실질적인 추가
ServiceNow의 Apriel-5B는 소형 모델 설계에 대한 신중한 접근을 나타냅니다. 이 모델은 대규모가 아닌 균형과 효율성을 중시하며, 실용적인 AI 구현에 적합하게 만들어졌습니다. 수학과 추론 벤치마크에서의 뛰어난 성능, 오픈 라이센스 및 효율적인 컴퓨팅 프로필은 팀들이 AI 기능을 제품, 에이전트 또는 워크플로우에 통합하는 데 있어 매력적인 선택이 됩니다. 이는 점점 접근성과 실용성이 중요해지는 이 분야에서 중요한 진전을 나타내는 사례가 됩니다.
자세한 내용은 ServiceNow AI의 Apriel-5B-Base [https://huggingface.co/ServiceNow-AI/Apriel-5B-Base] 및 Apriel-5B-Instruct [https://huggingface.co/ServiceNow-AI/Apriel-5B-Instruct]를 확인해보시기 바랍니다.