IT之家 7월 31일 소식, 애플이 최신 발표 논문 [PDF]을 통해 Apple Intelligence 모델에 대한 세부 정보를 공유했으며, 일부 성능은 OpenAI의 GPT-4를 초과했습니다.

모델 소개

애플은 논문에서 Apple Foundation Model(이하 AFM) 모델을 소개하며, 다음 두 가지 모델을 포함하고 있습니다:

• AFM-on-device: 로컬 실행, 30억 개의 파라미터를 보유하여 iPhone, iPad 등 장치에서 효율적으로 실행됩니다;

• AFM-server: 애플은 아직 파라미터 등의 세부 정보를 공개하지 않았습니다.

훈련 데이터 출처

애플은 훈련 데이터 세트가 출판사로부터 라이센스를 얻은 데이터, 구성된 공개 또는 오픈소스 데이터 세트, 그리고 우리의 웹 크롤러인 Applebot이 수집한 공개 정보로 구성되어 있다고 밝혔습니다.

애플은 사용자 개인정보 보호에 중점을 두며, 데이터 혼합물에는 애플 사용자들의 개인 정보가 포함되지 않는다고 강조했습니다.

《뉴욕 타임스》의 보도에 따르면, 애플은 2023년 말 NBC, Condé Nast 및 IAC 등 여러 출판사와 모델 훈련을 위한 가치 5000만 달러 이상의 다년 계약을 체결했습니다.

애플의 AFM 모델은 또한 GitHub에서 호스팅되는 오픈소스 코드에 대해 훈련이 이루어졌으며, 특히 Swift, Python, C, Objective-C, C++, JavaScript, Java 및 Go 코드에 대해 진행되었습니다.

논문에 따르면, AFM 모델의 수학 능력을 향상시키기 위해 애플은 훈련 세트에 웹사이트, 수학 포럼, 블로그, 튜토리얼 및 세미나에서 온 수학 문제와 답안을 추가했습니다.

애플은 고품질의 공개적으로 이용 가능한 데이터 세트를 활용했으며(논문에서 이름은 언급되지 않음), 이 데이터 세트는 "모델 훈련에 사용할 수 있는 라이센스를 가진 데이터"로 필터링되어 민감한 정보가 제거되었습니다.

AFM 모델의 훈련 데이터 세트는 약 63조 개의 토큰(token, 생성적 인공지능 모델이 흡수하기 쉬운 데이터의 작은 조각)을 포함합니다. 이는 Meta가 자사의 플래그십 텍스트 생성 모델 Llama 3.1 405B 훈련에 사용한 토큰의 수(150조)의 절반에도 미치지 않습니다.

훈련 하드웨어

논문에 따르면, 애플은 AFM-server 모델 훈련을 위해 8192개의 TPUv4 칩을 사용하였고, 2048개의 TPUv5p 칩으로 AFM-on-device 모델을 훈련시켰습니다.

각 v5p 포드는 8960개의 칩으로 구성되며, 초당 부동소수점 연산(FLOPS) 및 메모리는 TPU v4의 두 배, 세 배에 해당하고, 모델 훈련 속도는 거의 세 배 빨라졌습니다.

모델 성능

논문에 따르면, 애플 자사의 대형 모델은 지시 준수 및 텍스트 요약 성능에서 GPT-4를 초과하였습니다.

애플의 데이터에 따르면, AFM-server의 유해 출력 위반률은 6.3%로, 이는 GPT-4의 28.8%보다 현저히 낮습니다. 마찬가지로, 장치에서 AFM의 7.5% 위반률은 Llama-3-8B(페이스북 모회사 Meta에서 훈련) 21.8%보다 낮습니다.

이메일, 정보 및 공지 요약을 측면에서 장치의 AFM 만족도는 각각 71.3%, 63%, 74.9%입니다. 연구 논문은 이러한 세 모델이 각각 Llama, Gemma 및 Phi-3 모델보다 우수하다고 언급했습니다. IT집에 관련 성능 결과가 첨부되어 있습니다:

관련 기사:

• 《국외 모델에 한정: 애플 iPhone 15 Pro 및 Pro Max 사용자는 Apple Intelligence에 접근 가능》

• 《애플: 과거 구글 하드웨어를 사용하여 Apple Intelligence 모델 훈련》

• 《애플 AI 버전 iOS 첫날 폭발적 인기: 채팅이 순식간에 고감성으로 변하여, 대형 모델이 최강의 대변자로, Siri가 화려하게 변신》

출처: https://www.ithome.com/0/785/266.htm

위의 내용은 AI로 번역하여 일부 고유 명사/회사명/브랜드 혹은 특정 지역을 잘못 표기할 수 있습니다. 정확한 내용은 출처를 통해 확인하세요.