OpenAI가 자체 개발한 칩의 특징은 무엇인가요?

현재 자체 칩을 개발한 기술 회사가 많이 있습니다. 그렇다면 OpenAI가 자체 개발한 칩이 Google, Amazon 등 기업이 자체 개발한 칩과 다른 점은 무엇일까요?

첫째, OpenAI의 자체 개발 칩은 순전히 자체 모델 훈련 목적을 위한 것입니다. 이는 고객이 클라우드 서버에서 사용할 수 있도록 자체 개발 칩을 제공하는 데 중점을 두는 Google 및 Amazon과 같은 회사의 상용 모델과 다릅니다. 클라우드 서비스 고객을 위해 자체 개발한 칩을 제공하는 Google, Amazon과 같은 회사의 경우 모델의 사용 시나리오가 명확하지 않고 사용되는 소프트웨어 스택이 불확실하며 훈련되는 특정 모델도 불확실합니다. 따라서 칩 설계는 호환성 요구 사항을 충족해야 하며 종종 각 훈련 작업에 대한 효율성과 성능을 희생해야 합니다. 반면 OpenAI가 자체 개발한 칩은 자체 용도로만 사용되며 학습되는 모델은 매우 구체적입니다. 즉, Transformers를 기반으로 하는 대규모 언어 모델입니다. 또한 OpenAI는 사용된 소프트웨어 스택을 완벽하게 제어할 수 있어 고도로 타겟화된 설계를 보장합니다.

두 번째 차이점은 OpenAI의 모델에 대한 깊은 이해에 있습니다. OpenAI는 생성 모델 분야의 선두 기업이며, 현재 GPT 시리즈 모델은 여전히 ​​가장 성능이 좋은 생성 모델입니다. OpenAI는 생성 모델 연구 분야에서 수년간의 경험을 축적했습니다. 이는 생성 모델을 위한 다양한 설계 솔루션에 대해 깊은 이해를 갖고 있음을 의미합니다. 이는 OpenAI가 칩 모델 공동 설계를 수행하고, 칩의 특성에 따라 모델을 설계하고, 모델의 요구 사항에 따라 칩의 설계 지표를 지정할 수 있는 능력과 지식을 가지고 있음을 의미합니다. 여기에는 계산 장치, 스토리지 및 칩 상호 연결 간의 균형을 최적화하는 것이 포함됩니다. 또한 OpenAI는 업계에서 미래 세대 대형 모델에 대한 가장 명시적인 로드맵을 보유하고 있습니다. 즉, 자체 개발한 칩이 준비되는 데 몇 년이 걸리더라도 일단 출시되면 칩이 구식이 될 것을 걱정할 필요가 없습니다. 대량 생산. 이러한 관점에서 볼 때 OpenAI의 자체 개발 칩은 Google 및 Amazon의 칩과 상당히 다르지만 Tesla의 자체 개발 모델 훈련 칩인 Dojo 시리즈와 몇 가지 유사점을 공유합니다. 그러나 OpenAI가 차별화되는 점은 모델 훈련에 대한 수요가 Tesla보다 훨씬 높기 때문에 OpenAI에서 자체 개발 칩의 중요성이 더욱 커진다는 것입니다.

OpenAI의 이러한 고유한 기능은 기존에 없던 목적을 위해 특별히 설계된 고성능 칩을 얻을 수 있는 기회를 제공합니다. 최근 엔비디아는 공식 블로그 게시물을 통해 자사 GPU의 성능 개선 패턴을 분석했다. Nvidia의 GPU 컴퓨팅 성능은 1000년도 안 되어 1000배나 증가했습니다. 분석에 따르면 컴퓨팅 성능이 16배 증가하면 계산 정밀도 최적화(예: 원래의 8비트 부동 소수점 계산 대신 32비트 또는 16비트 부동 소수점 숫자 사용)와 전용 기술이 결합됩니다. 컴퓨팅 모듈은 12.5배의 성능 향상을 달성했습니다. 또한 칩 아키텍처와 컴파일러 간의 협업 최적화를 통해 XNUMX배의 성능 향상을 제공했습니다. 반면, 반도체 기술이 가져온 성능 향상은 두 배에 그쳤다. 따라서 고성능 컴퓨팅 칩 분야에서는 알고리즘과 칩 아키텍처 공동 설계(모델 알고리즘 및 컴파일러 알고리즘 포함)가 성능 향상의 주요 원동력(황의 법칙이라고도 함)이라고 볼 수 있습니다. 이러한 관점에서 OpenAI는 실제로 매우 유리한 위치에 있습니다. OpenAI는 알고리즘에 대한 깊은 이해를 바탕으로 황의 법칙을 완전히 활용하고 향후 몇 년 내에 고성능 컴퓨팅 칩 설계를 달성할 것으로 예상됩니다.

OpenAI 자체 개발 칩의 과제

장점 외에도 OpenAI가 자체 개발한 칩에는 실제로 과제가 있습니다.

대형 모델용으로 설계된 고성능 칩의 주요 과제는 복잡성에 있습니다. 칩 설계 관점에서는 고성능 컴퓨팅 칩 내 연산 단위, 메모리 액세스, 상호 연결성에 대한 세심한 고려가 필요합니다. 예를 들어 대형 모델의 요구 사항을 충족하기 위해 칩이 HBM(고대역폭 메모리)을 활용할 가능성이 높습니다. 높은 에너지 효율과 확장성을 달성하기 위해 첨단 공정 기술과 칩 다이스태킹 기술을 적용해 높은 수율을 달성할 것으로 예상된다. 분산 컴퓨팅은 대규모 모델에 자주 사용되므로 칩 간의 상호 연결이 중요합니다(Nvidia의 NVLINK 및 GPU용 InfiniBand 기술과 유사하며 OpenAI에도 유사한 기술이 필요함). 이러한 각 칩 설계 구성 요소를 구현하려면 숙련된 팀이 필요하며, 이를 함께 통합하려면 전반적인 성능을 보장하기 위한 뛰어난 아키텍처 설계가 필요합니다. 이러한 까다로운 설계를 해결하기 위해 짧은 시간 내에 숙련된 팀을 구성하는 것은 OpenAI의 중요한 과제가 될 것입니다.

칩 설계와 더불어 OpenAI의 또 다른 중요한 과제는 소프트웨어와 하드웨어 간의 시너지 확보, 즉 고성능 컴파일러와 관련 소프트웨어 생태계를 설계하는 것입니다. 현재 Nvidia GPU의 주요 장점 중 하나는 10년 넘게 높은 성능과 호환성을 축적해 온 CUDA 소프트웨어 시스템입니다. OpenAI가 자체 개발한 칩에서는 컴파일러 시스템도 칩의 컴퓨팅 성능을 최대한 활용하기 위해 CUDA와 같은 고성능을 달성해야 합니다. 클라우드 서비스용 칩을 개발하는 다른 기술 회사와 달리 OpenAI의 칩은 주로 내부용이므로 생태계 및 사용자 모델 지원에 대한 우려가 적습니다. 그러나 컴파일러의 성능은 Nvidia의 CUDA에 접근해야 합니다. 실제로 OpenAI는 이미 이 분야에 일찍부터 투자를 했습니다. 올해 7월 OpenAI는 오픈소스 Triton 언어를 기반으로 한 AI 모델 컴파일 솔루션을 발표했습니다. Triton 컴파일러와 LLVM 컴파일러를 사용하여 Python 코드를 중간 표현(IR)으로 컴파일합니다. 그런 다음 PTX 코드로 컴파일하고 PTX를 지원하는 GPU 및 AI 가속기에서 직접 실행할 수 있습니다. 이러한 관점에서 OpenAI의 컴파일러 투자는 자체 개발 칩의 전조 역할을 할 수 있습니다.

마지막으로, 칩의 특정 생산도 문제가 될 것입니다. 앞서 언급했듯이 OpenAI는 고급 프로세스 노드와 고급 패키징 기술을 활용할 가능성이 높습니다. 따라서 생산 중 높은 수율을 보장하고, 더 중요하게는 향후 몇 년 동안 고급 패키징 및 공정 노드의 공급이 부족할 수 있는 상황에서 대량 생산을 위한 충분한 생산 능력을 확보하는 것이 해결해야 할 문제가 될 것입니다.

이러한 세 가지 과제를 고려할 때 OpenAI의 자체 개발 칩 계획에는 여러 단계가 포함될 수 있다고 믿습니다. 첫째, 기술 및 생산 문제가 완전히 해결되기 전에 OpenAI는 Microsoft(Athena라는 자체 칩 계획을 보유한 최대 주주) 및 Nvidia(또는 AMD)와 협력하기로 선택할 수 있습니다. OpenAI는 칩이 지원해야 하는 특정 사양과 일부 지적 재산(IP)을 제공하고 협력 파트너는 칩 설계 및 생산을 처리하는 반맞춤형 칩을 선택할 수 있습니다. 기술 및 생산 문제가 해결되면 OpenAI는 완전 맞춤형 칩에 막대한 투자를 선택하여 최적의 성능과 제어 가능성을 달성할 수 있습니다.