Những tính năng độc đáo của chip tự phát triển của OpenAI là gì?

Hiện nay có rất nhiều hãng công nghệ đã phát triển chip của riêng mình. Vậy điều gì khiến chip tự phát triển của OpenAI khác với chip tự phát triển của các công ty như Google và Amazon?

Thứ nhất, chip tự phát triển của OpenAI hoàn toàn phục vụ mục đích đào tạo mô hình của riêng họ, khác với mô hình thương mại của các công ty như Google và Amazon là tập trung cung cấp chip tự phát triển để khách hàng sử dụng trên máy chủ đám mây. Đối với các công ty như Google và Amazon, những công ty cung cấp chip tự phát triển cho khách hàng dịch vụ đám mây, kịch bản sử dụng của các mô hình không rõ ràng, ngăn xếp phần mềm được sử dụng không chắc chắn và các mô hình cụ thể đang được đào tạo cũng không chắc chắn. Vì vậy, thiết kế chip của họ cần phải đáp ứng yêu cầu về khả năng tương thích, thường phải hy sinh tính hiệu quả và hiệu suất cho từng nhiệm vụ huấn luyện. Mặt khác, các chip tự phát triển của OpenAI chỉ phục vụ mục đích sử dụng của riêng họ và các mô hình được đào tạo rất cụ thể: các mô hình ngôn ngữ lớn dựa trên Transformers. OpenAI cũng có toàn quyền kiểm soát ngăn xếp phần mềm được sử dụng, đảm bảo thiết kế được nhắm mục tiêu cao.

Điểm khác biệt thứ hai nằm ở sự hiểu biết sâu sắc của OpenAI về các mô hình. OpenAI là công ty hàng đầu trong lĩnh vực thế hệ mô hình và hiện tại, các mô hình dòng GPT vẫn là những mô hình thế hệ hoạt động tốt nhất. OpenAI đã tích lũy nhiều năm kinh nghiệm trong nghiên cứu mô hình tổng quát, điều đó có nghĩa là họ có hiểu biết sâu sắc về các giải pháp thiết kế khác nhau cho các mô hình tổng quát. Điều này ngụ ý rằng OpenAI có khả năng và kiến ​​thức để thực hiện đồng thiết kế mô hình chip, thiết kế các mô hình theo đặc điểm của chip và chỉ định các số liệu thiết kế của chip dựa trên yêu cầu của mô hình. Điều này bao gồm việc tối ưu hóa sự cân bằng giữa các đơn vị tính toán, bộ lưu trữ và kết nối chip. Hơn nữa, OpenAI có lộ trình rõ ràng nhất cho các mô hình lớn trong tương lai trong ngành, điều đó có nghĩa là ngay cả khi phải mất vài năm để các chip tự phát triển sẵn sàng, bạn cũng không cần phải lo lắng về việc chip sẽ lỗi thời khi chúng đã sẵn sàng. sản xuất hàng loạt. Từ góc độ này, các chip tự phát triển của OpenAI khá khác biệt so với của Google và Amazon, nhưng chúng có một số điểm tương đồng với loạt chip đào tạo mô hình tự phát triển Dojo của Tesla. Tuy nhiên, điều khiến OpenAI trở nên khác biệt là nhu cầu đào tạo người mẫu của họ rõ ràng cao hơn nhiều so với Tesla, khiến tầm quan trọng của chip tự phát triển càng lớn hơn đối với OpenAI.

Những tính năng độc đáo này của OpenAI mang đến cho nó cơ hội đạt được những con chip hiệu suất cao được thiết kế đặc biệt cho các mục đích độc đáo. Gần đây, Nvidia đã phân tích mô hình cải thiện hiệu suất của GPU của mình trong một bài đăng trên blog chính thức. Sức mạnh tính toán GPU của Nvidia đã tăng gấp 1000 lần trong vòng chưa đầy một thập kỷ. Theo phân tích, trong khả năng tính toán tăng gấp 1000 lần này, việc tối ưu hóa độ chính xác tính toán (chẳng hạn như sử dụng số dấu phẩy động 16 bit hoặc thậm chí 8 bit thay vì phép tính dấu phẩy động 32 bit ban đầu) kết hợp với mô-đun điện toán đã cải thiện hiệu suất gấp 16 lần. Ngoài ra, việc tối ưu hóa hợp tác giữa kiến ​​trúc chip và trình biên dịch đã mang lại sự cải thiện hiệu suất gấp 12.5 lần. Mặt khác, sự cải thiện hiệu suất do công nghệ bán dẫn mang lại chỉ gấp đôi. Do đó, có thể thấy rằng trong lĩnh vực chip điện toán hiệu năng cao, thuật toán và kiến ​​trúc chip đồng thiết kế (bao gồm cả thuật toán mô hình và thuật toán trình biên dịch) là động lực chính để cải thiện hiệu suất (còn được gọi là Định luật Huang). Từ góc độ này, OpenAI thực sự đang ở một vị trí rất thuận lợi. Với sự hiểu biết sâu sắc về các thuật toán, OpenAI dự kiến ​​sẽ tận dụng tối đa Định luật Huang và đạt được các thiết kế chip điện toán hiệu suất cao trong vài năm tới.

Những thách thức của chip tự phát triển của OpenAI

Ngoài những lợi thế, thực sự còn có những thách thức đối với những con chip tự phát triển của OpenAI.

Thách thức chính của chip hiệu suất cao, vốn được thiết kế cho các mẫu máy lớn, nằm ở độ phức tạp của chúng. Từ góc độ thiết kế chip, cần phải xem xét cẩn thận đối với các đơn vị tính toán, quyền truy cập bộ nhớ và khả năng kết nối bên trong chip điện toán hiệu năng cao. Ví dụ, để đáp ứng yêu cầu của các dòng máy lớn, rất có thể chip sẽ sử dụng HBM (Bộ nhớ băng thông cao). Để đạt được hiệu suất năng lượng cao và khả năng mở rộng, các công nghệ xử lý tiên tiến và kỹ thuật xếp khuôn chip dự kiến ​​sẽ được sử dụng để đạt năng suất cao. Điện toán phân tán thường được sử dụng cho các mô hình lớn, khiến khả năng kết nối giữa các chip trở nên quan trọng (tương tự như công nghệ NVLINK và InfiniBand của Nvidia dành cho GPU, OpenAI cũng sẽ yêu cầu các công nghệ tương tự). Mỗi thành phần thiết kế chip này đòi hỏi một đội ngũ giàu kinh nghiệm để triển khai và việc tích hợp chúng lại với nhau đòi hỏi phải có thiết kế kiến ​​trúc xuất sắc để đảm bảo hiệu suất tổng thể. Xây dựng một đội ngũ giàu kinh nghiệm trong thời gian ngắn để giải quyết những thiết kế đầy thách thức này sẽ là một thách thức quan trọng đối với OpenAI.

Ngoài thiết kế chip, một thách thức đáng kể khác đối với OpenAI là đảm bảo sức mạnh tổng hợp giữa phần mềm và phần cứng, hay nói cách khác là thiết kế trình biên dịch hiệu suất cao và hệ sinh thái phần mềm liên quan. Hiện tại, một lợi thế chính của GPU Nvidia là hệ thống phần mềm CUDA, hệ thống này đã tích lũy được hiệu suất và khả năng tương thích cao trong hơn một thập kỷ. Ở chip tự phát triển của OpenAI, hệ thống biên dịch cũng cần đạt hiệu năng cao như CUDA để tận dụng tối đa sức mạnh tính toán của chip. Không giống như các công ty công nghệ khác phát triển chip cho dịch vụ đám mây, chip của OpenAI chủ yếu dành cho sử dụng nội bộ nên ít lo ngại hơn về hệ sinh thái và hỗ trợ mô hình người dùng. Tuy nhiên, hiệu suất của trình biên dịch cần phải đạt tới hiệu suất của CUDA của Nvidia. Trên thực tế, OpenAI đã đầu tư vào lĩnh vực này trước đó. Vào tháng 7 năm nay, OpenAI đã công bố giải pháp biên dịch mô hình AI dựa trên ngôn ngữ Triton nguồn mở. Nó biên dịch mã Python thành biểu diễn trung gian (IR) bằng trình biên dịch Triton và trình biên dịch LLVM, sau đó có thể được biên dịch thành mã PTX và chạy trực tiếp trên GPU và bộ tăng tốc AI hỗ trợ PTX. Từ góc độ này, khoản đầu tư của OpenAI vào trình biên dịch có thể đóng vai trò là tiền thân cho các chip tự phát triển của OpenAI.

Cuối cùng, việc sản xuất chip cụ thể cũng sẽ đặt ra một thách thức. Như đã đề cập trước đó, OpenAI có khả năng sử dụng các nút quy trình tiên tiến và công nghệ đóng gói tiên tiến. Do đó, việc đảm bảo năng suất cao trong quá trình sản xuất và quan trọng hơn là có đủ năng lực sản xuất để sản xuất hàng loạt trong bối cảnh nguồn cung các nút quy trình và đóng gói tiên tiến có khả năng bị thắt chặt trong những năm tới sẽ là một vấn đề cần được giải quyết.

Xem xét ba thách thức này, chúng tôi tin rằng kế hoạch chip tự phát triển của OpenAI có thể bao gồm nhiều bước. Thứ nhất, trước khi các vấn đề kỹ thuật và sản xuất được giải quyết triệt để, OpenAI có thể chọn hợp tác với Microsoft (cổ đông lớn nhất của nó, cũng có gói chip riêng mang tên Athena) và Nvidia (hoặc AMD). Họ có thể lựa chọn chip bán tùy chỉnh, trong đó OpenAI cung cấp một số thông số kỹ thuật nhất định và thậm chí một số tài sản trí tuệ (IP) mà chip cần hỗ trợ, trong khi các đối tác hợp tác xử lý việc thiết kế và sản xuất chip. Sau khi các vấn đề về kỹ thuật và sản xuất được giải quyết, OpenAI có thể chọn đầu tư mạnh vào các chip được tùy chỉnh hoàn toàn, đạt được hiệu suất và khả năng kiểm soát tối ưu.