Gần đây, Reuters đưa tin OpenAI đang xem xét việc tự phát triển chip. Theo báo cáo, kể từ năm ngoái, OpenAI đã tích cực tìm kiếm giải pháp cho tình trạng thiếu chip đào tạo cho các mô hình trí tuệ nhân tạo (cụ thể là sự khan hiếm của GPU Nvidia). Hiện tại, OpenAI đang tích cực chuẩn bị các chip tự phát triển nhằm đáp ứng nhu cầu về chip AI trong tương lai. Trên thực tế, cách đây không lâu, CEO OpenAI, Sam Altman, đã công khai thừa nhận tác động đáng kể của việc thiếu GPU Nvidia đối với OpenAI và toàn bộ ngành AI. Ngoài ra, bắt đầu từ năm nay, OpenAI đã tuyển dụng nhân tài trong các lĩnh vực liên quan đến phần cứng, với một số vị trí liên quan đến đồng thiết kế phần mềm-phần cứng được quảng cáo trên trang web chính thức của họ. Hơn nữa, vào tháng 9 năm nay, OpenAI còn tuyển dụng Andrew Tulloch, một chuyên gia nổi tiếng trong lĩnh vực biên dịch AI, càng cho thấy sự đầu tư của họ vào chip tự phát triển. Các quan chức của OpenAI đã từ chối bình luận về vấn đề này, nhưng nếu nó thành hiện thực, OpenAI sẽ gia nhập hàng ngũ những gã khổng lồ công nghệ ở Thung lũng Silicon như Google, Amazon, Microsoft và Tesla trong việc phát triển chip của riêng họ.

Tại sao OpenAI muốn phát triển chip riêng?

Như đã đề cập trước đó, lý do chính đằng sau việc OpenAI phát triển chip riêng của họ là do thiếu GPU. Cụ thể hơn, giá của cả việc mua GPU Nvidia và sử dụng các dịch vụ đám mây dựa trên GPU đều quá cao, đặc biệt khi xét đến sự gia tăng theo cấp số nhân về sức mạnh tính toán cần thiết cho quá trình đào tạo mô hình trong tương lai của OpenAI.

OpenAI đã đầu tư một cách chiến lược vào trí tuệ nhân tạo trong nhiều năm. Với việc phát hành GPT-3 vào năm ngoái và ChatGPT vào nửa cuối năm nay, khả năng của các mô hình ngôn ngữ tạo sinh quy mô lớn này đã được cải thiện đáng kể trong vài năm qua, đạt đến giai đoạn chúng có thể tham gia vào các cuộc trò chuyện có ý nghĩa với con người . Kết quả là OpenAI đã nổi lên như một công ty dẫn đầu trong lĩnh vực trí tuệ nhân tạo và AI tạo sinh đã trở thành một trong những công nghệ có tác động mạnh nhất được kỳ vọng sẽ định hình xã hội loài người trong những năm tới. Theo Reuters, OpenAI ghi nhận doanh thu 28 triệu USD vào năm ngoái nhưng lại lỗ tổng cộng 540 triệu USD, chủ yếu do các chi phí liên quan đến sức mạnh tính toán. Điều đáng chú ý là khoản lỗ khổng lồ 540 triệu USD này xảy ra vào năm 2022, ngay trước khi trí tuệ nhân tạo tổng hợp bùng nổ.

Trong tương lai, các chi phí liên quan đến sức mạnh tính toán dự kiến ​​sẽ tăng theo cấp số nhân. Điều này chủ yếu là do:

• Sự cạnh tranh trong các mô hình quy mô lớn ngày càng trở nên khốc liệt hơn và tốc độ phát triển mô hình ngày càng nhanh hơn, đòi hỏi sức mạnh tính toán ngày càng tăng nhanh. Ngoài OpenAI, những gã khổng lồ công nghệ như Google cũng đang thúc đẩy các mô hình quy mô lớn của riêng họ, điều này đã đẩy nhanh đáng kể tốc độ phát triển mô hình. Dự kiến, thế hệ mô hình mới sẽ cần được cập nhật từ mỗi quý đến nửa năm và sức mạnh tính toán cần thiết cho các mô hình tiên tiến nhất được ước tính sẽ tăng theo mức độ lớn mỗi năm.

• Các mô hình quy mô lớn đang được áp dụng trong nhiều tình huống khác nhau. Hiện tại, Microsoft và Google đã bắt đầu sử dụng các mô hình quy mô lớn trong lĩnh vực tìm kiếm và viết mã. Dự kiến ​​​​trong tương lai sẽ có nhiều ứng dụng hơn cho các mô hình quy mô lớn, bao gồm xử lý tác vụ tự động, hỏi đáp đa phương thức, v.v. Những ứng dụng này sẽ làm tăng đáng kể số lượng mô hình khác nhau và cũng tăng đáng kể tổng công suất tính toán cần thiết để triển khai mô hình .

Theo phân tích của công ty tài chính Mỹ Bernstein, nếu lưu lượng truy cập ChatGPT đạt 16/XNUMX lượng tìm kiếm trên Google (cũng là một trong những mục tiêu quan trọng của OpenAI trong tương lai), chi phí GPU hàng năm của OpenAI sẽ lên tới XNUMX tỷ USD. Những chi phí như vậy có khả năng trở thành nút thắt đáng kể cho việc mở rộng quy mô hơn nữa của OpenAI.

Vậy OpenAI có thể tiết kiệm được bao nhiêu chi phí nếu họ tự phát triển chip của mình? Hiện tại, chi phí mua một máy chủ có 100 GPU Nvidia H300,000 là khoảng 1 USD và tổng chi phí sử dụng máy chủ này trong ba năm, bao gồm cả phí bảo hiểm từ các nhà cung cấp dịch vụ đám mây, là khoảng 100,000 triệu USD (đây là giá chính thức được AWS đưa ra , với mức giá từ các nhà cung cấp dịch vụ đám mây khác dự kiến ​​sẽ ở cùng mức). Nếu OpenAI có thể giảm chi phí của một máy chủ 10,000 GPU như vậy xuống dưới 100,000 USD bằng chip tự phát triển của họ thì chi phí của họ sẽ giảm đáng kể. Mặt khác, nếu các chip tự phát triển thành công, việc kiểm soát chi phí của một thẻ tăng tốc duy nhất xuống dưới XNUMX USD trong trường hợp triển khai quy mô lớn là rất hứa hẹn. Nói cách khác, việc kiểm soát chi phí của một máy chủ XNUMX GPU dưới XNUMX USD không phải là mục tiêu không thể đạt được.

Còn tiếp...