คุณสมบัติเฉพาะของชิปที่พัฒนาขึ้นเองของ OpenAI คืออะไร?

ปัจจุบันมีบริษัทเทคโนโลยีมากมายที่พัฒนาชิปของตัวเอง แล้วอะไรทำให้ชิปที่พัฒนาตนเองของ OpenAI แตกต่างจากชิปที่พัฒนาตนเองของบริษัทอย่าง Google และ Amazon

ประการแรก ชิปที่พัฒนาตนเองของ OpenAI มีไว้เพื่อวัตถุประสงค์ในการฝึกโมเดลของตนเองเท่านั้น ซึ่งแตกต่างจากโมเดลเชิงพาณิชย์ของบริษัทอย่าง Google และ Amazon ที่มุ่งเน้นในการจัดหาชิปที่พัฒนาตนเองเพื่อการใช้งานบนเซิร์ฟเวอร์คลาวด์โดยลูกค้า สำหรับบริษัทอย่าง Google และ Amazon ซึ่งจัดหาชิปที่พัฒนาตนเองให้กับลูกค้าบริการคลาวด์ สถานการณ์การใช้งานของโมเดลต่างๆ นั้นไม่ชัดเจน กลุ่มซอฟต์แวร์ที่ใช้นั้นมีความไม่แน่นอน และโมเดลเฉพาะที่ได้รับการฝึกก็ไม่แน่นอนเช่นกัน ดังนั้น การออกแบบชิปจึงต้องเป็นไปตามข้อกำหนดด้านความเข้ากันได้ ซึ่งมักจะต้องสูญเสียประสิทธิภาพและประสิทธิภาพสำหรับงานการฝึกอบรมแต่ละงาน ในทางกลับกัน ชิปที่พัฒนาขึ้นเองของ OpenAI มีไว้เพื่อการใช้งานของตัวเองเท่านั้น และโมเดลที่ได้รับการฝึกมีความเฉพาะเจาะจงมาก นั่นคือโมเดลภาษาขนาดใหญ่ที่ใช้ Transformers OpenAI ยังสามารถควบคุมสแต็กซอฟต์แวร์ที่ใช้ได้เต็มรูปแบบ ทำให้มั่นใจได้ถึงการออกแบบที่ตรงเป้าหมายสูง

ข้อแตกต่างประการที่สองอยู่ที่ความเข้าใจอย่างลึกซึ้งเกี่ยวกับโมเดลของ OpenAI OpenAI เป็นบริษัทชั้นนำในด้านโมเดลเจนเนอเรทีฟ และในปัจจุบัน โมเดลซีรีส์ GPT ยังคงเป็นโมเดลเจนเนอเรทีฟที่มีประสิทธิภาพดีที่สุด OpenAI สั่งสมประสบการณ์หลายปีในการวิจัยแบบจำลองเชิงกำเนิด ซึ่งหมายความว่าพวกเขามีความเข้าใจอย่างลึกซึ้งเกี่ยวกับโซลูชันการออกแบบต่างๆ สำหรับแบบจำลองเชิงกำเนิด ซึ่งหมายความว่า OpenAI มีความสามารถและความรู้ในการออกแบบร่วมชิปโมเดล ออกแบบโมเดลตามลักษณะของชิป และระบุเมตริกการออกแบบชิปตามความต้องการของโมเดล ซึ่งรวมถึงการเพิ่มประสิทธิภาพการแลกเปลี่ยนระหว่างหน่วยประมวลผล พื้นที่จัดเก็บข้อมูล และการเชื่อมต่อระหว่างชิป นอกจากนี้ OpenAI ยังมีแผนงานที่ชัดเจนที่สุดสำหรับโมเดลขนาดใหญ่ที่สร้างขึ้นในอนาคตในอุตสาหกรรม ซึ่งหมายความว่าแม้ว่าจะต้องใช้เวลาหลายปีกว่าชิปที่พัฒนาตนเองจะพร้อม แต่ก็ไม่จำเป็นต้องกังวลว่าชิปจะล้าสมัยเมื่อเข้ามา การผลิตจำนวนมาก จากมุมมองนี้ ชิปที่พัฒนาด้วยตนเองของ OpenAI ค่อนข้างแตกต่างจากชิปของ Google และ Amazon แต่มีความคล้ายคลึงกันบางอย่างกับชิปฝึกอบรมโมเดลที่พัฒนาตนเองในซีรีส์ Dojo ของ Tesla อย่างไรก็ตาม สิ่งที่ทำให้ OpenAI แตกต่างก็คือความต้องการการฝึกอบรมโมเดลนั้นสูงกว่าของ Tesla อย่างเห็นได้ชัด ทำให้ OpenAI ให้ความสำคัญกับชิปที่พัฒนาตนเองมากยิ่งขึ้น

คุณสมบัติที่เป็นเอกลักษณ์ของ OpenAI เหล่านี้เปิดโอกาสให้ได้รับชิปประสิทธิภาพสูงที่ออกแบบมาโดยเฉพาะเพื่อวัตถุประสงค์ที่แปลกใหม่ เมื่อเร็ว ๆ นี้ Nvidia วิเคราะห์รูปแบบการปรับปรุงประสิทธิภาพของ GPU ในบล็อกโพสต์อย่างเป็นทางการ พลังการประมวลผล GPU ของ Nvidia เพิ่มขึ้น 1000 เท่าในเวลาไม่ถึงทศวรรษ ตามการวิเคราะห์ ภายในพลังการประมวลผลที่เพิ่มขึ้น 1000 เท่า การปรับความแม่นยำในการคำนวณให้เหมาะสม (เช่น การใช้ตัวเลขทศนิยม 16 บิตหรือ 8 บิต แทนการคำนวณจุดทศนิยม 32 บิตดั้งเดิม) รวมกับการคำนวณเฉพาะ โมดูลการประมวลผลได้รับการปรับปรุงประสิทธิภาพถึง 16 เท่า นอกจากนี้ การเพิ่มประสิทธิภาพการทำงานร่วมกันระหว่างสถาปัตยกรรมชิปและคอมไพเลอร์ยังช่วยเพิ่มประสิทธิภาพการทำงานถึง 12.5 เท่า ในทางกลับกัน การปรับปรุงประสิทธิภาพที่เกิดจากเทคโนโลยีเซมิคอนดักเตอร์มีเพียงสองเท่าเท่านั้น ดังนั้นจะเห็นได้ว่าในด้านชิปประมวลผลประสิทธิภาพสูง การออกแบบร่วมกันของอัลกอริทึมและสถาปัตยกรรมชิป (รวมถึงอัลกอริทึมแบบจำลองและอัลกอริทึมของคอมไพเลอร์) เป็นแรงผลักดันหลักในการปรับปรุงประสิทธิภาพ (หรือที่เรียกว่ากฎของ Huang) จากมุมมองนี้ OpenAI อยู่ในตำแหน่งที่ได้เปรียบอย่างมาก ด้วยความเข้าใจอย่างลึกซึ้งเกี่ยวกับอัลกอริธึม OpenAI คาดว่าจะใช้ประโยชน์จากกฎของ Huang ได้อย่างเต็มที่ และบรรลุการออกแบบชิปประมวลผลประสิทธิภาพสูงในอีกไม่กี่ปีข้างหน้า

ความท้าทายของชิปที่พัฒนาขึ้นเองของ OpenAI

นอกจากข้อดีแล้ว ยังมีความท้าทายสำหรับชิปที่ OpenAI พัฒนาขึ้นเองอีกด้วย

ความท้าทายหลักของชิปประสิทธิภาพสูงซึ่งออกแบบมาสำหรับรุ่นขนาดใหญ่นั้นอยู่ที่ความซับซ้อน จากมุมมองของการออกแบบชิป การพิจารณาอย่างรอบคอบเป็นสิ่งจำเป็นสำหรับหน่วยประมวลผล การเข้าถึงหน่วยความจำ และการเชื่อมต่อภายในชิปประมวลผลประสิทธิภาพสูง ตัวอย่างเช่น เพื่อให้เป็นไปตามข้อกำหนดของรุ่นใหญ่ จึงมีความเป็นไปได้สูงที่ชิปจะใช้ HBM (หน่วยความจำแบนด์วิธสูง) เพื่อให้บรรลุประสิทธิภาพการใช้พลังงานสูงและความสามารถในการปรับขนาดได้ คาดว่าจะมีการใช้เทคโนโลยีกระบวนการขั้นสูงและเทคนิคการเรียงซ้อนชิปเพื่อให้ได้ผลผลิตสูง การประมวลผลแบบกระจายมักใช้สำหรับโมเดลขนาดใหญ่ ทำให้การเชื่อมต่อระหว่างชิปมีความสำคัญ (คล้ายกับเทคโนโลยี NVLINK และ InfiniBand ของ Nvidia สำหรับ GPU OpenAI ก็ต้องการเทคโนโลยีที่คล้ายกันเช่นกัน) องค์ประกอบการออกแบบชิปแต่ละชิ้นเหล่านี้ต้องการทีมงานที่มีประสบการณ์ในการดำเนินการ และการรวมเข้าด้วยกันจำเป็นต้องมีการออกแบบสถาปัตยกรรมที่ยอดเยี่ยมเพื่อให้มั่นใจถึงประสิทธิภาพโดยรวม การสร้างทีมที่มีประสบการณ์ภายในระยะเวลาอันสั้นเพื่อรับมือกับการออกแบบที่ท้าทายเหล่านี้ถือเป็นความท้าทายที่สำคัญสำหรับ OpenAI

นอกเหนือจากการออกแบบชิปแล้ว ความท้าทายที่สำคัญอีกประการหนึ่งสำหรับ OpenAI คือการรับประกันการทำงานร่วมกันระหว่างซอฟต์แวร์และฮาร์ดแวร์ หรือกล่าวอีกนัยหนึ่งคือ การออกแบบคอมไพเลอร์ประสิทธิภาพสูงและระบบนิเวศของซอฟต์แวร์ที่เกี่ยวข้อง ปัจจุบัน ข้อได้เปรียบหลักประการหนึ่งของ Nvidia GPU คือระบบซอฟต์แวร์ CUDA ซึ่งได้สั่งสมประสิทธิภาพและความเข้ากันได้สูงมาเป็นเวลากว่าทศวรรษ ในชิปที่พัฒนาขึ้นเองของ OpenAI ระบบคอมไพเลอร์ยังจำเป็นต้องได้รับประสิทธิภาพสูงเช่น CUDA เพื่อใช้ประโยชน์จากพลังการประมวลผลของชิปอย่างเต็มที่ แตกต่างจากบริษัทเทคโนโลยีอื่นๆ ที่พัฒนาชิปสำหรับบริการคลาวด์ ชิปของ OpenAI มีไว้สำหรับการใช้งานภายในเป็นหลัก ดังนั้นจึงไม่ต้องกังวลเกี่ยวกับระบบนิเวศและการสนับสนุนโมเดลผู้ใช้น้อยลง อย่างไรก็ตาม ประสิทธิภาพของคอมไพลเลอร์ต้องใกล้เคียงกับ CUDA ของ Nvidia ที่จริงแล้ว OpenAI ได้ลงทุนในสาขานี้มาก่อนหน้านี้แล้ว ในเดือนกรกฎาคมของปีนี้ OpenAI ได้ประกาศโซลูชันการคอมไพล์โมเดล AI โดยใช้ภาษา Triton แบบโอเพ่นซอร์ส โดยรวบรวมโค้ด Python ให้เป็น Intermediateเป็นตัวแทน (IR) โดยใช้คอมไพเลอร์ Triton และคอมไพเลอร์ LLVM ซึ่งสามารถคอมไพล์เป็นโค้ด PTX และรันได้โดยตรงบน GPU และตัวเร่งความเร็ว AI ที่รองรับ PTX จากมุมมองนี้ การลงทุนของ OpenAI ในคอมไพเลอร์อาจทำหน้าที่เป็นสารตั้งต้นของชิปที่พัฒนาตนเอง

สุดท้ายนี้ การผลิตชิปโดยเฉพาะก็ถือเป็นความท้าทายเช่นกัน ดังที่ได้กล่าวไว้ก่อนหน้านี้ OpenAI มีแนวโน้มที่จะใช้โหนดกระบวนการขั้นสูงและเทคโนโลยีบรรจุภัณฑ์ขั้นสูง ดังนั้น การรับรองให้ผลผลิตสูงในระหว่างการผลิต และที่สำคัญกว่านั้น การได้รับกำลังการผลิตที่เพียงพอสำหรับการผลิตจำนวนมากภายในอุปทานบรรจุภัณฑ์ขั้นสูงและโหนดกระบวนการที่มีแนวโน้มตึงตัวในปีต่อๆ ไป จะเป็นปัญหาที่ต้องแก้ไข

เมื่อพิจารณาถึงความท้าทายทั้งสามประการนี้ เราเชื่อว่าแผนชิปที่พัฒนาขึ้นเองของ OpenAI อาจเกี่ยวข้องกับหลายขั้นตอน ประการแรก ก่อนที่ปัญหาด้านเทคนิคและการผลิตจะได้รับการแก้ไขอย่างสมบูรณ์ OpenAI สามารถเลือกที่จะร่วมมือกับ Microsoft (ผู้ถือหุ้นรายใหญ่ที่สุดซึ่งมีแผนชิปของตัวเองชื่อ Athena) และ Nvidia (หรือ AMD) พวกเขาสามารถเลือกใช้ชิปแบบกึ่งปรับแต่งได้ โดยที่ OpenAI จะให้ข้อกำหนดบางอย่างและแม้แต่ทรัพย์สินทางปัญญา (IP) บางอย่างที่ชิปจำเป็นต้องสนับสนุน ในขณะที่พันธมิตรที่ทำงานร่วมกันจะจัดการการออกแบบและการผลิตชิป เมื่อปัญหาด้านเทคนิคและการผลิตได้รับการแก้ไขแล้ว OpenAI สามารถเลือกที่จะลงทุนจำนวนมากในชิปที่ปรับแต่งได้อย่างเต็มที่ เพื่อให้ได้ประสิทธิภาพและการควบคุมที่ดีที่สุด