מהן התכונות הייחודיות של השבבים בפיתוח עצמי של OpenAI?

נכון לעכשיו, ישנן חברות טכנולוגיה רבות שפיתחו שבבים משלהן. אז מה מייחד את השבבים בפיתוח עצמי של OpenAI מהשבבים בפיתוח עצמי של חברות כמו גוגל ואמזון?

ראשית, השבבים בפיתוח עצמי של OpenAI נועדו אך ורק למטרות הדרכה של מודלים משלהם, מה ששונה מהמודלים המסחריים של חברות כמו גוגל ואמזון המתמקדות באספקת שבבים בפיתוח עצמי לשימוש בשרתי ענן על ידי לקוחות. עבור חברות כמו גוגל ואמזון, המספקות שבבים בפיתוח עצמי ללקוחות שירותי ענן, תרחישי השימוש של המודלים אינם ברורים, ערימת התוכנה שבה נעשה שימוש אינה ודאית, וגם הדגמים הספציפיים המתאמנים אינם ודאיים. לכן, עיצובי השבבים שלהם צריכים לעמוד בדרישות התאימות, ולעתים קרובות להקריב יעילות וביצועים עבור כל משימת אימון. מצד שני, השבבים שפותחו בעצמם של OpenAI הם לשימוש עצמי בלבד, והדגמים המתאמנים הם מאוד ספציפיים: דגמי שפה גדולים המבוססים על רובוטריקים. ל-OpenAI יש גם שליטה מלאה על ערימת התוכנה שבה נעשה שימוש, מה שמבטיח עיצוב ממוקד במיוחד.

ההבדל השני טמון בהבנה העמוקה של OpenAI את המודלים. OpenAI היא חברה מובילה בתחום הדגמים הגנרטיביים, וכיום, הדגמים מסדרת GPT הם עדיין הדגמים הגנרטיביים בעלי הביצועים הטובים ביותר. OpenAI צבר שנים של ניסיון במחקר מודלים גנרטיביים, מה שאומר שיש להם הבנה עמוקה של פתרונות עיצוב שונים למודלים גנרטיביים. זה מרמז כי ל-OpenAI יש את היכולת והידע לבצע תכנון משותף של שבב-מודל, תכנון מודלים לפי מאפייני השבבים, וציון מדדי העיצוב של השבבים על סמך דרישות המודלים. זה כולל אופטימיזציה של פשרות בין יחידות חישוביות, אחסון וחיבורי שבבים. יתרה מכך, ל-OpenAI יש את מפת הדרכים המפורשת ביותר עבור דגמים גדולים עתידיים בתעשייה, כלומר גם אם ייקח מספר שנים עד שהשבבים שפותחו בעצמם יהיו מוכנים, אין צורך לדאוג שהשבבים יהיו מיושנים ברגע שהם נמצאים ייצור המוני. מנקודת מבט זו, השבבים בפיתוח עצמי של OpenAI שונים למדי מאלה של גוגל ואמזון, אך הם חולקים כמה קווי דמיון עם סדרת הדוג'ו של טסלה של שבבי אימון מודלים בפיתוח עצמי. עם זאת, מה שמייחד את OpenAI הוא שהביקוש שלהם להכשרת מודלים גבוה בהרבה מזה של Tesla, מה שהופך את החשיבות של שבבים בפיתוח עצמי לגדולה עוד יותר עבור OpenAI.

התכונות הייחודיות הללו של OpenAI נותנות לו את ההזדמנות להשיג שבבים בעלי ביצועים גבוהים שתוכננו במיוחד למטרות לא שגרתיות. לאחרונה, Nvidia ניתחה את דפוס שיפור הביצועים של ה-GPUs שלה בפוסט רשמי בבלוג. כוח המחשוב GPU של Nvidia גדל פי 1000 בפחות מעשור. לפי הניתוח, בתוך גידול זה של פי 1000 בכוח המחשוב, אופטימיזציה של דיוק חישובי (כגון שימוש במספרי נקודה צפה של 16 סיביות או אפילו 8 סיביות במקום חישוב הנקודה הצפה המקורית של 32 סיביות) בשילוב עם ייעודי מודולי מחשוב השיגו שיפור ביצועים של פי 16. בנוסף, אופטימיזציה משותפת בין ארכיטקטורת שבבים למהדרים סיפקה שיפור ביצועים של פי 12.5. מצד שני, שיפור הביצועים שהביאה טכנולוגיית המוליכים למחצה היה פי שניים בלבד. לכן, ניתן לראות שבתחום שבבי מחשוב בעלי ביצועים גבוהים, תכנון משותף של אלגוריתמים וארכיטקטורת שבבים (כולל אלגוריתמי מודל ואלגוריתמי קומפיילר) הם הכוחות המניעים העיקריים לשיפור הביצועים (הידוע גם כחוק הואנג). מנקודת מבט זו, OpenAI אכן נמצאת בעמדה מועילה מאוד. עם ההבנה העמוקה שלה באלגוריתמים, OpenAI צפויה למנף באופן מלא את חוק Huang ולהשיג עיצובי שבבי מחשוב בעלי ביצועים גבוהים בשנים הקרובות.

האתגרים של השבבים בפיתוח עצמי של OpenAI

בנוסף ליתרונות שלו, אכן יש אתגרים עבור השבבים בפיתוח עצמי של OpenAI.

האתגר העיקרי של שבבים בעלי ביצועים גבוהים, המיועדים לדגמים גדולים, טמון במורכבותם. מנקודת המבט של תכנון שבבים, יש צורך בשיקול זהיר ליחידות החישוב, לגישה לזיכרון ולקישוריות בתוך שבב המחשוב בעל הביצועים הגבוהים. לדוגמה, כדי לעמוד בדרישות של דגמים גדולים, סביר מאוד שהשבב ישתמש ב-HBM (High Bandwidth Memory). כדי להשיג יעילות אנרגטית גבוהה ומדרגיות, צפויות להשתמש בטכנולוגיות תהליך מתקדמות וטכניקות הערמה של שבבים לתפוקה גבוהה. מחשוב מבוזר משמש לעתים קרובות עבור דגמים גדולים, מה שהופך את הקישוריות בין שבבים לקריטית (בדומה לטכנולוגיות NVLINK ו-InfiniBand של Nvidia עבור GPUs, גם OpenAI ידרוש טכנולוגיות דומות). כל אחד ממרכיבי עיצוב השבבים הללו דורש צוות מנוסה ליישום, ושילובם יחד דורש תכנון אדריכלי מעולה כדי להבטיח ביצועים כלליים. בניית צוות מנוסה תוך פרק זמן קצר כדי להתמודד עם העיצובים המאתגרים הללו תהיה אתגר חשוב עבור OpenAI.

בנוסף לעיצוב השבבים, אתגר משמעותי נוסף עבור OpenAI הוא הבטחת הסינרגיה בין תוכנה לחומרה, או במילים אחרות, תכנון מהדר בעל ביצועים גבוהים ואקו-סיסטם תוכנה קשור. נכון לעכשיו, יתרון מרכזי אחד של Nvidia GPUs הוא מערכת תוכנת ה-CUDA שלהם, שצברה ביצועים גבוהים ותאימות במשך יותר מעשור. בשבב שפותח בעצמו של OpenAI, מערכת המהדר צריכה גם להשיג ביצועים גבוהים כמו CUDA כדי לנצל באופן מלא את כוח המחשוב של השבב. בניגוד לחברות טכנולוגיה אחרות שמפתחות שבבים לשירותי ענן, השבבים של OpenAI מיועדים בעיקר לשימוש פנימי, כך שיש פחות דאגה לגבי האקולוגיות והתמיכה במודל המשתמש. עם זאת, ביצועי המהדר צריכים להתקרב לביצועי ה-CUDA של Nvidia. למעשה, OpenAI כבר ביצעה השקעות בתחום הזה קודם לכן. ביולי השנה, OpenAI הכריזה על פתרון הידור שלה למודל AI המבוסס על שפת הקוד הפתוח Triton. הוא מרכיב קוד Python לייצוג ביניים (IR) באמצעות מהדר Triton ו-LLVM מהדר, אשר לאחר מכן ניתן להידור לקוד PTX ולהפעיל ישירות על GPUs ומאיצי AI התומכים ב-PTX. מנקודת מבט זו, ההשקעה של OpenAI במהדרים עשויה לשמש מבשר לצ'יפים שפותחו בעצמה.

לבסוף, גם הייצור הספציפי של השבב יהווה אתגר. כפי שהוזכר קודם לכן, OpenAI עשויה להשתמש בצמתי תהליכים מתקדמים וטכנולוגיות אריזה מתקדמות. לכן, הבטחת תפוקה גבוהה במהלך הייצור, וחשוב מכך, השגת יכולת ייצור מספקת לייצור המוני בתוך היצע הפוטנציאלי הצפוף של אריזות וצמתי תהליכים מתקדמים בשנים הקרובות תהיה בעיה שיש לטפל בה.

בהתחשב בשלושת האתגרים הללו, אנו מאמינים שתוכנית השבבים שפותחה בעצמה של OpenAI עשויה לכלול מספר שלבים. ראשית, לפני שהבעיות הטכניות והייצור ייפתרו במלואן, OpenAI יכולה לבחור לשתף פעולה עם מיקרוסופט (בעלת המניות הגדולה ביותר שלה, שיש לה גם תוכנית שבבים משלה בשם Athena) ו-Nvidia (או AMD). הם יכולים לבחור בשבבים מותאמים למחצה, כאשר OpenAI מספקת מפרטים מסוימים ואפילו קניין רוחני מסוים (IP) שהשבב צריך לתמוך בו, בעוד ששותפי שיתוף הפעולה מטפלים בתכנון וייצור השבבים. לאחר פתרון הבעיות הטכניות והייצור, OpenAI יכול לבחור להשקיע רבות בשבבים מותאמים אישית לחלוטין, תוך השגת ביצועים ושליטה מיטביים.