Show Notes
עדי הוא מי שאני הולך אליו ללמוד על כל דבר שקשור לחומרה בתחום ה-AI. בפרק הזה דברנו על שבבים לאימון, להרצה ובכלל על העתיד של כל התחום הזה. דברנו כמובן גם עם אנבידיה ועל התחרות שיש להם ואיך אפשר באמת לאתגר את הדומיננטיות שלה בעולם השבבים. פרק חובה לכל מי שרוצה להבין לעומק את צד החומרה במהפכת ה-AI.
More from Hidden layers
פרק ראשון בסדרה חדשה שלנו על עולמות ה-Data Centers, הקומפיוט וה-AI Factories, והפעם הקלטנו באולפן החדש של NVIDIA בתל אביב. האורח הראשון בסדרה הוא גלעד שיינר, סגן נשיא בכיר (SVP) ל-Networking ב-NVIDIA. גלעד הצטרף למלאנוקס ב-2001 כמתכנן שבבים, בשנים הראשונות של פרוטוקול InfiniBand, ומעטים מכירים כמוהו את מה שקורה בין ה-GPUs. שאלתי את גלעד למה GPU לבד כבר לא מספיק, ומה ההבדל בין חוות שרתים רגילה לבין AI Factory, מפעל שמייצר טוקנים. דיברנו על NVLink ועל 1,152 GPUs שעובדים כמחשב אחד, על מחשוב בתוך הרשת (עם אנלוגיית פיצרייה מצוינת), על למה NVIDIA תומכת גם ב-Ethernet, ועל Scale-Across: חיבור של AI Factories רחוקים לאימון אחד. והכי מעניין מבחינתי: עד כמה האנרגיה והאופטיקה הופכות לצוואר הבקבוק האמיתי, ולמה ארבעה מתוך שבעת השבבים במערכת של NVIDIA הם שבבי רשת, ומה התפקיד של ישראל בכל זה. פרק חובה לכל מי שרוצה להבין איך בנויה התשתית שמאחורי ה-AI.
In this episode I had the honor to interview Benjamin Mayr, Vice President, Head of Architecture at NiCE Cognigy. Benjamin took me deep into what it really takes to run enterprise-grade conversational and agentic AI at scale. We talked about the "harness" around the model - the layer that turns a raw LLM into a reliable agent in a live contact center. He also broke down the LLM Gateway, which pools and load-balances across many model endpoints to keep everything fast and always-on. We also explored why picking the right model for the right job beats raw reasoning power, and looked ahead to a future of personal agents, agent-to-agent interactions, and even humanoid robots as the next interface. This interview was part of my coverage of the NiCE World conference. I learned so much about the real path from conversational AI to production-grade agents in this conversation. Audio is here:https://hiddenlayers.podbean.com/
פרק נוסף לפודקאסט שלנו והפעם פרק בשיתוף חברת Manifold, שבו ראיינתי את גלעד לוי, המייסד והמנכל של החברה. לא בכל יום אתה מראיין יזם שרוצה לקרוא תיגר על הטכנולוגיה הכי מוכרת ונפוצה בתחום ה-AI וממש עובד על ארכיטקטורה חדשה שתחליף את הטרנספורמים המפורסמים. גלעד, שאת התואר הראשון שלו עשה בגיל 15 בטכניון, שיתף אותי על למה הוא חושב שטרנספורמרים כבר לא מספיקה, על הגישה שלהם להתמודד עם בעיות AI וגם למה כל כך חשוב לו להקים מעבדה מתקדמת בתחום ה-AI כאן בישראל. פרק טכני מהרגיל אבל מאוד מעניין לכל מי שרוצה לצלול למאחורי הקלעים.
פרק נוסף לפודקאסט שלנו והפעם פרק בשיתוף עם חברת Alice, שבו ראיינתי את אבי גולן, Chief Product & Engineering Officer בחברה. את הפרק הזה רציתי המון זמו להקליט. את אבי גולן אני מכיר כבר שנים רבות ומאוד ריתק אותי לשמוע על השינוי ש-Alice עשו במוצר שלהם. כיום הם עובדים עם 8 מתוך 10 מעבודת ה-AI המובילות בעולם והם עוזרים להם להבין מה גבולות הגזרה של המודלים שלהם. הם מריצים מבחני עומק על היכולות של המודלים ומוודאים שהם לא סוטים מסט היכולות שהוגדר להם. מה שמרתק באמת זה שהם בנו מנגנון בסקייל שיודע לקחת את המודלים האלה לקצה במספר רחב של תחומים (הם קוראים לזה GYM) ואז לספק תובנות מאוד חשובות למעבדות - תובנות שהם יכולים להשתמש בהם כדי לתקן את נקודות התורפה של המודלים שלהם.
פרק חדש בפודקסט והפעם שיתוף פעולה עם Bria. בפרק הזה היה לי תענוג לראיין את מישה פיינשטין, ה-CTO של חברת Bria. אני עוקב אחרי Bria מאז שהוקמה ועוד אז המשימה שלהם נראתה לי כמעט בלתי אפשרית: הם רוצים לאמן מודל בסיס מאפס שידע לייצר תמונות באיכות הגבוהה ביותר אבל גם לדעת איזה אומן תרם ליצירת התמונה ולשלם לו בהתאם. כלומר, הם פיתחו מודל שידע לייצר תמונות אבל גם להביא תמלוגים לכל מי שהמודל התבסס עליו בג'ינרוט הנוכחי. זה אתגר טכנולוגי כל כך קשה וזה פשוט תענוג לראות חברה ישראלית שמצליחה בו כל כך. אז אם אתם רוצים ללמוד איך זה להתחרות בחברות הטכנולוגיה הגדולות בעולם ואיך זה ליצור מודל בסיס עצמאי, אז אתם מוזמנים להאזין לפרק.