AI Infra at Scale - דור כהן

כולם מחפשים את המודל הכי חכם. אבל איך בוחרים את המודל הנכון למשימה — בלי לשלם יותר על אותה תוצאה?בפרק הזה נתנאל ועידו מארחים את קרן קושמן, Head of Applied AI ב־monday.com, לשיחה על בחירת מודלים מתוך העבודה בשטח: למה בנצ׳מרקים פומביים לא מספיקים, איך בונים מבחן שמייצג את המשימות שלכם, ולמה כדאי למדוד עלות למשימה שהושלמה בהצלחה במקום מחיר לטוקן. דיברנו גם על ניתוב משימות בין מודלים, למה יותר reasoning לא מבטיח תוצאה טובה יותר, ומתי אוטומציה פשוטה היא הבחירה הנכונה. וגם: מה קרה כשקרן ביקשה מאייג׳נט שמאשר תקציבים להיות ״חיובי ופוזיטיבי״? הפרק עם קרן עשה חשק לעוד? זה הזמן ללחוץ על עוקב ולדרג אותנו ב5 כוכבים. הפרק השאיר משהו לחשוב עליו? אפשר להגיב בתגובות או או בלינקדין שלנו לעדכונים על מיטאפים של monday AI engineering - כאן אפשר לעקוב אחרינו ב Meetup

הפרק עם שרון עשה חשק לעוד? זה הזמן ללחוץ על עוקב ולדרג אותנו ב5 כוכבים. הפרק השאיר משהו לחשוב עליו? אפשר להגיב בתגובות או או בבלינקדין שלנו לעדכונים על מיטאפים של monday AI engineering - כאן אפשר לעקוב אחרינו ב Meetupכולם רצים למודלים הגדולים והחזקים ביותר. אבל מה אם זו דווקא הדרך הכי יקרה — ולא בהכרח הכי טובה — לבנות מוצר AI? בפרק הזה אנחנו מארחים את שרון דהן, Chief Architect ב getimpala.ai, ונכנסים למה שבאמת קורה מאחורי כל קריאת API ל-LLM: למה inference עולה כל כך הרבה, איך GPU ו-KV Cache משפיעים על החשבון, ולמה ניהול קונטקסט נכון יכול להיות חשוב יותר מגודל המודל. דיברנו על איך לפרק משימות כדי לגרום למודלים קטנים לעבוד טוב יותר, איך שינוי בשאלה בלבד יכול לשפר משמעותית את התוצאות, למה מודלים סיניים משנים את כלכלת ה-AI — ומה קורה כש-Agents מתחילים לדבר אחד עם השני ומפסיקים את יום העבודה של בני האדם. פרק על מודלים, כסף, Context Engineering והדרך לבנות AI שעובד גם בסקייל — בלי לשרוף את התקציב

הפרק עם מאיה ודור עשה חשק לעוד? זה הזמן ללחוץ על עוקב ולדרג אותנו ב5 כוכבים. הפרק השאיר משהו לחשוב עליו? אפשר להגיב בתגובות או או בבלינקדין שלנו לעדכונים על מיטאפים של monday AI engineering - כאן אפשר לעקוב אחרינו ב Meetupכשה-AI כבר יודע לכתוב כמעט את כל הקוד, מה נשאר למפתח לעשות? בפרק הזה אנחנו מדברים עם דור יהודה, Staff Engineer ב-monday.com, ומאיה אשר מצוות הגיוס, על השינוי שעובר תפקיד המפתח — ועל הדרך שבה השינוי הזה משנה גם את מי שאנחנו מחפשים ואיך אנחנו מגייסים. נדבר על המעבר מכתיבת קוד לחשיבה מערכתית, judgment ואימפקט; על AI Fluency כיכולת חדשה שאנחנו מחפשים לאורך כל תהליך הגיוס; על למה ניסיון בשפה או framework ספציפי הופך לפחות משמעותי; ואיך נראים ראיונות בעולם שבו שימוש ב-AI הוא כבר חלק מהעבודה עצמה.

הפרק עם רועי שלנו עשה חשק לעוד? זה הזמן ללחוץ על עוקב ולדרג אותנו ב5 כוכבים. הפרק השאיר משהו לחשוב עליו? אפשר להגיב בתגובות או או בבלינקדין שלנו לעדכונים על מיטאפים של monday AI engineering - כאן אפשר לעקוב אחרינו ב Meetup מה קורה כשה-Agent כבר לא רק מחפש מידע — אלא מתחיל להבין את הארגון ולקבל החלטות? בפרק הזה אנחנו מארחים את רועי זלטה, Solution Engineer בעולמות ה-Data וה-AI ב-Microsoft, לשיחה על Company Brain: מוח ארגוני שמחבר בין מסמכים, שיחות, אנשים, החלטות וההקשר שמאחוריהן. נדבר על ההבדל בין RAG, Team Brain ו-Company Brain, על מנגנוני Dreaming שמנקים ומארגנים את זיכרון ה-Agent, על העלות והמורכבות של תחזוקת קונטקסט ארגוני — ועל הרגע שבו ארגונים יצטרכו לוותר על חלק מהשליטה כדי לאפשר ל-Agents לפעול באמת. וגם: למה בני האדם עצמם הופכים לצמתים בגרף הידע, ומה יהיה היתרון התחרותי האמיתי בעולם שבו המודלים זמינים לכולם.

הפרק השלישי שלנו עשה חשק לעוד? זה הזמן ללחוץ על עוקב.הפרק השאיר משהו לחשוב עליו? אפשר להגיב בתגובות או או בבלינקדין שלנו לעדכונים על מיטאפים של monday AI engineering - כאן אפשר לעקוב אחרינו ב Meetup