Show Notes
אם למדתם את התואר השני שלכם לפני 2018, כנראה שהוא לא היה בדאטה סיינס. אבל מאז, האקדמיות התחילו להציע לצד לימודי דיסיפלינות כמו מתמטיקה ומדמ״ח, גם תארים שניים מונחי מקצועות, ובניהם גם דאטה סיינס. והקולגות שלכם והאנשים שתנהלו שלמדו אחריכם? ייתכן מאוד שהם השתתפו בתארים כאלו. השבוע באקספליינבל, אורי והילה פתחו בלי פילטרים את 24 הקורסים שהילה בחרה במסגרת לימודיה בהרווארד. בדקנו איך כלכלה קפיטליסטית משפיעה על האיכות (והכמות) של קורסי בחירה, מהי החשיבות האקדמית בפקולטה לשילוב פרויקטים עם גופים ממשלתיים כמו נאס״א, מי הפרופסור שהוריד נקודות על קומיטים עמוסים מדי ב-GitHub, ולמה המרצים שלה חשבו שבניית קורס בUdemy מייצר דאטה סיינטיסטים יותר טובים. הפרק המלא עכשיו בכל הערוצים, ואנחנו לא יכולים להבטיח שלא יהיו בחני פתע בהמשך. אם עוד לא ראיתם את פרק 142, השקרים שUMAP מספר לנו - הנה הוא: https://open.spotify.com/episode/7JhkmVAchJCuJmBflJI6Vq?si=iabQasycRsa4DCVzIwYihw פרק 136 על הורדת מימדים בלווינים של נאס״א עם מייק והילה: https://open.spotify.com/episode/5airSjSy665VXZ2tImf1vE?si=3-jAQ7JSTSCNoCFXPgbs0A הסילבוסים של כל הקורסים מהתואר בData Science: CSCI 29, Advanced Python for Data Science: https://www.scribd.com/document/798907961/syllabus-15
CSCI 106, Data Modeling: https://harvard.simplesyllabus.com/en-US/doc/klanr3gi3
CSCI 109A, Introduction to Data Science: https://harvard-iacs.github.io/2020-CS109A/
CSCI E-82, Advanced Machine Learning, Data Mining, and Artificial Intelligencehttps://harvard.simplesyllabus.com/en-US/doc/87qroqsdw
CSCI E-88, Principles Of Big Data Processing: https://www.coursehero.com/file/30149735/BDP-Syllabus-Spring-2018pdf/
ISMT E-161, Computational Bayesian Inference: https://harvard.simplesyllabus.com/en-US/doc/mknirmekw
CSCI 89, Introduction to Deep Learning: https://harvard.simplesyllabus.com/en-US/doc/orl05sdoq
CSCI E-89b, Introduction to Natural Language Processing: https://harvard.simplesyllabus.com/en-US/doc/dy3xgo9om
ISMT E-136, Time Series Analysis with Python: https://harvard.simplesyllabus.com/en-US/doc/tn6vfy88u
MATH 156, Mathematical Statistics: https://harvard.simplesyllabus.com/en-US/doc/8zojz55h6
CSCI 597, Data Science Precapstone + CSCI E-599a Data Science Capstone: https://harvard.simplesyllabus.com/en-US/doc/xkxh8b79b
ספר של הילה עם פרופסור הנסטוק: https://www.amazon.com/Supercharged-Coding-GenAI-practices-Copilot/dp/1836645295 קורס של הילה ביודמי עם פרופסור גורלין: https://www.udemy.com/course/apds-intro-to-advanced-python-for-mlops-and-data-science/?srsltid=AfmBOorNj_xL3x8JCmTXR3KDIgp01faF9uZryC8wFbpLw_fpcou1jyse
הספר Mathematical Statistics https://www.amazon.com/Mathematical-Statistics-Data-Analysis-Rice/dp/8131519546/ref=tmm_pap_swatch_0
00:00 תואר שני שני בהרווארד 01:01 מכלכלה קפיטליסטית של קורסי בחירה לארכיטקטורה של טרנספורמר במבחן אמצע 04:13 ארבע וחצי שנים לתואר שני אחד 6:48 חשיבות הארטיקולציה והפרזנטציה 09:47 פול סטאק דאטה סיינס 16:59 עוד קורסים במדמ״ח (או: כמה הילה קיבלה ברשתות תקשורת) 20:10 אז מה חסר ומה מיותר 23:59 הטיפים לדור העתיד
More from ExplAInable
מה זה Harness, למה כולם מדברים על זה פתאום, ואיך בונים סוכן AI שמריץ קוד בכמה קליקים? בפרק הזה של Explainable, מייק מארח את יובל אבידני להסבר דרך משל הצניחה החופשית, להדגמה חיה ב-AWS, ולשיחה גלויה על המקצועות שנפגעים מ-AI ועל השאלה מי באמת משלם על ה-AI הזול.
אפשר לשלוח כמעט כל דבר לקלוד ולקוות לטוב, חוץ ממפעל. בפרק הזה של Explainable מתארח פרופ' נדב כהן, מי שהנחה באוניברסיטת תל אביב את המפגש עם סם אלטמן ואיליה סוצקבר מול אולם עם כשלושת אלפים איש, ואנחנו הולכים איתו הרבה יותר עמוק: מהמתמטיקה שמסבירה למה עומק ברשתות נוירונים בכלל עובד, ועד לשאלה מה קורה כשמודל שולט על תשתית קריטית והתולרנטיות לטעויות היא אפס.מה בפרק• איך הגיע מקורס טייס ליחידה טכנולוגית, ומשם לאלגוריתמים על מערכות פיזיות• ההרצאה של אמנון שעשוע שאחריה שלח מייל ועבר לאוניברסיטה העברית• המאמר מ-2016: למה עומק נותן יתרון אקספוננציאלי, ומה זה אומר בפועל• למה ההשפעה של תיאוריה על התעשייה עוברת הרבה פעמים דרך אינרציה• ההבדל בין לבנות AI לבין להשתמש ב-AI וכמה הוא גדול• למה מספר הנרשמים למדעי המחשב יורד, ואיך המחלקות מגיבות• פרודוקטיביות: איפה זה 1000X ואיפה זה כמעט לא נמדד• אימיוביט: טייס אוטומטי למפעלים של ייצור רציף נפט, מלט, כימיקלים, מזון ופרמה• דטרמיניזם ואקספלנביליות, וארכיטקטורות שבנויות להיות אקספלנביליות מראש• מה זה מודל עולם, ובמה הוא שונה ממודל שפה• למה הניסיון להעביר ידע ממפעל למפעל נכשל שוב ושוב• אקדמיה מול תעשייה שלוש שנים אחרי הבמה עם אלטמן וסוצקבר• ולסיום: מה הוא ממליץ לבני 16-17 שרוצים קריירה מרשימהפרקים0:00 פרופסור וגם סלב: מי זה נדב כהן2:23 מקורס טייס ליחידה טכנולוגית5:49 ההרצאה של אמנון שעשוע ששינתה כיוון10:17 למה עומק נותן יתרון אקספוננציאלי14:55 כדאי עוד ללמוד מדעי המחשב?16:37 לבנות AI מול להשתמש ב-AI24:19 אימיוביט: טייס אוטומטי למפעל27:06 פיזיקל AI: כשהמחיר של טעות גבוה29:43 מה זה בעצם מודל עולם35:30 למה הטרנספר בין מפעלים נכשל37:38 אקדמיה מול תעשייה, שלוש שנים אחרי41:52 עצה לבני 16 ומסיבת קלודעל האורחפרופ' נדב כהן התגייס לקורס טייס, ואחרי שנתיים חתם ויתור ועבר ליחידה הטכנולוגית מצו״ב, שם התחיל לעסוק באלגוריתמים מתמטיים על מערכות פיזיות. אחרי השחרור הקים יחד עם אחיו גוף ייעוץ בתחום האירוספייס והדיפנס, שהפך לימים לחברה שנמכרה למלנוקס — היום NVIDIA. למד הנדסת חשמל ומתמטיקה בטכניון במסלול מצטיינים, ואחרי הרצאה של אמנון שעשוע עבר לאוניברסיטה העברית לתואר שני ולדוקטורט במסלול ישיר, שם פרסם סדרת מאמרים על השקילות בין רשתות נוירונים לפירוקי טנזורים. אחרי הדוקטורט עבר לפרינסטון, והקים עם שותפים את אימיוביט (Imubit), שבונה אופטימיזציה לייצור במפעלים של ייצור רציף. כיום פרופסור, מלמד קורסים מתקדמים ומנחה דוקטורנטים.
המודלים של היום מייצרים תמונות כמעט מושלמות, ודווקא בגלל זה הבעיה נעשתה קשה יותר. בפרסום תמונה יפה היא לא בהכרח תמונה נכונה: צריך את הלוגו המדויק, את המוצר הנכון, את צבעי המותג, את הגופן ואת הטקסט שחייב להופיע על הבאנר. בפרק הזה שחף מספר על ויז'ואל הרנס, כלומר כל השכבה שעוטפת את מודל הג'נרציה ומוודאת שמה שיוצא לאוויר באמת עומד באילוצים של המותג, של המוצר ושל הפאבלישר.מה בפרק- למה הבעיה עברה מלג'נרט תמונה טובה לג'נרט תמונה שעובדת ונכונה לעסק- אייפון במקום סמסונג, צבעי מותג, גופן והיררכיה: מה משתבש גם כשכתוב בפרומפט- אילוצים קשיחים שההחלטה עליהם בינארית מול אילוצים רכים שהם כיוון מועדף- למה StyleGAN ו-ControlNet נותנים שליטה חלקית בלבד כשהאילוצים משתנים כל הזמן- איפה בכלל מתועדים הכללים העיצוביים, ואיך מודל עוזר לנסח אותם מדוגמאות חיוביות ושליליות- מה ההבדל בין הרנס של קוד, כמו קלוד קוד וקודקס, לבין הרנס חזותי: הטסטים והסביבה- איך חוסכים כסף בבדיקות: OCR לזיהוי טקסט, מיקום וגודל, ושתילת לוגו דרך הקוד- ג'נרציה בשכבות: Adobe Firefly, מודלים בקוד פתוח שמייצרים SVG, ומה עדיין בגדר מחקר- מה אומר המאמר Mirror in the Model (MIMO): סוכני יצירה, סוכני ולידציה ולופ של וריאציות- האם בכלל צריך Multi-Agent, או שאפשר סוכן אחד עם תלות דטרמיניסטית בין השלבים- ה-Bitter Lesson של ריצ'רד סאטן: האם המודלים פשוט יפתרו את הבעיה בעצמם- למה עולם הפרסום עשיר במיוחד באילוצים: רגולציה, מתחרים, פאבלישרים ודיסקלאמרים- איך בונים ויז'ואל הרנס מאפס, ואיפה נכנס אדם בלופפרקים0:00 ויז'ואל הרנס: פתיחה והצגת האורח1:14 אייפון במקום סמסונג: מה משתבש בפרומפט2:33 הסיגריה של סבתא והמודל שהחליט לבד3:07 אילוצים קשיחים מול אילוצים רכים4:09 StyleGAN ו-ControlNet: שליטה חלקית בלבד6:03 איפה כתובים האילוצים ואיך מודל מנסח אותם8:55 הרנס של קוד מול הרנס חזותי: הטסטים10:07 OCR, לוגו דרך הקוד וחיסכון בעלויות13:34 המאמר Mirror in the Model: סוכנים ולופ17:54 Bitter Lesson: האם האתגר כבר נפתר21:16 לבנות ויז'ואל הרנס מאפס, ואדם בלופ25:36 מה כדאי לקרוא והטיפ לסיוםעל האורחשחף, בוגר תואר ראשון ושני בהנדסת תעשייה וניהול מאוניברסיטת בן גוריון בהתמחות Data Science, עובד כשנה בתחום הפרסום ובונה ויז'ואל הרנס לג'נרציית קרייטיב. הוא גם זמין לשאלות, רק לא כולם ביחד.קישוריםהמאמר Mirror in the Model (MIMO): https://arxiv.org/abs/2507.03326ריפו הקוד הפתוח שמרכז כללים עיצוביים ודוגמאות מחברות אמיתיות:https://github.com/nexu-io/open-design ה-Bitter Lesson של ריצ'רד סאטן: https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdfלהאזנה לפרק בספוטיפיי: https://open.spotify.com/show/54gAppYYCFoKNP2GqL6coFאקספליינבל, הפודקאסט המוביל בישראל לכל מה שמעניין ב-AI, דאטה סיינס ולמידת מכונה.
הפודקאסט המוביל בישראל לדאטהסיינס ולמידת מכונה ExplAInable! ️ ד"ר מייק ארליכסון ושמעון מויאל מארחים את גלעד לוי, מייסד הסטארט-אפ Manifold מניפולד.גלעד הוא לא אורח רגיל בגיל 3 הוא כבר חישב חזקות בראש, ובגיל 17 סיים תואר ראשון במדעי המחשב בטכניון. בגיל 18 הוא כבר העביר את הקורס הראשון בארץ על טרנספורמרים. בשיחה מרתקת זו, אנחנו צוללים לתוך הבעיות המבניות של מודלי השפה של היום, ומדוע גלעד בחר לוותר על מסלול של דוקטורט באקדמיה לטובת הקמת חברה שתפתור את אחת הבעיות הגדולות בתחום: Learning Continual למידה רציפה.נושאים מרכזיים שדיברנו עליהם בפרק:● הדרך הלא שגרתית של גלעד: ממתמטיקה בגיל 3 ועד תואר בטכניון לפני גיל .18● למה אקדמיה היא כבר לא המקום לחקר מודלי שפה ענקיים )LLMs): הפער בין המשאביםבתעשייה למשאבים באוניברסיטאות.● המוח האנושי לעומת AI: בני אדם זוכרים מידע מטראומה או התרגשות קלה לנצח, בעוד מודליםזקוקים לכמויות דאטה עצומות וסובלים מ"שכחה" )forgetting Catastrophic).● מהי למידה רציפה )Learning Continual ?)החזון של Manifold להפוך מודלים לכאלה שלומדיםומתעדכנים כל הזמן, מבלי לאמן אותם מחדש מאפס.● מרוץ החימוש של חברות הענק: למה המרדף אחרי מודלים גדולים יותר ובנצ'מרקים לא בהכרחבונה "חפיר" )Moat )טכנולוגי אמיתי למוצר.● הזווית הציונית: למה להקים חברת חזית-AI דווקא בישראל ולהילחם על בריחת המוחות לסיליקוןואלי ולונדון.אל תשכחו לעשות לייק, להירשם לערוץ וללחוץ על הפעמון כדי לא לפספס את הפרקים הבאים!
ברוכים הבאים לעוד פרק של "אקספליינבל", הפודקאסט המוביל בישראל לדאטה סיינס ולמידת מכונה. בפרק הזה, ד"ר מייק ארליכסון מארח את שמעון מויאל לשיחה שכל איש טכנולוגיה, פיתוח ודאטה חייב לשמוע. כולם מדברים על "סוכני AI" (Agents) שיעשו במקומנו את כל העבודה ויאפשרו לנו לשבת כל היום בים, אבל האם זה באמת המצב? צללנו אל מאחורי הקלעים של מהפכת הסוכנים, וגילינו מציאות מורכבת, יקרה ולפעמים גם קצת מסוכנת. האמת הכואבת על הכסף: מתברר שלהריץ סוכני AI זה עסק יקר בטירוף. דיברנו על כך שהרצת מאה סוכנים במקביל עלולה לעלות מיליון דולר בחודש, ושהקמת מערכת "מולטי-אייג'נט" בארגון יכולה להגיע לחצי מיליון דולר. האם חברות ה-AI מסבסדות אותנו והחגיגה עומדת להיגמר? סוכני כאוס ואנטרופיה: מודלים של שפה הם סטטיסטיים והסתברותיים, מה שאומר שהם עלולים לעשות טעויות ולהכניס "בלאגן" (אנטרופיה) למערכות תוכנה מורכבות. שמעון משתף סיפור מטורף על סוכן AI שיצר פאניקה ברשת כשהעלה Pull Request של מיליון שורות קוד בניסיון להמיר פרויקט משפה אחת לאחרת, ללא שום פיקוח אנושי. מרד הסוכנים - סכנות האבטחה וה-Jailbreak: מה קורה כשנותנים ל-AI לנהל מכונת משקאות, ולקוחות מתוחכמים מצליחים לשכנע אותו לחלק פחיות בחינם או ב-99% הנחה? למה חייבים גורם אנושי שיפקח על הסוכנים האלו בזמן אמת? הפרדוקס הכלכלי של ההייטק: חצי מתעשיית ההייטק מוכרת מוצרים (כמו ג'ירה, סלאק ואופיס) לחצי השני. אם הסוכנים יחליפו את כל העובדים האנושיים ותהיה אבטלה, מי בדיוק ישתמש בתוכנות האלו וישלם עליהן? הסוף של Vendor Lock-in? הפחד של ארגונים להסתמך רק על חברות ענק כמו OpenAI או אנטרופיק (שיכולות לשנות מודלים או לחסום גישה פתאום), והמעבר לשימוש במודלים מקומיים או פתרונות ניתוב טיפ הזהב שלנו למתכנתים: אל תישארו מאחור. מי שישרוד הוא לא מי שרק כותב קוד, אלא מי שיודע להסתגל, להבין איך סוכנים עובדים, ולהפוך למנצח שמנצח על התזמורת הזו. האזנה חובה לכל מי שרוצה להבין לאן התעשייה שלנו באמת צועדת. שתפו את הפרק עם החברים שלכם שעדיין חושבים שה-AI ייקח להם את העבודה מחר בבוקר!