#12: Let's reproduce GPT-2 という4時間のYoutube動画をみて今さら GPT-2 およびLLMを学び直した話
Tech Table Log: 同期エンジニアの雑談・勉強ログShow Notes
Lon が「Let’s reproduce GPT-2 (124M)」という YouTube 動画を通じて、GPT-2 のアーキテクチャや事前学習（pre-training）の実際を (今さら) 学んだ経験について話しています。
この動画では、AI界隈で著名な Andrej Karpathy 氏が、論文や公開実装を参照しながら 124Mパラメータ版 GPT-2 を再現する手順を丁寧に解説しており、これから LLM の理解を深めたい方にとって非常に有益な内容になっています。
今回のエピソードでは、動画を視聴して得られた気づきや、実際に手を動かして学んだ点、そして GPT-2 の構造が現在の LLM にどのように繋がっているのかについて議論しています。
参考リンク Let’s reproduce GPT-2 (124M): https://youtu.be/l8pRSuU81PU?si=uwQLaSuFrFdVUuWY
Transformer 解説動画: https://youtu.be/50XvMaWhiTY?si=bKAs5wH5dxGnOqI0
From GPT-2 to gpt-oss: Analyzing the Architectural Advances: https://magazine.sebastianraschka.com/p/from-gpt-2-to-gpt-oss-analyzing-the
More from Tech Table Log: 同期エンジニアの雑談・勉強ログ
PostgreSQLをドキュメント、ベクトル、全文検索、時系列、地理空間データ、メッセージキューとして活用する設計思想を解説した書籍の翻訳プロジェクトについて解説します。
Sebastian Raschka さんのブログをもとに、話題の GPT-6 Astra について「何が良くなったのか」「推測されているアーキテクチャ」「トークン効率」の3点から振り返りました。Mac mini / Mac Studio を操作対象にした強化学習で強くなった PC 操作、2018年の Universal Transformers に端を発する Looped Transformer や Mixture-of-Recursions、賢いモデルほど少ないトークンで答えにたどり着くという話と reasoning trace の監視性の論点などを話しています。
PostgreSQLの公式コミュニティにより「Significant Contributor」に認定されたShinyaの実体験を元に、大規模OSSコミュニティへの貢献プロセスと歩みについて解説します。
前回に引き続き対面収録で、2人が最近「始めたこと」と「やめたこと」について雑談します。 ポッドキャスト1周年 / オーダーメイドインソール / 睡眠トラッキング / Claude Cowork で栄養管理 / 筋トレとパーソナルトレーニング / 耳栓で睡眠改善 / Xをみなくなった話 / vibe codingと腰痛 / ELSA / 英語学習 / ディズニー英語
Lon が Cloudflare 社の OSS プロダクト「Cloudflare OS」を紹介するエピソードです。機能紹介ブログと CIO によるブログの 2 本をもとに、エージェント用ワークスペース、セキュリティとアクセス権限管理、アプリの配布・共有という 3 つの柱を解説しています。データアクセス権限だけでなく AI が生成したアウトプットに対する権限管理まで考慮されたセキュリティ設計や、ノンテクニカルな人にも使いやすくするための工夫、V1 の課題を踏まえた V2 の設計思想についても取り上げています。