Show Notes
【トーク内容】 新しいAIモデルが出るたびに、「生成AI、どれがいい？」と迷います。AI比較の記事やベンチマークのスコアを見ても、自分の仕事にどれだけ役立つかまでは分かりません。今回は、現役AIエンジニアのしぶちょーに、自分専用のAIベンチマークの作り方を聞きます。
しぶちょーが新モデルのたびに試すのは、「旋盤のゲームを作ってください」と一言だけ渡す旋盤ゲームベンチです。条件は、自分の専門分野であること、30分ほどで回せること、結果が一目で分かること。有名な「自転車に乗るペリカンのSVG」が引退しつつある話、同じお題を3〜5回走らせる理由、性能が落ちる「ナーフ」の見え方を経て、最後は「いいベンチはいつか死ぬ」という話まで。
後半は、AI素人のかねりんが自分のベンチを探します。なかでも話が膨らんだのは、かねりんの声が欠けた伝説の回（ep.31）をAIに面白く補完させるお題と、人間より面白い対話をAIができたらMC引退を考える「引退ベンチマーク」。途中の脱線では、ビデオポッドキャストに意味はあるのか、しぶちょーのショートがインスタで3〜4万再生された話もしています。
【目次】 00:00:00 オープニング／しぶちょーの旋盤ゲームベンチ・月10万円ベンチ 00:09:58 脱線：ビデオポッドキャストに意味はある？ 00:14:59 ショートがインスタで3〜4万再生／動画は動画に振り切る 00:23:22 切り貼りベンチ／定量より定性でいい／ペリカンベンチ引退 00:31:49 本題：自分流AIベンチマークを作る5つの視点 00:37:14 固定課題と派生・採点は3〜5回／いいベンチはいつか死ぬ 00:44:16 かねりんのベンチ探し／工場シミュレーター・名古屋弁・刑事 00:52:22 伝説の欠損回をAIに補完させる／引退ベンチマーク案 01:04:40 まとめ：公式スコアはお勉強、自作ベンチは自分の物差し／エンディング 01:08:27 アフタートーク
【今回の放送回に関連するリンク】 ▼本編で話した伝説の回（ep.31） https://ochitsuki-ai.com/episodes/ep-031
【今回の要チェックキーワード】 ベンチマーク：AIモデルの性能を、同じお題で測って比べるためのテスト。 定量評価・定性評価：数字で測る評価と、見た目や手応えで判断する評価。自作のベンチは定性でもよい。 LMアリーナ：2つのAIの回答を人が見比べて投票し、順位をつけるサイト。 旋盤（せんばん）：金属を回しながら削る工作機械。しぶちょーの自作ベンチのお題。 SVG：線や図形を式で描く画像形式（ベクター形式）。拡大しても粗くならない。 ペリカンベンチマーク：自転車に乗るペリカンのSVGを描かせる有名なベンチ。差が出にくくなり、番組では「ほぼ引退」と紹介。 固定課題とシャドウ課題：毎回同じお題と、表に出さない秘密のお題。お題への最適化を見抜くために両方を持つ。 ナーフ：提供中のAIの性能が、公開時より下がること。ゲーム用語から。 TTS：文字を音声に変える技術（Text to Speech）。 インセプションのトーテム：映画『インセプション』で、夢か現実かを確かめるために自分だけが持つ小道具。
—---------------------------- 【番組の概要】 日々のAIトピックを、現役のAIエンジニアがやさしく解説する対談番組。AIニュースに驚き疲れたあなたに、おちつきを提供します。AIニュースの、驚くポイント、驚かなくても良いポイントがわかります。
★ご感想やコメントは、番組公式ハッシュタグをつけてX（旧Twitter）でポストしていただけるとありがたいです。
【番組公式Webサイト】※お便りはこちらから https://ochitsuki-ai.com/
【番組公式ツール】 ・おちつきAI RAG https://ochitsuki-airag.com/
【おちつきAI【切り抜き】】 ・Spotify https://open.spotify.com/show/1ZDi70pwl9jQaLGD9mIDPq ・Apple Podcasts https://podcasts.apple.com/jp/podcast/id6814639855
【番組公式ハッシュタグ】 #おちつきAI
【番組公式X】 https://x.com/ochitsuki_AI
【コミュニティの案内】実践型の有料コミュニティで、みんなでAIを触っておちつこう！https://rooom.listen.style/p/ochitsuki-ai?tab=membership
【パーソナリティ(MC)】 ▼しぶちょー ・AIエンジニア ・技術士(機械部門) 「大手機械メーカーでAI開発の最前線を担う現役エンジニア。AI（ディープラーニング）の実装スキルを証明する「E資格」を保有。機械（ハードウェア）への高度な知見も有し、双方の専門性を掛け合わせ『AIの社会実装』に貢献する。情報発信活動にも精力的に取り組み、ブログ・音声配信(Podcast/Voicy)・SNSなどで幅広く活躍。単なる技術解説でなく、行動変容を伴う情報発信を信条とする。その姿勢が評価され、2025年UJA科学広報賞 審査員特別賞を受賞。著書に『集まれ設計１年生 はじめての締結設計』（日刊工業新聞社）。岐阜県テクノプラザものづくり支援センター広報大使、生成AI EXPO in 東海 共同代表も務める。」 https://x.com/sibucho_labo https://voicy.jp/channel/3963
▼金田勇太（かねりん） ・KANERIN Podcast Studios 代表 ・一般社団法人 地方WEB3連携協会 理事 「刑事司法実務の最前線で多数の犯罪捜査を指揮。2017年から暗号資産業界へ参入。数々のグローバルプロジェクトに参画しコンサルティング、情報分析・アドバイザリー業務を提供。コンサートライブ配信業、音声配信業、テックメディア創業等を経て、ポッドキャストレーベル兼プロダクション「KANERIN Podcast Studios」を創業。多様なパートナーと共に、未来へつなぐ声の原典を共創している。」 https://x.com/kanerinx https://voicy.jp/channel/2534
【制作】 番組演出（トーク・BGM・効果音）：Aviv Haruta カバーアートデザイン：UTA プロデューサー：金田勇太（かねりん） 制作：KANERIN Podcast Studios 著作：株式会社KANERIN https://kanerin.co.jp
LISTENで開く
More from おちつきAIラジオ〜生成AIニュースをやさしく解説〜
【トーク内容】 「AIかねりん」は作れるのか。自分そっくりのAIクローンを作るには、声（音声クローン）・顔（AIアバター）・頭脳の3つが要ります。2時間のインタビューで本人の意見を83%ほど再現した研究から、AIエンジニアのしぶちょーが今の技術でできることを整理します。 AIクローンは何に使われているのか。お葬式などのグリーフテック、社長や経営者のAIアバター、アメリカの裁判で被害者をAIで再現した事例、コンテンツの多言語化まで。後半はElevenLabsを使ったAIかねりんの作り方と、AIに代われるなら人間の価値はどこにあるのか。AIが量産する文章と読解力の話、しぶちょーが映画を見ない話から、おちつきクラシックで右脳を開花させる話へ。
【トーク内容】 中国のDeepSeekが出した新しいV4.1 Flashは、一部のベンチマークでFableやAstraを超えたと話題になりました。本当に「DeepSeekショック」と呼ぶほどなのか、安さと実力をAIエンジニアのしぶちょーが見立てます。DeepSeek専用のハーネス（Claude Codeのような道具）の話も。 後半は、OpenCodeでGLM-5.3-Flashが期間限定で無料に。APIキーが漏れて高額請求される「API破産」を防ぐ設定、GrokとCursorが1つになったXの新しいサブスク、自分の声で話せるGrok Voice 3.0、Amazonの会話を覚えるAIレコーダー「Bee」まで。冒頭はお知らせ。コミュニティは10月で終わり、11月から毎週オフレコ音声がメールで届く形に変わります。
【トーク内容】 1年後のAIはどうなる？おちつきAIラジオ1周年記念イベントで募集した「1年後のAI予想」のお便りは22通。公開収録で読めたのは5通だけだったので、残りの17通を全部返しました。
▼おちつきAIラジオの公式グッズ（ECショップ） kanerin.co.jp/to/shop/xs4986
【公開収録・からあげ帝国放送局とのコラボ回】2026年5月16日、神戸で開かれたポッドキャストのイベント「PODCASTMIXER 2.0」での公開収録です。名前を伏せたAIの回答を読んで、どのAIが書いたかを当てる——。イベントの最後のセッションで、AIエンジニアのからあげ先生（からあげ帝国放送局）と「AIソムリエバトル」で対決しました。ChatGPT・Claude・Gemini・Grok・DeepSeekの中から選ばれた3つの回答を読み比べ、長さや言い回しの“香り”で書き手を見抜きます。お題は「人生で大切なことを3つ」、会場から募った相談、そして最終問題は「唐揚げにレモンをかけたら死刑ですか」。負けたら唐揚げにレモン。AIのプロ同士でも外す目隠し対決、勝ったのはどちらか。