今までQwen3.8-27Bをローカル実行して遊んだりしていましたが、Strataの登場でパラメーター数125BのQwen 3.8 Flash Nextが実行できるようになりました。Strataの何がすごいかというと、一般家庭にあるちょっとハイスペックなゲーミングPCで、このような大規模なモデルが動かせる点です。グラボのVRAMに入りきらない部分をメインメモリに入れ、CPUで実行することで速度と容量の最適化がされています。
今回のテストの目的
StrataはVRAM容量は少ないもののメインメモリは多く必要とするため、メインメモリを増さないといけない場合があります。うちのPCのDDR5メモリは現在32GB x2構成ですが、これを4枚構成にするとメモリのクロック周波数が落ちてしまうそうです（現在OCの6400MHz稼働）。メモリを増やしたのに遅くなったのでは本も子もありませんね。
メモリの性能が落ちることで推論速度にどのくらい影響があるのか調べてみました。
実験環境
私の実行環境はちょっと特殊で、Proxmox VE上でWindows 11を実行しています。GPUはパススルーしていますが、メモリはPVEで割り当てたものを使ってます。この仮想化によるメモリの速度低下は6%程度です。
ハードウェア構成
Ryzen 9 9950X3D
DDR5 64GB 6400MHz
RTX 5090 32GB
LLM環境、ベンチマーク条件
使用モデル: qwen3.8-flash-next-iq3_xxs
推論エンジン: Strata
ベンチマーク: lamma-benchy
–pp 可変 , –tg 512 , –depth 0 , –runs 10
（入力コンテキストは 1K, 4K, 16K, 32K, 64K, 120K の6パターン）
実験結果
入力値ランダム
実行するたびに結果のぶれが大きかったですが、平均するとクロック周波数が高い方が速いという結果になりました。しかしクロック周波数が25%低下したのに、推論速度の低下は数%程度でした。
PassmarkのMemory Writeの結果でも6400MHz=22929 → 4800MHz=21173と、実際のメモリの書き込み速度は8%程度の低下にとどまっています。PVEの仮想化環境が影響している可能性もありますがこれ以上は追求してません。
入力値固定
lamma-benchyのテストでは『シャーロック・ホームズの冒険』の英語本文から、毎回ランダムテキストを入力しているそうです。これが結果がばらつく原因ではないかと思い、毎回固定値を与えて実験してみました。相対的な比較目的なら固定値の方が都合がいいと思います。
結果のばらつきは少し減りました。一部を除いて高クロックの方が推論速度が速いという結果になりましたが、1、2%程度の違いしかありません。120Kではばらつきが大きく、この辺の値はあまり参考にしない方がいいかもしれません。
まとめ
この結果から、メモリを増設してクロック周波数を落としても、大した性能低下はなさそうです。ただしこれは今回使用したグラボもVRAM容量にも左右される可能性があり、VRAM容量によってはクロック周波数による差が大きくなるかもしれません。
UnityでVRChatのワールドを作ってみた
ローカルLLMにUnityを使ってVRChatのワールドを作ってもらいました。使用するハーネスはHermes Agentです。いきなりローカルLLMにやらせるのは荷が重いので、まずはGPT-6.1 Solに環境を構築してもらい、スキルの更新をしてからやりました。
Blenderとの連携もできるようにしましたが、今回は3Dモデルの制作は行わず、指定したアセットを使う方針で進めました。7時間ほどかけてできたワールドがこちら！
迷路のように複雑に入り組んだワールドができました。壁の位置がおかしなところもありますが（AIは意図した設計と主張）、部屋や通路の構造はちゃんとできています。最初コライダーがなくて床を貫通してしまいましたが、こちらもすぐに修正できました。
今回はHermes Agentを使って、メインエージェントとサブエージェントを両方とも同じモデルにしていました。メインエージェントは進行管理、サブエージェントが実作業です。しかしサブエージェントの作業があまりに長かったため、メインエージェントがしびれを切らして『サブエージェントが検討に時間をかけすぎて何一つ完了しませんでした。代わりに私が作業を続行します』と言い出して自分ではじめてしまったり、英文のThinkingの内容が出た状態で止まったり、なかなかスムーズには進みませんでした。
今後は IQ3_XXS からIQ3_S に変えてどうかや、メモリを増設して最大コンテキストを256Kにしたらどうかとか試してみたいと思います。