Bonsai 27Bの1-bit量子化、スマホ級ローカル運用の現実

確認できたこと

PrismMLは2026年7月14日、Qwen3.6 27Bをベースにしたマルチモーダルモデル「Bonsai 27B」を発表しました。1-bitのBinary Bonsaiと、ternary（-1・0・+1）のTernary Bonsaiを用意し、公式発表ではそれぞれ約3.9GBと約5.9GBの重みフットプリントと説明されています。

公式発表の数値は、1-bit版が実効1.125 bit/weight、ternary版が実効1.71 bit/weightです。どちらも言語ネットワーク全体を低ビット表現にする設計で、埋め込み、Attention、MLP、LM headに高精度の逃げ道を残さないと説明されています。モデルは262Kトークンのコンテキストと画像入力に対応し、Apache 2.0ライセンスで公開されています。

ここでいう3.9GB・5.9GBは主にモデル重みのサイズです。コンテキスト長、KVキャッシュ、ランタイム、画像用コンポーネント、OSなどのメモリは別に必要になるため、「3.9GBのVRAMだけで常に動く」という意味ではありません。公式資料から、すべてのPCに共通する必要VRAMを一つの数値として確定することもできません。

公式のGGUFモデルカードは、1-bit版をQ1_0_g128として案内し、PrismML forkのllama.cppでCUDAまたはMetalを使う手順を掲載しています。公式デモリポジトリにはWindows、Linux、macOS、iOS向けのビルド経路もありますが、実際の対応状況はモデル形式とランタイムの組み合わせごとに確認が必要です。Bonsai 27Bは公式資料上、NSFW専用または非検閲モデルとして位置づけられていません。

公式モデルカードのベンチマークでは、同社の15タスク平均はFP16版85.07に対して1-bit版76.11、ツール呼び出しを含むAgentic / tool callingは80.00に対して66.03です。これはPrismMLが提示した評価結果であり、創作ワークフローの品質を直接保証する実測ではありません。また、モデルカード自身が長時間のマルチファイル・実行・修正を繰り返すエージェント型コーディングを、このリリースの強い用途ではないと記載しています。

コミュニティで見えた利用者報告

r/LocalLLMでは、利用者がXiaomi 14T Pro上でQ1版を動かし、スマートフォンで動くこと自体は印象的だが速度は平凡だったと報告しました。同じ投稿へのコメントでは、ピーク速度よりも初回応答時間、KVキャッシュの再利用、長時間稼働時の熱が重要だという別の現場経験も共有されています。これは特定端末での報告であり、スマホ全般の性能を示すものではありません。

r/LocalLLaMAの別の利用者は、8GB VRAMのRTX 5070 LaptopでTernary版をベンチマークし、モデルがGPU内に収まった一方、Terminal-Bench 2.0の結果は同じ環境に収まる9Bモデルを下回ったと報告しました。ツール呼び出しの構文は問題なくても、1-bit版はエージェントループで停止せず長大な出力になった、という同じ投稿者の報告もあります。これは統制された公式ベンチマークではなく、一つのハーネス・設定・試行条件による利用者報告です。

別のr/LocalLLM投稿では、利用者がVulkan実行時にGated Delta Netのfused処理が無効化され、CUDAへ切り替えると有効になったと報告しています。投稿者はこの差が生成ループの原因だと推測していますが、これは利用者による診断です。モデルカードはPrismML forkのllama.cppを使う手順を示しているため、サンプリング設定だけでなく、モデルのハイブリッド構造を実装したランタイムとビルドの組み合わせを確認する必要があります。

4060 Ti 16GBでTernary版を試した利用者からは、小さなタスクや文書処理では使える一方、指示追従や安定性は別の35B級モデルに及ばないという報告がありました。ツールを使った要約処理には使えたという具体例も同じ報告にあります。複数の投稿に共通するのは、重みを小さくできたことと、長いエージェント処理・ツール運用で信頼できることは別問題だという傾向です。

llimuの創作・ローカル運用への示唆

Bonsai 27Bは、27B級のモデルを小さな重みフットプリントでローカルに置けるという点で、未公開の設定資料や成人向け企画の下書きを外部APIへ送らずに整理する候補になります。ただし、ここでの価値は「27Bだから高品質」ではなく、手元のメモリで複数の創作補助タスクを試せる選択肢が増えることです。

導入時は、次の確認を分けて行うのが安全です。

1. 1-bitとternary、量子化形式、コンテキスト長、KVキャッシュ精度を固定し、実際のメモリ使用量と長文の一貫性を測る
2. PrismML forkを含むランタイムとGPUバックエンドを指定し、Vulkan・CUDA・Metalを同じ設定だとみなさない
3. 文章の続き、設定表の整形、画像説明、ツール付きの小タスクを別々に評価し、長いエージェントループを無検証で任せない
4. Apache 2.0の条件を確認し、NSFW創作で使う場合も非検閲性や成人向け適性をモデル名から推測しない
5. ローカル推論でも、生成物の年齢・同意・禁止事項・設定整合性を人が確認し、公開やファイル操作を自動化する場合は別の権限境界を設ける

今回の話題は、量子化が「大きなモデルを小さく保存する」だけでなく、実行バックエンドと評価方法まで含めて選ぶ技術になっていることを示します。創作で使うなら、スマホで動くという見出しだけを採用基準にせず、用途ごとの小さな非公開評価セットで、速度・一貫性・ツールの停止性を確認するのが現実的です。