生成AI · 2026.11.22

LookAtMyQuantで何が変わる?5.4GB Inkling 2 Miniの5項目チェック

LookAtMyQuantで何が変わる?5.4GB Inkling 2 Miniの5項目チェック

結論から言うと、LookAtMyQuant版のInkling 2 Miniは「20GB級のローカルAIを、5.4GB前後まで落として試す」ための現実的な選択肢です。Thinking Machines公式のInkling 2 Miniは26.4B総パラメータ、5.4B有効アクティブ、最大100万トークン文脈、約20GBのローカル実行モデルとして公開されています。LookAtMyQuantはそのテキスト重み18.89GBを複数サイズへ圧縮し、5.38GB版でもGSM8K 87.0%、HumanEval Strict 71.3%、Vision 4/4という評価を示しています。

企業で見るべき点は、単に小さいモデルが出たことではありません。社内Mac、検証用iPhone、オフライン端末、機密データを外に出しにくい現場で、どの業務をローカルAIに任せるかを再設計できることです。ただし5.4GB版は万能ではなく、用途を絞ったPoCが前提です。

LookAtMyQuantとは?容量制約つきの量子化コンパイラ

LookAtMyQuantは、モデルの各部品を圧縮したときの出力劣化を測り、決めた容量内で損失が小さくなるよう符号を割り当てる量子化コンパイラです。GitHubではMITライセンスで公開され、Gemma 4 E2B、Qwen系、Inkling 2 Mini向けの結果が説明されています。

Inkling 2 Mini向けには3.85GB、4.72GB、5.38GB、8.87GB、11.18GB、12.76GBの6ビルドがあります。5.38GB版は1.65 bits per weightのSQYFR v2ビルドで、5.33GB active RAM、75.3 tok/s serial decode、124.4 tok/s median decodeが報告されています。

公式Inkling 2 Miniの前提:26.4B総パラメータと20GB級実行

Thinking Machines Labのモデルカードでは、Inkling 2 Miniはテキストと画像入力を受け、テキストを返す汎用マルチモーダルモデルです。リリース日は2026年11月20日、ライセンスはApache 2.0。用途はAIアプリ、エージェント、ツール利用、コーディング支援、RAG、チャットなどです。

アーキテクチャは24層のdecoder-only transformerで、中間12層を3回ループします。総パラメータは26.4B、通常のアクティブは3.4B、ループを含めた有効アクティブは1トークンあたり5.4Bです。公式には約20GBの単一チェックポイントで、Apple Siliconは32GB以上のメモリ推奨です。

5.4GB版で何ができる?評価数字から見る用途

LookAtMyQuantの5.38GB版は、GSM8K 174/200、HumanEval Strict 117/164、Vision 4/4、3タスク平均89.0%と報告されています。12.76GB版は教師モデルと同じGSM8K 193/200、HumanEval 152/164、Vision 4/4で100.0%平均とされるため、5.4GB版は「軽量だが上限ではない」位置づけです。

候補になるのは、一般チャット、定型コード補助、仕様書確認、画像付き問い合わせの一次分類などです。複雑なコード修正、長い推論、法務・会計のような高精度判断では、8.9GB以上やクラウドモデルとの併用を前提にすべきです。

5項目チェック:導入前に確認すること

  • 1. 端末条件:公式版は32GB以上推奨。5.4GB版もOS、アプリ、コンテキスト長込みで余裕を測る。
  • 2. 品質ライン:公開ベンチだけでなく、自社の20〜50問でクラウドモデルとの差分を記録する。
  • 3. データ境界:ローカル実行でも、ログ、キャッシュ、モデル配布経路、利用端末を棚卸しする。
  • 4. 失敗時の導線:低信頼回答は8.9GB以上、公式20GB版、クラウドAPIへ回すルールを作る。
  • 5. 更新運用:モデル、量子化ビルド、MLXランタイムを分けて検証し、同じテストセットで再評価する。

30日PoC:5.4GB、8.9GB、12.8GBを同じ課題で比べる

1週目は候補ビルドを3つに絞ります。おすすめは5.4GB、8.9GB、12.8GBです。5.4GBは配布しやすさ、8.9GBは品質と軽さの中間、12.8GBは教師同等に近い上限として比較できます。

2週目は、社内FAQ、コードレビュー、仕様書要約、画像付き問い合わせなどから30問ほど作ります。正確性だけでなく、速度、メモリ、クラッシュ率、再現性も記録します。3〜4週目は低リスク業務に限定して試し、ローカルで完結させるタスクと外部モデルへ送るタスクを分けます。

注意点:軽量版を本番エージェントへ直結しない

5.4GB版は魅力的ですが、軽さだけで本番エージェントに直結するのは危険です。量子化は平均性能だけでなく、長文、境界条件、ツール呼び出しの安定性に影響します。権限を持つエージェントでは、誤判断がファイル編集、API実行、顧客返信に直結します。

初期導入では「提案だけを出す」「人間が承認する」「外部送信しない」「ログを保存する」の4条件を置くのが現実的です。端末内AIはコストとプライバシーの面で強力ですが、誰がどのモデルで何を判断したのか追える状態が必要です。

FAQ:5.4GB版は社内MacやiPhoneで使うべき?

Q. 5.4GB版だけで公式20GB版を置き換えられますか? A. 置き換えではなく、用途限定の軽量版として見るのが安全です。公開値では12.8GB版が教師同等の評価を示す一方、5.4GB版はGSM8KやHumanEvalで差があります。

Q. ローカル実行ならセキュリティは十分ですか? A. 外部API送信は減りますが、端末内ログ、モデルファイル、プロンプト履歴、社内文書の保存場所を管理する必要があります。MDM、暗号化、利用ログまで含めて設計してください。

Q. 最初の導入対象はどこがよいですか? A. 社内FAQ、仕様書要約、コードレビュー観点出し、研修用のオフライン演習が向いています。自動実行や顧客返信はPoCの後半まで避けるべきです。

まとめ:5.4GBローカルAIは配布しやすさと検証設計がセット

LookAtMyQuant版Inkling 2 Miniの重要性は、20GB級のオープンウェイトモデルを、5.4GB、8.9GB、12.8GBへ分けて検証できる点です。企業導入では、端末条件、品質ライン、データ境界、クラウドルーティング、更新運用を決めてから小さく試すのが現実的です。

HelloCraftAIでは、ローカルAIやAIエージェントを社内導入する前のPoC設計、評価セット作成、セキュリティ運用の整理を支援しています。自社端末でどこまでAIを動かすべきか相談したい方は、お問い合わせください。