Qwen3.6-35B-A3BをMacで動かす:必要メモリと量子化の選び方

Qwen3.6-35B-A3BをMacで動かす:必要メモリと量子化の選び方

#ai#ローカルLLM#開発環境

Qwen3.6-35B-A3Bは、Mac StudioなどのApple Silicon搭載MacでローカルLLMを使いたいときに候補になるモデルです。 総パラメータ数は35B(350億)ですが、文章を生成するときに一度に使うのは約3B(30億)です。 学習済みの数値データを「重み」と呼びます。 このデータの保存精度を落とす「量子化」を使えば、重みの容量を20GB前後まで抑えられます。公式モデルカード、MLX 4bit版

普段の開発に使うメイン機で、補助としてローカルLLMを動かすなら、64GBのMac Studioでも4bitを勧めます。 エディタ、ブラウザ、コンテナなどとメモリを分け合うため、LLMの占有量を抑え、いつもの作業に余裕を残す選び方です。 6bitや8bitは、LLMに多くのメモリを割ける場合や、出力品質の改善が見込める場合に検討します。

以下の配布容量と仕様は、2026年11月14日時点の公開情報に基づきます。 Mac上で一つのモデルを動かし、普段の開発作業と併用する使い方を想定しています。 LM Studioでモデルを動かし、OpenCodeにつないでコードの読み取り、編集、テスト実行に使う手順まで紹介します。

Qwen3.6-35B-A3Bがローカル実行の候補になる理由

Qwen3.6-35B-A3Bは、入力に応じてモデルの一部を選んで計算するMoE(Mixture of Experts)を採用しています。 モデルは文章を「トークン」という単位に分けて扱います。 名前の「35B」は全体の規模、「A3B」は1トークンの計算で使うパラメータ数を表します。 35Bの全体を毎回計算する構造に比べて、トークンごとの計算量を抑えられます。公式モデルカード

ただし、入力によって選ばれる部分は変わります。 通常の実行では、選択先となるモデル全体の重みを保持する必要があります。 A3Bでも、保存する重みは35B規模です。 計算に使う部分の小ささと、必要なメモリ容量は分けて考えます。

量子化では、保存精度を落とす代わりに、容量とメモリ使用量を減らします。 たとえばmlx-communityが配布する4bit版は約20.4GBです。 Mac Studioのように比較的大きなメモリを搭載できるMacなら、この重みを置く余地を確保しやすくなります。MLX 4bit版の配布ファイル

Apple Siliconでは、CPUとGPUが同じメモリ領域にアクセスできます。 MLXもこの統一メモリを利用し、CPUとGPUの間で配列をコピーせずに処理する設計です。 一方、そのメモリはmacOSやブラウザ、エディタにも使われます。 Macの「メモリ64GB」を、モデル専用の「VRAM64GB」として見積もることはできません。MLXの統一メモリ、Appleのメモリ使用状況ガイド

Qwenはこのモデルで、フロントエンド開発やリポジトリ全体を対象にした推論の改善を掲げています。 コードの説明や修正案を試す候補になりますが、ファイル編集やテスト実行まで自動化するには、それらを操作するエージェント側の設定も必要です。公式の機能紹介

Macで使うならMLXとGGUFをどう選ぶか

Mac向けの配布を探すと、主にMLX形式とGGUF形式が見つかります。 MLXはApple Silicon向けの機械学習フレームワークで、その実行環境に合わせたモデルがmlx-communityなどから配布されています。 GGUFはllama.cppなどで使うモデル形式です。 LM Studioは、Apple Silicon搭載Macで両方を実行できます。MLX公式、LM Studio公式ドキュメント

選択肢選ぶ理由選ぶときに確認すること
MLXApple Silicon向けのMLXで実行する。今回の比較対象はmlx-communityの4bit版と8bit版使用するアプリが、そのモデル構造と量子化方式に対応しているか
GGUFQ4_K_M、Q5_K_M、Q6_Kなどから容量を細かく選べる配布元、量子化名、ファイル容量。実行アプリのllama.cpp対応状況も確認する

メイン機で日常的に使う構成として、LM StudioとMLX 4bit版を提案します。 約20.4GBの配布を使い、他アプリに使えるメモリを残します。 出力品質を改善するために保存精度を上げたい場合は、GGUFの5bitや6bitも比較候補になります。 速度も比べる場合は、同じMacで同じ入力を使い、実行時間を測ります。

「4bit」は、すべての重みを一律4bitで保存することを保証する名前ではありません。 一部を高い精度で残したり、量子化のための追加データを持ったりするため、35Bに0.5バイトを掛けた17.5GBとは一致しません。 GGUFのQ4_K_MとMLXの4bitも、同じ圧縮方法として比較せず、それぞれのファイル容量を確認します。

同じGGUFの量子化名でも、配布元によって容量は異なります。 Q4_K_Mは、ggml-org版が約20.5GB、bartowski版が22.29GBです。 bartowski版は、生成を高速化するための追加の重みを含むと説明しています。1 ダウンロード時は、量子化名に加えて、配布元とファイル容量を確認します。ggml-org版、bartowski版

メイン機での併用を前提に量子化を選ぶ

4bitは少ないメモリで動かすための選択、6bitや8bitは重みの精度をより多く残す選択です。 GGUFのQ4_K_MやQ6_Kは量子化方式の名前で、数字が保存精度のおおよその目安になります。 ただし、8bitにすればすべての回答が正しくなるわけではありません。

モデル選びでは、まず配布ファイルの容量を確認し、その上に実行時のメモリを見込みます。 会話の計算結果を保持するKVキャッシュや、演算用バッファなどが必要になるためです。 Macでは、そこからさらにOSと他アプリの使用分を確保します。

MLXの代表的な配布は次の容量です。 この表には実行時のキャッシュやバッファは含みません。

配布公開容量GiB換算の概算
mlx-community 4bit約20.4GB約19.0GiB
mlx-community 8bit約37.7GB約35.1GiB

GGUFは比較条件をそろえるため、bartowski版を基準にします。 右端の値は、ファイル容量のGiB換算に4〜6GiBを加えた計画用の概算です。 llama.cpp系で全重みを常駐させ、128Kコンテキストで一つの会話を扱う想定です。 コンテキストはモデルが一度に扱う入力や会話の範囲で、128Kは131,072トークンを表します。 128Kを前提にする理由は、コンテキスト設定の節で説明します。 トークン数と文字数は一致しません。 実測値ではなく、実行アプリやバッチサイズによって範囲を超えることがあります。

量子化配布ファイル容量GiB換算実行時メモリの概算
IQ4_XS19.70GB18.3GiB約22〜24GiB
Q4_K_S21.49GB20.0GiB約24〜26GiB
Q4_K_M22.29GB20.8GiB約25〜27GiB
Q5_K_M25.91GB24.1GiB約28〜30GiB
Q6_K30.95GB28.8GiB約33〜35GiB
Q8_037.81GB35.2GiB約39〜41GiB
BF16(16bit、非量子化)71.07GB66.2GiB約70〜72GiB

配布容量の出典はbartowskiのモデルカードです。 GBは10進、GiBは2進の単位で、1GiBは約1.074GBです。 右端にはmacOSや他アプリの使用分を含めていません。 画像入力や、MTPを使った高速化に伴う追加メモリも、この概算の対象外です。1 MLXの実行時メモリは別の実装で決まるため、この上乗せ量をそのまま当てはめません。

メイン機での併用なら、搭載メモリが増えても、まず4bitを基本にします。 たとえばMLXの4bit版と8bit版は、公開容量だけで約17.3GBの差があります。 64GBのMac Studioでも、4bitを選ぶことでブラウザのタブや開発用コンテナに回せる余地が増えます。

次の表は、コンテキスト長を128Kに設定して使う場合の選定の目安です。 右端はLLMにメモリを多く割ける場合の候補で、最低必要メモリの実測結果ではありません。

Macの搭載メモリメイン機で併用する場合LLMにメモリを多く割ける場合
24GB4bitでも余裕が小さい。より小さいモデルも検討する4bitでも、コンテキスト長を短くして使用量を確認する必要がある
32〜36GB4bitを候補に、普段使うアプリと同時に動かして確認する4bitが出発点。32GBでQ6_Kは推論用の概算だけで搭載メモリを超える
48GBMLX 4bit、GGUF Q4_K_Mを基本にするGGUF Q5_K_M、Q6_Kが候補
64GB4bitを推奨。余裕は普段の開発作業に残すMLX 8bit、GGUF Q8_0も候補
96GB以上4bitから始め、他アプリの使用量と品質の差を見て調整する8bit、用途によってBF16も容量上の候補

Macでは、物理メモリの空きに加えて、GPU処理で固定して使えるメモリの制約も影響します。 MLX-LMの公式資料も、搭載RAMに対してモデルが大きい場合は遅くなる可能性を説明しています。 容量ぎりぎりの8bitを選ぶより、6bitや4bitで余裕を残すほうが使いやすい場合があります。MLX-LMの大きなモデルに関する説明

1〜3bitの配布もありますが、容量を削るほど出力品質との交換条件が大きくなります。 bartowskiはQ3_K_Mを低品質と評価し、Q4_K_Mを多くの用途での標準候補としています。 コーディング用途では4bitを基本にし、品質に不満があり、他アプリのメモリも確保できる場合に5bit、6bit、8bitを比較します。量子化ごとの配布者の評価

Mac Studioで使い始める手順と初期設定

導入にはLM Studioを使います。 モデルの検索、ダウンロード、チャットまでを一つのアプリで行えます。 Apple Silicon搭載MacでMLXを利用でき、GGUFへ切り替える場合も同じアプリを使えます。LM Studio公式

  1. LM StudioのMac向けアプリをインストールします。アプリ内で⌘ + Shift + Rを押すと、モデルを読み込んで計算する実行エンジン(ランタイム)を管理できます。使う形式のランタイムを確認し、必要な更新を適用します。
  2. モデル検索を開き、mlx-community/Qwen3.6-35B-A3B-4bitを検索します。Hugging FaceのURLをそのまま貼り付ける方法も使えます。配布元、モデル名、4bitの表記を確認してダウンロードします。
  3. ダウンロードしたモデルを読み込みます。コンテキスト長は131,072トークン(128K)に設定し、短いテキストで返答を確認します。Qwenは、思考能力を保つために128K以上のコンテキスト長を勧めています。メモリが足りない場合に限り、64Kへ下げます。公式の推奨
  4. アクティビティモニタの「メモリ」を開き、モデルの読み込み前後と生成中の変化を確認します。エディタやブラウザを普段どおり開いた状態でも、同じ入力を試します。

モデルの検索方法と、モデルごとのロード設定の保存方法は、LM StudioのダウンロードガイドとPer-model Defaultsに記載されています。 GGUFを使う場合は、検索対象をbartowski/Qwen_Qwen3.6-35B-A3B-GGUFに替え、必要な量子化ファイルを選びます。 配布リポジトリ内の全ファイルをまとめてダウンロードする必要はありません。

最初の確認は、たとえば「この関数の処理を日本語で説明し、境界条件で気になる点を挙げてください」という依頼で十分です。 答えの正しさを自分で判定できる短いコードを使います。 読み込みが安定してから、複数ファイルや長い会話へ進めます。

OpenCodeにつないでコードの編集とテストを任せる

モデルにコードの修正案を出してもらうだけなら、チャット画面で足ります。 ファイルを探して読み、実際に書き換え、テスト結果を見て修正を続けるには、その作業を進める仕組みが必要です。 このような実行環境を「ハーネス」と呼びます。 ここではOpenCodeにその役割を任せます。

役割は三つに分かれます。

担当役割
Qwen3.6-35B-A3Bコードを読み、次に行う操作や修正内容を考える
LM StudioMac上でモデルを動かし、HTTP APIでOpenCodeからの依頼を受ける
OpenCodeファイルの読み書きやコマンド実行を行い、結果をモデルへ返す

このやり取りで使うのが、モデルから「この操作を実行してほしい」と要求するツール呼び出しです。 OpenCodeが操作結果をモデルへ返すことで、修正と確認を続けられます。LM Studioのツール呼び出しの説明

1. LM StudioのモデルをAPIから呼べるようにする

ここではMac内の127.0.0.1:1234で、API認証を使わない構成にします。 OpenCodeは指示やファイル内容、操作結果もモデルへ渡すため、ここでも128Kのコンテキスト長を使います。 APIから呼ぶための名前を付けて読み込み直すので、先ほどの確認が済んだら、LM Studioで対象モデルを一度メモリから外します(アンロード)。

ターミナルでlmsが見つからない場合は、Node.jsとnpmが使える環境で次を実行します。LM StudioのCLI導入案内

npx lmstudio install-cli

LM Studioを起動した状態で、次のコマンドを実行します。 モデルの選択画面では、ダウンロード済みのQwen3.6-35B-A3Bの4bit版を選びます。

lms load --context-length 131072 --identifier qwen36-local
lms server start --port 1234 --bind 127.0.0.1
curl http://127.0.0.1:1234/v1/models

qwen36-localは、APIから呼ぶために付けた名前です。 最後のコマンドの結果に、この名前のモデルが含まれていることを確認します。 サーバーをすでに起動している場合は、LM StudioのDeveloper画面で待ち受け先とポートを確認してください。モデル名とコンテキスト長の指定、APIサーバーの起動

2. OpenCodeをインストールして接続先を設定する

以下はOpenCode v2系の設定例です。 Homebrewが使えるMacでは、公式のコマンドでインストールできます。OpenCodeの導入手順

brew install anomalyco/tap/opencode-v2
opencode --version

表示されるバージョンが2系であることを確認します。 v1系とは設定項目の名前が異なります。

作業するリポジトリのルートにopencode.jsoncを作成し、次の内容を保存します。 既存の設定がある場合は、必要な項目を追加します。 この例のモデル名とポートは、先ほどのLM Studioの設定にそろえています。OpenCodeの設定ファイル、ローカルモデルの接続設定

{
  "$schema": "https://opencode.ai/config.json",
  "model": "local/qwen36",
  "providers": {
    "local": {
      "name": "LM Studio on Mac",
      "package": "@opencode/ai/providers/openai-compatible",
      "settings": {
        "baseURL": "http://127.0.0.1:1234/v1"
      },
      "models": {
        "qwen36": {
          "modelID": "qwen36-local",
          "capabilities": {
            "tools": true,
            "input": ["text"],
            "output": ["text"]
          },
          "limit": {
            "context": 131072,
            "output": 8192
          }
        }
      }
    }
  }
}

変更するときに押さえるのは、次の三点です。

  • baseURLはLM StudioのAPIの接続先です。ポートを変更したら、ここも合わせます。
  • modelIDはLM Studio側のモデル名です。OpenCode内ではlocal/qwen36という名前で選択します。
  • limit.contextはLM Studioで設定したコンテキスト長に合わせます。limit.outputは1回の応答に使う出力トークン数の上限です。

OpenCodeの公式の設定例はcontextを32768にしていますが、この記事では131072にしています。 OpenCodeは、コンテキストの15%(最低16K)を空けた位置で、古い会話を要約に置き換える「圧縮」を自動で始めます。 32Kの設定では、半分ほど使った時点(約16Kトークン)で圧縮が始まります。 圧縮後も直近の約15,000トークンは残す既定のため、圧縮しても空きがほとんど増えない計算です。 128Kなら、圧縮が始まるのは約111Kトークンです。OpenCodeの圧縮の仕様

tools: trueは、OpenCodeにツール呼び出し対応を伝える設定です。 実際にその形式で応答できるかは、モデルとLM Studioの実行エンジンにも依存します。 チャットが返ることに加えて、ファイルを読む操作まで成功するかを確かめます。

3. 小さな修正とテスト実行を試す

リポジトリのルートでOpenCodeを起動します。

opencode

/modelsを開き、local/qwen36を選択します。 編集とコマンド実行を行うには、標準のBuildエージェントを使います。 調査や修正方針の検討だけを先に行うなら、Planエージェントも使えます。モデルの選択、BuildとPlan

最初は、次のような小さな依頼で接続を確かめます。

READMEとテストの設定を読んで、このプロジェクトのテスト実行方法を説明してください。
まだファイルは変更しないでください。

ファイルを読む操作と回答を確認できたら、再現条件が分かっているバグを一つ渡します。 対象ファイル、再現手順、期待する動作を添え、「関連箇所を修正し、テストを実行して結果を報告してください」と依頼します。 最後に差分とテスト結果を確認すれば、チャットから開発作業へ進めます。

毎回伝えるルールは、リポジトリのAGENTS.mdに置けます。 たとえばnpm testでテストするプロジェクトなら、次のように書きます。 既存のAGENTS.mdがあれば追記し、テストコマンドは実際のプロジェクトに合わせます。OpenCodeのプロジェクト指示

# 開発時のルール

- 返答と変更内容の説明は日本語で書く。
- 修正前に関連するコードと既存テストを読む。
- 変更後は `npm test` を実行する。
- 最後に変更したファイル、テスト結果、未解決の問題を報告する。

接続がうまくいかない場合は、止まった場所に応じて確認します。

症状確認すること
APIに接続できないLM Studioのサーバーが起動しているか。baseURLのポートとAPI認証の設定が合っているか
モデルが見つからない/v1/modelsに出る名前とmodelIDが一致しているか
会話はできるがファイルを操作しないBuildを選んでいるか。モデルがツール呼び出しに対応し、ランタイムと会話テンプレートが適合しているか
コンテキスト上限のエラーが出るLM StudioとOpenCodeの設定が一致しているか。対象ファイルや会話が大きくなりすぎていないか

この構成でも、テストやビルドを実行すれば、その分のメモリを使います。 64GBのMac Studioで4bitを選ぶ理由には、モデルと一緒に動く開発環境の余裕を残すことも含まれます。

長いコードを渡すときのコンテキスト設定と追加メモリ

コンテキストには、入力したコードや指示に加え、保持している会話履歴と生成済みの出力も含まれます。 Thinkingモードの推論用の出力や、OpenCodeが毎回送る指示とツールの定義も、同じ枠を使います。 コードが収まる長さだけを確保すると、返答や次のやり取りに使える余地が小さくなります。

Qwen3.6-35B-A3Bのネイティブの上限は262,144トークンです。 Qwenは、メモリが不足する場合はコンテキストを短くしてよいとしたうえで、思考能力を保つために128K以上を維持するよう勧めています。 この記事の手順で128Kを初期設定にしているのは、この推奨に合わせるためです。公式のコンテキスト仕様、公式の推奨

長い会話で増えるメモリの一つが、過去の計算結果を再利用するKVキャッシュです。 Qwen3.6-35B-A3Bで入力の長さに比例して増えるKVキャッシュは、16bit精度で保存すると1トークンあたり20KiBと計算できます。2 保持するトークン数に応じた理論値は次のとおりです。 ほかの状態保存や演算用バッファは含みません。

保持するトークン数FP16/BF16のKVキャッシュ本体
8K(8,192)約0.16GiB
32K(32,768)約0.63GiB
64K(65,536)約1.25GiB
128K(131,072)約2.50GiB
256K(262,144)約5.00GiB

128Kを使い切っても、KVキャッシュ本体は約2.50GiBです。 MLX 4bit版の重み約19.0GiBに対して、1割強の上乗せで済みます。 32Kに抑えても節約できるのは約1.88GiBで、その代わりに長いコードや長い会話を扱えなくなります。 256Kまで伸ばす場合は、128Kからさらに約2.50GiB増えます。 実行エンジンによって事前確保の方法やキャッシュの精度が異なるため、この表をアプリの総メモリ使用量としては扱いません。

設定した長さは上限です。 入力の処理にかかる時間は実際に送ったトークン数で決まるため、128Kに設定しても短い会話が遅くなるわけではありません。 一方で、数万トークンのコードを初めて渡すときは、その全体を処理する待ち時間が生じます。

読み込み直後は動いていても、長い入力を送ったところで重くなることがあります。 入力を処理する際にも演算用の作業領域が必要になるためです。 問題が出たら、まず同時に読み込んでいる別モデルを外し、不要なアプリを閉じます。 それでも足りない場合に、コンテキスト長を64Kへ下げるか、入力を短くして変化を確かめます。 まとめて処理するトークン数(バッチサイズ)を変更できる実行環境なら、それも調整候補になります。

メモリの状態は、空き容量の数字だけで判断しません。 アクティビティモニタで、メモリの余裕を示すメモリプレッシャーを見ます。 メモリが足りずSSDを一時的な置き場にする「スワップ」の使用量が、生成中に増え続けていないかも確認します。 メモリプレッシャーが黄色や赤色になる場合は、他アプリの使用量やモデルの設定を見直します。Appleのメモリプレッシャーの説明

コーディングでの使い勝手を確かめる

容量が収まったら、普段の作業で待てる速度と、修正に使える出力かを確認します。 比較するときは、Macのチップとメモリ、実行アプリとランタイムのバージョン、配布元と量子化、コンテキスト長を記録します。 同じ「Mac Studioで4bit」でも、チップ世代や設定が違えば結果は変わります。

最初の評価には、正解を確認しやすい次の三つの作業が向いています。

  • 既存の関数を説明させる。分岐や例外処理を読み落としていないかを確認する。
  • 再現条件を用意した小さなバグを修正させる。修正後に、失敗していたテストと既存テストを実行する。
  • 既存コードに合わせてテストを追加させる。使っていないライブラリや存在しないAPIを持ち込んでいないかを確認する。

速度は、入力を送って最初のトークンが出るまでの時間と、生成が始まってからのトークン毎秒を分けて記録します。 Thinkingモードでは最終回答の前に推論用の出力が生成されるため、最終回答が届くまでの時間も見ます。 量子化を比較するときは、Thinkingの有無と生成設定をそろえます。公式のThinkingモードの説明

4bitで十分な修正ができ、普段使うアプリと併用しても安定するなら、その設定を残せます。 誤りが気になり、メモリにも余裕がある場合は、同じ課題を6bitや8bitでも試し、改善するかを確かめます。 保存精度を上げても変わらない誤りは、モデル自体の能力や渡した情報の不足による可能性もあります。

64GBのMac Studioをメイン機として使うなら、日常用は4bitを勧めます。 保存精度を上げるかどうかは、修正の手間が減る効果と、普段の開発作業への影響を比べて決めます。 いつものアプリを開いたまま、コードの修正とテストまで試すと、併用できる設定を選びやすくなります。

Footnotes

  1. MTP(Multi-Token Prediction、複数トークン予測)は、複数のトークンを先読みして生成を高速化するための仕組みです。bartowski版はMTP用の層を追加したと説明しています。効果や追加メモリは実行エンジンと設定によって変わります。配布者の説明 ↩ ↩2

  2. 公式設定では40層のうち10層がFull Attention、30層がGated DeltaNetです。Full Attention側のKVキャッシュ本体は、10層 × 2(KとV)× 2ヘッド × 256次元 × 2バイト = 20,480バイト/トークンです。Gated DeltaNetの状態メモリは別に必要です。公式設定ファイル ↩

この記事をシェア