通常版の30B MoEモデルのアップデートに続き、Coder版も公開されました。そしてunsloth氏も数時間後にgguf版を公開しています。 通常版と同様に、CPU側に溢れる事を見越して、GPU利用を制限します。 筆者環境では、num_ctx=64kとした場合、num_gpu=40程度が上限でした ...