新規にissueを作成して、詳細をお知らせください。 貢献 コミュニティからのプルリクエストを歓迎します。もし大幅な変更を考えているのであれば、提案する修正についての議論を始めるために、issueを開くことから始めてください。 また、プルリクエスト ...

ローカルLLMを動かすためにWindowsにllama.cppを導入しましたが、普段の開発に使っているPython環境で扱えるよう、llama.cppのPythonバインドであるllama-cpp-pythonを導入して動かしてみようと思います。 公式Githubはこちらです。 GPUもしっかり活用していきたいので ...

以下の内容の踏まえ確認したところ、pipコマンドでビルドできるようです。 ただ、linux、windowsの場合に、ビルドに必要な環境やpythonパッケージをインストールしておく必要があります。 ＜以前の記事内容＞ llama-cpp-pythonというパッケージのプレビルドは公式 ...