Ollamaを使って、Llama-3-ELYZA-JP-8Bを入れてOllama-uiでやってみる。

元々、OllamaのWindows版で、ローカルPCで小規模言語モデルPhi3-mini が使えるというQiitaのリンクを見たので、こちらを実行してみました。ollamaって翻訳するとオラマになるので、こう読むのか？？

Windows版 Ollama と Ollama-ui を使ってPhi3-mini を試してみた - Qiita

しかし、動作は上手くいっても言語モデルの性能が、途中で回答がおかしくなるため、別の記事を見てたら、日本語に特化した大規模言語モデル Llama-3-ELYZA-JP-8Bを動作できるというのがあったので、こちらのモデルにしてみました。

「よーしパパ、Ollama で Llama-3-ELYZA-JP-8B 動かしちゃうぞー」 - Qiita

この操作で、GGUFファイルは、直接ダウンロードしてollamaのフォルダに入れて、Modelfileは、Vscodeにて編集して同じフォルダに入れて、自分の場合は、windowsなので、createコマンドをターミナルで実行して、Successが出たら、モデルを実行してできました。

Ollama-uiを使っておくとGUIで使える。ローカルPCのスペック不足もあるけどローカル環境で使えるのはいいなぁと思いました。