【ローカルAI構築】セキュアに使える！自分専用ChatGPT

テックメンターのじゃさおです。
生成AIといえばChatGPTなどのクラウドサービスを使うのが一般的ですが、
ローカル環境にインストールして使うことで、セキュリティ・コスト・カスタマイズ性など多くのメリットがあります。
特に機密性の高い情報を扱いたい場合や、自分専用にチューニングしたい場合にはローカル環境が大きな力を発揮します。
というわけで、ローカル環境に生成AIをインストールする方法を調べてみました！

生成AIのインストール

今回はollama(オラマ)をインストールして利用してみます。
※ Dockerが必要なので、事前にインストールしておいてください。

　1.コマンドでollamaのDockerをインストール、起動する。

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama

　2.コマンドで、OpenWebUIをインストール、起動する。

docker run -d -p [任意のポート番号]:8080
--add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data  
--restart always ghcr.io/open-webui/open-webui:main

　3.http://localhost:[任意のポート番号]にアクセスする。

　4.上記のリンクにアクセスすると、Open WebUIが実行される。

　5.情報を入力して、管理者アカウントを作成。

　6.ChatGPT等と同じような画面が表示されます。

モデルのインストール

UIは用意されましたが、このままだと生成AIのモデルが存在しないため、AIの実行がされません。 ですので、次はモデルのインストールを行いましょう。 下記のコマンドで、llama3のインストールを実行できます。

docker exec -it ollama ollama pull llama3 

この後、再度http://localhost:[任意のポート番号]にアクセスすると、モデルを選択できるようになります。

これで、生成AIとして利用できるようになります！

検索拡張生成（RAG）を設定

ローカルで生成AIを扱う利点として、RAGを利用してセキュアに利用したいデータを扱えることがあります。
これも出来るか試してみます。

　1.画面から、ワークスペースをクリックします。

　2.ナレッジベースを選択し、新しいナレッジベースを追加する。

　3.追加したナレッジベースについて、Collectionの + より、ナレッジとして追加したいファイルを追加します。

　4.モデルの追加を実施し、ナレッジベースに先程追加したナレッジベースを指定して追加する。

　5.チャット画面に戻り、モデル選択に追加したモデルがあることを確認する。

　6.こちらで、ファイルの要約を行ってもらいます。
（英語で返答されたので、日本語になおしてもらっています）

ナレッジに追加した議事録の要約を実行してくれました！

まとめ

ローカルで生成AIの環境を構築し、RAGを構築するところまで実行しましたが、大半が画面上での操作なので、特に詰まることはなく実行できました。
回答速度はPCのスペックに準ずるので、ChatGPT等のWebサービスと比較すると遅くなりますが、GPU無しの私のPCでも数年前のChatGPTぐらいの速度なので、個人的には利用に耐えない程ではなかった印象です。
多くの仕様書から回答を得たい場合や、要約を起こしたい場合等、手作業と比べると時間は大幅に短縮されるかと思います。
プライベートな日記や画像等を利用して、QoLを上げることも出来るかも知れないですね。

セキュアな情報を利用出来ることで、色々な可能性が見いだせるかと思うので、皆さんも是非試してみてください！