Wi-Fiや通信制限なしでAIとコミュニケーション

Veritmodeを設定した方はご存知かと思いますが、外部サーバーではなく自分のPCで出力しているので、ターミナルやアプリでWi-Fiなし、制限なしでコミュニケーションできます。 大きいモデルは手に負えないかと思い、3.4GBのAIを選びましたが、無限ループや理解不能を除けばまあまあ…な感じです。 私のPCではCPU使用率が50%くらいですね。CPUはRyzen 9でノートPCです。 VeritmodeのAI設定チュートリアルを見ていたのですが、litellmが動作しませんでした。そのため、ChatGPTに聞きながらLLMを捨ててローカルで設定しました。 Wi-Fiなしで動作させられるのが最大の利点です。欠点は、遅くて情報を持ってこられないため質が落ちることです。 思考プロセスが本当に遅いです。アプリでは思考モードをオフにできませんが（ターミナルとは異なりWi-Fi可能）、ターミナルでは思考をオフにするコマンドがあるので、ターミナルの方が便利かもしれません。ただし、思考をオフにすると速くなりますが質が落ちるとのことです。 80GBのAIもあったので、試してみようかと考えています。 もしこの投稿が人気になったら、やり方を公開します。 どこかに出かけてWi-Fiが繋がらなくてやることがない？これを使えばいいと思います👍