無需Wi-Fi、無限制地與AI溝通

我想設定了Veritmode的人應該都知道，因為它是在自己的電腦上輸出，而不是外部伺服器，所以可以透過終端機或應用程式在沒有Wi-Fi、無限制的情況下進行溝通。 考量到大型模型可能無法負荷，我選擇了3.4GB的AI，但除了無限迴圈和無法理解之外，還算不錯…吧。 我的電腦CPU大約會用到50%，CPU是Ryzen 9，是筆記型電腦。 我在看Veritmode的AI設定教學時，litellm無法運作。所以我邊問ChatGPT邊捨棄LLM，改用本機設定。 最大的優點是可以離線運行。缺點是速度慢且無法擷取資訊，導致品質下降。 思考過程真的很慢。應用程式無法關閉思考模式（與終端機不同，可以Wi-Fi），但終端機有移除思考的指令，所以終端機可能更方便。不過，關閉思考會變快但品質會下降。 也有80GB的AI，正在考慮要不要試試看… 如果這篇文章變得很受歡迎，我會分享如何操作。 如果出門在外沒Wi-Fi沒事做？我覺得用這個會很不錯👍