聊天介面
Chat 頁長得像常見的對話式 AI:上方選模型、中間是訊息、右側是參數。差在推論完全在你的機器上跑。
開聊之前
- 先 下載模型。
- 在 Chat 上方打開模型載入器,選一顆已下載的,必要時調載入參數。
- 等底部顯示載入完成,再輸入。
官方:Manage chats。對話可以分資料夾管理;在檔案總管顯示的是本機存檔,不是雲端。
系統提示詞
系統提示詞(system prompt)是給模型的「角色說明」,例如語氣、輸出格式、禁止事項。它會套用在這一則對話裡,但模型權重不會因為你聊過就更新。官方寫得很直白:模型只「知道」目前對話裡有的內容,加上你設定的系統提示詞。
換新對話等於清空工作記憶。想把同一套提示詞重複用,做成 Preset。
右側常見還能調:
- Temperature:愈高愈發散,愈低愈穩。
- Context length:上下文有多長;愈長愈吃 RAM。
- 顯示:Markdown/純文字/等寬,寫程式時開 Markdown 較好讀。
多模態
部分模型能看圖(畫面會標 vision/multimodal)。有錘子圖示的通常代表會 tool calling,才能好好用 MCP。沒有工具能力的模型,接了 MCP 也叫不動。
建議怎麼問
本機小模型比雲端旗艦模型更容易「說得很像真的、其實是猜的」。任務寫清楚、一次一件事、數字自己核對。要把公司 PDF 丟進去,走 文件對話,不要把整本貼進輸入框。
User 或 Developer 配色
設定可切使用者/開發者模式與配色。進階選項有時要開到 Power User 或 Developer 才看得到。