每個對話( chat) 都有容許的記憶長度(context window),這跟人類是不一樣的,
因為LLM使用Transformer 機制執行 Attention,所需的運算與長度平方成正比,當對話變長時,計算時間平方增加,反應變慢,運氣不好的話,某個問題還可能被上一個問題干擾,造成誤判甚至出錯。
因此如果問題是系列性的,例如你要去九州玩,本來想去五天,看了AI給的行程,覺得五天好像不夠,想改為六天,那當然繼續在同一個對話下去,說不定大部分行程都一樣,只要微調就可以了,可以省下很多算力,加快反應時間。但是如果你是想改去荷蘭玩,那我建議另起一個對話比較好。
沒有留言:
張貼留言