星期六, 3月 08, 2025

不同問題可否放在同一個AI對談裡

每個對話( chat) 都有容許的記憶長度(context window),這跟人類是不一樣的,人類可以在老年時依然記得初戀,或是回想起小時候第一次抱起乳貓小三花時鮮明的情感的湧現,但AI的記憶會受到這個context window 的限制,比較誇張的比喻是金魚腦,正如金魚會忘記兩秒以前發生的事情,只活在當下,忘記過去。

因為LLM使用Transformer 機制執行 Attention,所需的運算與長度平方成正比,當對話變長時,計算時間平方增加,反應變慢,運氣不好的話,某個問題還可能被上一個問題干擾,造成誤判甚至出錯。

因此如果問題是系列性的,例如你要去九州玩,本來想去五天,看了AI給的行程,覺得五天好像不夠,想改為六天,那當然繼續在同一個對話下去,說不定大部分行程都一樣,只要微調就可以了,可以省下很多算力,加快反應時間。但是如果你是想改去荷蘭玩,那我建議另起一個對話比較好。

沒有留言: