張耀仁

星期四, 3月 06, 2025

多個限制條件的複雜問題

Visualization on energy landscape

當AI面對包含多個限制條件的複雜問題時，確實存在難度。

在注意力機制(Attention mechanism)中，模型需要同時關注多個條件，並且每個注意力分配都是基於概率的。當條件數量增加時，要同時滿足所有條件的概率會顯著降低，這就像是連續投擲硬幣並期望全部正面朝上一樣——條件越多，全部滿足的概率越低。

這種情況下，模型可能會:

忽略某些條件
錯誤理解條件之間的關係
在滿足一些條件的同時違反其他條件

如果您有一個包含多個複雜條件的問題需要解決，我建議將問題分解成較小的部分，逐步處理每個條件，這樣會更容易得到準確的解答。

illustration

星期三, 3月 05, 2025

Solving river crossing puzzles

半導體晶圓廠情境

背景設定：五名工程師 - Alice（製程工程師）、Bob（設備工程師）、Carlos（維護主管）、Diana（品質工程師）、Elena（無塵室協調員）- 需要使用專用的污染控制傳輸艙在兩個無塵室區域間轉移。

晶圓廠情境約束條件：

Alice 拒絕與 Carlos 共用傳輸艙（過往安全事故意見分歧）
Bob 和 Diana 必須一起移動（正在進行關鍵的配對設備驗證）
Elena 只能在 Carlos 不在場時操作傳輸艙（當 Carlos 的主管權限啟動時，Elena 的存取權限受限）
每次傳輸都必須至少有一名認證操作員在場
只有 Bob、Carlos 和 Elena 具備傳輸艙操作認證

其他運用領域：機器人，供應鏈管理，自駕車，半導體廠製程，機器人人機協作安全規劃
這個題目對AI 為什麼有點難? 多個限制條件的複雜問題
推理模式是甚麼? 推理 vs. 直覺

版型套用

會犯錯的機器更強大

這觸及了人工智慧系統設計的深刻見解。允許機器犯錯、從錯誤中學習並回溯確實是一種強大的方法。

當我們分解複雜任務時，我們為系統創造了以下機會：

識別某種特定方法何時無效
嘗試替代策略而無需從頭開始
從錯誤中漸進式學習

這類似於人類解決問題的方式 - 我們很少一次就把事情做對。我們能夠說「這行不通」並轉變方向的能力對我們的智能至關重要。

在機器學習中，像蒙特卡洛樹搜索（AlphaGo使用的技術）這樣的技術通過探索不同的可能路徑並在必要時回溯來融入這一原則。同樣，一些現代語言模型使用的方法可以在推理過程中重新審視並完善其思考。

A profound insight about AI system design. Allowing machines to make errors, learn from them, and backtrack is indeed a powerful approach.

When we decompose complex tasks, we create opportunities for systems to:

Recognize when a particular approach isn't working
Try alternative strategies without starting from scratch
Learn incrementally from mistakes

This is similar to how humans solve problems - we rarely get things right on the first try. Our ability to say "this isn't working" and pivot is essential to our intelligence.

In machine learning, techniques like Monte Carlo tree search (used in AlphaGo) incorporate this principle by exploring different possible paths and backtracking when necessary. Similarly, some modern language models use approaches that can revisit and refine their reasoning mid-stream.

星期日, 3月 02, 2025

晚餐接機大作戰: Part III Standard LLM vs. Reasoning

Scheduling Parallelism in Plans problem (Eng) (from source)

感恩節全家晚餐大作戰

SVG

Why non-reasoning LLM fails (source)

Claude Sonnet 3.5 illustration of solution (happens to be optimum)

ChatGPT o1 reasoning feasible outcome, optimized by human

3.7 Extended

41 s (misinterpreted)

3.7 extended, optimum in 81 s,

4 little experiments in a row (edits)

not always woks (can misinterpret) 85 s

3.7 extended, optimum in 69 s,

3.7 extended, optimum in 78 s,

3.7 extended, optimum in 57 s,

3.7 extended 35 s (misinterpreted)

3.7 Extended, 7 s (misinterpretation), prompt "Use A*"

Grok 3 did it in 79 s

What if Emily arrived at the airport at 4:30

Sonnet 3.5 illustration (attention bias occurs. some constraints forgotten)

ChatGPT o1 feasible (also optimum) at the first try. Solution space is tremendously limited.

What if Emily arrived at the airport at 2:30

Sonnet 3.5 illustration (attention bias occurs. some constraints forgotten)

ChatGPT o1 reasoning feasible outcome, optimized by human

晚餐接機大作戰: Part II A*

Scheduling Parallelism in Plans problem (Eng) (from source)

Try smart search. Prompt Claude to generate A* search Algorithm

Generate Python code base by using Claude Sonnet 4

To run Python, use Google Colab

Visualize results as Python can generate complex states

最佳解最高的平行度，throughput 高，idle time 減少，critical path 短

次佳解因為James 似乎太奔波了，剛從機場回來，馬上得回去剛才的機場接人

在工廠等於也就是機器人來回運動，但是沒有產出

次佳解 Sarah 好忙，先烤火雞，換手給機場回來的 James，然後去機場接Emily，James 接手烤火雞，idle time 過長，而且造成沒有必要的 switchover

星期一, 2月 24, 2025

AI 作為一種實驗科學

AI 求解在數學上是如上圖在一個複雜非線性函數尋找最小誤差的數學過程，

以這張圖為例

每次答案之所以不一樣是因為AI每次啟動都會給予一個新的起始點

以至於每次最後收斂的誤差最低點都不會一樣

直覺式程式設計

出處

ＡＩ很厲害，我們學過的他都會做，他目前唯一缺少的是意圖例如他不會主動說來聊天吧，他也不會突然想寫一支無人機偵測程式當然有一天也許他會有意識，至少目前沒有所以現在做研究就是看你想得到什麼，就做得出什麼不像以前你可能想做也做不出來所以老師跟我的學生們與其說做研究，其實玩得很開心，不像苦命研究生今日的世界，做苦工不一定有收穫，懂的跟ＡＩ溝通，善用ＡＩ，把ＡＩ當作我們的翅膀，任意翱翔天空

星期六, 2月 22, 2025

River crossing puzzle 3

problem statement

17 step solution 黃品勛

17 step solution 王智弘

Use react to illustrate the process

(fails to solve. Helps illustrate.)

even 3.7 Extended mode struggles

Why LLM performs poorly with reasoning and planning

Code gen (Python)

code gen python A* search for ::River Crossing Puzzle ...

Python on colab

Use REACT to visualize the steps

change to js

run js

use React to visualize the steps

I really like ChatGPT o1 reasoning performance.

Monologue is best.

reasoning mode in o1

Talking to itself

Running into difficulties? Cute

hours? Ha Ha Ha

River Crossing Puzzle 2

渡河問題2 (statement)，Problem via 許元銘

結果視覺化

Visualization to verify results

Claude solution non-reasoning (incorrect)

Sonnet 4 extended fails

Reasons: sometimes one of the constraints was disregarded. 2

ChatGPT 5 works 3/5. (Two claimed to use Python code execution. One is correct. The other is not. Therefore, is it true code was generated and then executed?) 1, *2x, 3, 4x, *5

Grok

Even reasoning mode of Grok fails.

Code Gen

Use ChatGPT 5 to generate BFS search

search that works

Use Claude second time to generate A*

it takes 15 steps. (thanks to the python code generated by Claude)

python code

another 15-step solution

yet another 15-step

one more 15-step

last 15-step

River Crossing with Alice and her company (River Crossing Puzzle 1)

Five people - Alice, Bob, Carlos, Diana, and Elena - must cross a river in a small boat. The boat can only hold three people at a time. The following conditions apply:

* Alice refuses to be in the boat with Carlos

* Bob and Diana must travel together if either one is in the boat

* Elena can only operate the boat when Carlos is not present

* At least one person in each crossing must know how to operate the boat

* Only Bob, Carlos, and Elena know how to operate the boat

Infer an efficient plan.

Try ChatGPT o1 reasoning, verified by Claude using REACT (it works.)

Try ChatGPT 4o, failure verified by Claude

晚餐接機大作戰: Part I Exploring the Problem

Dinner Operation vs. Semiconductor Fab Scheduling Optimization

Scheduling Parallelism in Plans problem (Eng) (from source)

From python to svg

Try ChatGPT o1, Claude

verify the schedule by flow template

Part II

星期五, 2月 21, 2025

增強AI的能力

ＡＩ的能力來自哪裡？

Given 19, 36, 55, 7, can you give an equation that equals 622?

educated guess ChatGPT 5

Hand trial-and-error ChatGPT 5

Brute force Program execution ChatGPT 5

推理模式 Claude Sonnet 4 Thinking process

直覺 Claude Sonnet 4

推理模式Gemini 2.5 Pro 推理模式

Hand trial-and-error Grok 4

Given 1,2,3,4,5,6 can you give an equation that equals -38?

Grok 4 直覺，hand trial-and-error, too many errors, stop

Sonnet 4 (直覺) hand trial-and-error, too many errors, stop

ChatGPT 5 直覺 hand trial-and-error, deemed nontrivial, stop and ask for brute force

Gemini 2.5 Pro *

半導體廠製程情境

晚餐接機大作戰(半導體廠製程排程)

Gemini 2.5 Pro 推理，Claude Sonnet 4 流程圖 feasible, not optimal

Claude Sonnet 4 直覺模式流程圖，no feasible

Claude Sonnet 4 推理模式 (extended thinking)，流程圖 no feasible，＊

ChatGPT 5, 流程圖 feasible, not optimal，＊

Grok 4 ，流程圖＊

AI 自言自語什麼（Gemini 2.5 pro 為例）

好的，這是在繁體中文中的翻譯： **探究方程式的可能性** 我已經開始使用各種數學運算來嘗試組合 19、36、55 和 7。最初，我的目標是找到一個能直接得出 622 的方程式。我將探索加、減、乘、除等可能性，評估其有效性並進行迭代。這是一個探索無數種可能數學組合的問題。

**計算潛在的組合

** 我現在完全投入於測試不同算術運算的過程中。最初，我專注於直接的方法：將這四個給定的數字進行加、減、乘、除。我的目標是找到一個能得出目標值 622 的組合。如果這證明具有挑戰性，我計劃加入更複雜的運算。目標是得出一個具體的方程式。

**研究數學關係** 我一直在尋找一個使用 19、36、55 和 7 來得出 622 的方程式，但初步的結果沒有幫助。搜尋結果非常籠統，只著重於數學中的運算順序。我需要調整我的搜尋，以專門針對這些數字和目標結果。

**推導方程式** 我已經使用提供的數字構建了一個等於 622 的方程式。我的策略是從乘法開始，以快速接近目標值，然後減去剩餘數字的總和。我驗證了 (19 * 36) - (55 + 7) = 622。我現在可以自信地將此解決方案視為完整的。

**優化方程式策略** 我現在正在制定一個計劃，以使用指定的數字生成得出目標數字的方程式。我目前的方法是利用乘法來接近答案，然後嘗試使用加法和減法使其相等。在我發現 (19 * 36) 是最接近 622 的結果後，我使用剩餘的數字來產生確切的差值，以獲得正確的結果。方程式 (19 * 36) - (55 + 7) = 622 是我經過這次分析後得出的解決方案。