JENGHAN HSIEH / SERENITY

FIGURE SKATING / NEURAL CONTROL RESEARCH

讓滑冰者
學會自己接住動作

目前使用雙腿+有限三軸等效上身,透過輪鞋物理研究單腳直行、左右弧線與換重銜接。分開查看實際權重更新、持續滑行秒數、鞋路徑命名與推蹬增速;較早冰刀/全身實驗保留比較。

10.01|平衡訓練與連續換重

WB015 · 輪鞋物理 · 原始失敗保留

NEURAL / 3 PPO CYCLES

有更新,尚未優於平衡基底

216+144
訓練 episodes+deterministic 評估 rollouts

Mac 收集 8,703 個 policy steps,Windows CUDA 完成 3 次 PPO 更新。Mac 平均連續秒數 g0 1.8583 → g3 1.8514;g3 曲線指令命名符合 0/16。保留 g0–g3,沒有改選中途較高分的一代或替換 default。

HANDOFF / PREFLIGHT · PPO = 0

不中斷狀態,仍缺少推蹬負荷

144+2
交接前置模擬+既有單腳回歸

R1/R2 保留失敗;修正初態與回授後,R3 兩平台 72/72 案完成換重且接入後 ≥0.5 s。雙腳同時承重只維持 0–1 個取樣幀,推蹬增速成功 0/72,因此新 actor 尚未初始化或訓練。

每台主機保留自己的基線;不同課程的秒數不直接相減
實驗WindowsMac判讀
PPO g0 → g31.8875 → 1.8514 s
各 24 案
1.8583 → 1.8514 s
各 24 案
固定最終代未改善平均連續滑行;未接納。
R3 small+即時回授平均 0.9861 s
推蹬 0/12;非輪接地 0/12
平均 0.9861 s
推蹬 0/12;非輪接地 2/12
只是程序化交接前置模擬,不能視為新 PPO 成效。
R3 rollout 計算154.81 steps/s
批次 18.570 s
391.56 steps/s
批次 18.077 s
Mac 每步約快 2.53 倍;含傳輸、guard、封存後短批次總耗時接近。

目前研究界線:57.6 kg 雙腿+等效上身,關節與輪地作用產生動態,沒有任意 root 外力。由 0.8/1.4 m/s 行進初態開始的交接不等於從靜止起步;最新目標修復尚未重跑交接動態。三輪 PPO 的 12 批及交接的 5 批皆已退出並完成產物稽核。

如何走到現在的訓練

先核對物理,再檢查控制與交接

階段問題與實驗結果與下一步
WB011 · 發射對照 ↗同初速、傾角、COM,切換被動模型與原直線控制。較久存活不等於鞋子走出指定弧線;轉向評量改以承重鞋軌跡判讀。
WB012 · 全身參考 ↗Cluster 姿態/路徑 → 37 關節候選驅動;試行模仿與恢復。參考覆蓋整段,實際模擬仍約半秒跌落;不能把參考動畫當前向重現。
WB013 · 巨觀校準 ↗用輪鞋物理擬合 Cluster/平昌的滑冰巨觀狀態。未證明候選改善保留窗口,後續沿用原物理基線。
WB014 · 有限弧線 ↗單腳+剛體 COM/慣量;鞋架剛性,踝 pitch ±15°、yaw ±3°、roll 固定。四組代表案仍有承重低滑移的有限弧線,後續均失衡;未證明穩態或神經策略。
WB015 · 平衡與學習 ↗雙腿+有限三軸上身;LF、RF、LFO、LFI、RFO、RFI,回授基底+PPO 殘差。完成三輪更新,指定曲線與持續秒數仍未共同改善。
WB015 · 連續交接推蹬末段 → 換重 → 單腳;姿態、速度、輪速與控制記憶不中斷。可交接但沒有推蹬增速;先建立推蹬腳實際載重,再決定新訓練批次。

下一步:讓推蹬腳承重後再伸展

先用受限對照檢查雙支撐的 COM/COP、法向載重與膝部伸展行程,再平滑卸重;須從接觸衝量與完整末態確認推進,才開始新課程的神經更新。

  1. 單腳曲線由承重鞋路徑命名,COM 留作平衡狀態;滑得久與滑出指定弧線分開評分。
  2. Mac 優先跑完整 CPU rollout units;Windows 負責彙整、CUDA 更新與檢視。依實測分工,每個 rollout 不跨機切割。
  3. 保留既有模型、權重和失敗;原始軌跡壓縮留 Git 外,Git 僅收精簡報告、權重及核對過的公開重播。

09.28|較早的全身冰刀研究

歷史批次已完成;保留當時五秒門檻

PPO / HOLD-005 CONTINUATION

權重確實更新

614,400
三個 seeds 的互動次數 · 共 150 次外層更新

基底回授控制器加 PPO 殘差。五個控制器各 384 案,共 1,920 次留置回放,三秒、五秒均未通過。第二組只有左腳達二秒,未形成左右腳共同改善。小 yaw reset 不能當成廣泛擾動泛化。

CONTROLLER / HOLD-STEER-001

有限回授控制器有改善

3.50–3.85 秒
新 reset seed 的六格合格時間 · 五秒 0/6

搜尋 48 個刀向控制候選,同起點記錄開關比對通過。這是控制器調參,神經權重更新為零;也不等於已從自然起步接上這段滑行。

模仿學習:同六格已知起點的純 student 開發回放
批次/更新數最短合格秒數平均合格秒數五秒成功
BC-001 · 251.2521.3840/6
BC-001 · 1001.4191.7300/6
BC-001 · 300(批次最佳)1.5061.9130/6
BC-MEM-002 · 25(批次最佳)1.0791.2700/6
BC-MEM-002 · 1000.8541.2520/6
BC-MEM-002 · 3000.0870.2470/6

靜態誤差下降,沒有換成滑行改善:兩批各完成 300 次 actor 更新,critic 與 log_std 不變。記憶擾動訓練將未見擾動記憶的平均 action RMS 降低約 45%/52%,但原教師記憶上的誤差增為 9.47 倍;閉迴路沒有改善,不升格為下一輪暖啟動。上述六個候選的三秒成功也全部為 0/6。批次內依最短、平均秒數及較早更新數選模,不能只挑漂亮的 loss。

閱讀本輪完整說明 ↗ · 逐格數值與來源 SHA ↗ · 回看較早的交接診斷 ↓

係數加大,刀刃有更抓冰嗎?

固定控制器 · 左右腳 × 三種初速

側向係數與六格最短合格時間原設定 0.75 為 3.500 秒;兩倍 1.5 為 3.240 秒;四倍 3.0 為 3.102 秒。三組五秒成功皆為零。 原設定 · μ 0.753.500 兩倍 · μ 1.53.240 四倍 · μ 3.03.102 0245 秒目標
沿刀係數維持 0.003,初態、控制器與原門檻不變。三組五秒成功都是 0/6。這是物理敏感度,不是重新訓練後的比較;不能據此判定更高抓冰能力沒有用。
MEASURED / 30 HZ CONTACT FORCE

承重足夠,側向反力仍小

17–19 N
中高速首失格附近的側向反力量級

支撐刀承重約 560 N、側滑約 0.15 m/s,三種係數下反力沒有大幅提升。接觸力每秒取樣 30 次,資格逐 480 Hz 判定;此處是失格鄰近樣本,不是精確失格子步。

HYPOTHESIS / NOT YET VERIFIED

先查受力如何共同求解

目前切向阻尼預測可能先把腳部側速壓低,而後續關節驅動與法向約束又形成滑移。這是待驗證假設,還不是已確認根因。

兩個高係數組均記錄到一次 fallback 的環境最大累計;四倍組左右 1 m/s 約在 2.4 秒已出現,可能影響後續結果。尚未更換正式接觸 profile。

歷史冰刀模型:四階段能力

截至 09.28;與 WB015 輪鞋模型分開判讀

01 / 降階接觸

神經局部平衡與指令滑行

小型網路修正左右傾斜;腳位、推刃與剪冰相位仍由技能程式安排。固定肢段 IK 顯示動作。

12/12 完整指令情境通過
02 / 全身物理

37 關節與姿態引導

MuJoCo 真實接觸、有限關節力矩。Oleg 教學衍生姿態只作弱評分,與無姿態獎勵、零修正基準成對比較。

姿態獎勵未改善平衡
03 / 已移重起點

行進單腳與小擾動

重心先放在支撐刀,從 0.5–1.5 m/s 起滑;檢查承重、自由刀間隙、保速及五秒連續保持。

歷次與本輪均未達五秒
04 / 自然雙腳起步

推刃 → 卸載 → 單腳

從靜止雙腳站立出發,以原支撐腳承重、自由刀卸載離冰、持續滑行作為同一段落門檻。

R1-001 與 R1-002 各 0/512 進入原 phase 3

比較界線:降階模型 12/12 是既定技能程式與神經平衡共同作用的情境結果;它不是 37 關節 PPO 已學會連續剪冰。單腳「已移重」是明標的訓練中間起點,不等於已從自然推刃抵達;完整鏈仍須從自然雙腳站立、不在途中重設來驗收。

看見訓練真正改變了什麼

保留基準、最後權重與失敗案例

A / 降階指令情境

神經與 PD 同樣通過

12/12 兩組皆然
完整指令情境;無平衡回授為 0/12

另有 12 段各 20 秒的局部平衡測試。神經網路在已知技能相位之上處理局部平衡;與同限制的 PD 相比,這批案例尚未證明神經控制更好。

操作降階滑行頁 ↗
B / OLEG 姿態引導

可模仿外形,難接住承重

約 1.10 秒
左腳承重、右足後伸的兩個姿態引導案例:1.10/1.08 秒失衡

同批無姿態獎勵約 1.78/1.61 秒;零修正基準約 2 秒。加上弱姿態評分沒有帶來平衡優勢,不能以關節角度貼近代替接觸驗收。

C / 已移重的單腳保持

接近五秒,不等於跨過五秒

0/30
肩部調參後,另取留置起姿的五秒合格案例

搜尋時有接近五秒的候選,留置起姿仍未達標;相同 seed、起始 q/v 的重跑也可能分歧。可看平均連續保持時間,但不可把開發最佳值當穩定通過率。

D / 推刃到單腳交接

已能卸載,仍未穩定支撐

0/16
v3 最後權重,保留案例進入合格單腳滑行

同批 16/16 進入卸載,五秒成功仍 0/16。R1-001 與新增的 R1-002 各搜尋 512 個開發候選,皆無原 phase 3 入口;兩批都沒有更新神經權重。

為何仍不能說「學會五秒」

已移重的單腳起點 · 2026.09.27 留置案例

左、右支撐腳連續合格單腳時間與五秒目標 相同留置案例各十五組。七關節回授基準的左、右平均分別為 2.60 與 2.99 秒;肩部調參後分別為 2.73 與 3.06 秒,均未有五秒成功案例。詳細數值以原始摘要為準。 012345 秒 左腳 · 七關節回授2.60 左腳 · 加入肩部修正2.73 右腳 · 七關節回授2.99 右腳 · 加入肩部修正3.06
圖只呈現兩組控制器在相同留置起姿的平均連續合格時間,不代表五秒通過率。此處「加肩部修正」是七關節回授上的參數搜尋,並非新增神經權重訓練;原本的 37 關節 PPO 與回授仍共同控制。詳細數字與重跑限制見下方來源索引。

實驗紀錄如何接上下一階段

數字不能跨不同起點直接排名

降階模型:局部控制全身模型:真實關節與接觸開發案例:用來調參留置案例:凍結後檢查
研究段落做了什麼觀察到的結果判讀
降階神經控制12→48→32→2 的局部平衡網路;另由技能核心安排前進、剪冰與停止。神經/PD 各 12/12,無回授 0/12。操作介面可用;完整技巧不是網路自主生成。
全身 PPO 姿態引導37 關節;對照弱姿態獎勵、無姿態獎勵、零修正回授。左承重兩案中,姿態引導皆先於兩個對照失衡。姿態相似度不是平衡成功的替代指標。
自主/逐步開放無全身支撐的自主 GPU PPO 204,800 次互動;再比較全關節/逐步開放共 614,400 次。仍未通過自主單腳平衡。可執行訓練管線,不等於學到技能;起姿與合法力矩標籤仍重要。
已移重單腳保速0.5–1.5 m/s、自由刀離冰與支撐承重;小擾動、左右腳分開檢查。v3 留置 0/60 五秒成功;09.27 肩部參數搜尋的另一批留置 0/30。小於五秒的平均、短時保速率和搜尋最佳值都不能充作五秒成功。
自然起步推刃v3 從 v2 actor 接續;R1-001 固定推刃末端後搜尋 512 個開發候選。v3 留置 16/16 進入卸載、0/16 進入單腳;R1-001 搜尋 0/512 進入原 phase 3。兩種分母與起點不同;不能合併成成功率。
R1-002 真實交接從自然雙腳起步,phase 1 預備姿態接 phase 2 有界殘差;兩個搜尋 seed 各 256 案。每側 256/256 進 phase 2;兩側共 0/512 進原 phase 3。零神經權重更新;屬開發搜尋,尚未進留置驗證。

較早紀錄|交接入口診斷

R1-002 CUDA Warp 與 Mac CPU 分開判讀

WINDOWS / CUDA WARP · R1-002

進入卸載,仍未跨過原入口

0/512
兩個正式搜尋 seed;每側 256 案皆進 phase 2,原 phase 3 皆為 0

另有 64 案 smoke;observer parity 的 64 案只作對照,不計入搜尋候選。整輪是受限可達性搜尋,神經權重更新為 0,不能據此推論 PPO 過擬合。世代間有選擇,512 案不是獨立留置測試。

480 HZ / SAVED TRACE AUDIT

接觸曾短暫同時成立

最長 29.17 毫秒
左側 seed 61:6/128;seed 62:4/128;右側兩個 seed 均 0/128

同一子步的接觸子集合:瞬間接觸 >1 N、支撐刀 16 子步平均 ≥0.70 倍體重、自由刀 <0.05 倍體重、離冰 ≥5 mm。左側兩 seed 最長分別 29.17/22.92 毫秒,仍不到 0.08 秒。完整原 gate 的 480 Hz dwell 全為 0;trace 未儲存安全姿態與速度各分項,無法指認精確阻擋條件。

Mac 診斷另計:MAC-R2-003 是 native MuJoCo CPU float64,左右各一例於約 0.85 秒跌倒、合格接觸樣本皆 0;採直接載入幾何姿態與固定 PD,不能併入 Windows CUDA Warp 成功率,也沒有神經權重更新。詳見 研究審核、機讀報告與 當時的課程計畫。

來源與驗證邊界

網站為研究摘要,權重與完整回放保存在專案

降階模型與 12 個情境

網路的局部平衡、PD 對照,以及完整指令序列的 12/12,分別是不同的驗證。

ice/robot/lab/NEURAL-LOCOMOTION.md
ice/robot/lab/artifacts/locomotion/command-verification.json

開啟可操作示範 ↗
全身 PPO 與自主訓練

Oleg 教學衍生姿態不是影片逐幀動捕。全身控制仍含有限 PD/支撐前饋;後續自主管線另立契約,未通過單腳平衡。

ice/robot/learning/README.md
ice/robot/learning/GPU-AUTONOMOUS-REPORT.md
ice/robot/learning/GPU-CURRICULUM-REPORT.md

單腳保速與五秒門檻

五秒需同時具備原刀承重、自由刀卸載與離冰、安全姿態及持續前進;同起點的 CUDA 重跑仍可能有小幅差異。

ice/robot/learning/MOVING-GLIDE-REPORT.md
ice/robot/learning/artifacts/five-second-20260927/summary.json

自然起步的交接瓶頸

保留測試與開發搜尋分開。R1-001 與 R1-002 都是零神經權重更新的受限搜尋;09.28 重算的接觸子集合不能替代完整原 gate。

ice/robot/learning/SUSTAINED-PUSH-REPORT.md
verification/ice/robot/command-transition-plan-20260927/SOL-DECISION.md
verification/ice/robot/review-20260928/contact-audit.json

保留當時規劃:先讓接觸回應可信

本輪已結束,沒有追加 PPO。新的單刀台架已擬定規格,接觸機制候選尚未實作驗收;維持原五秒門檻,也保留已移重起點與自然起步的區別。

  1. 用剛體與有限關節控制的單刀台架,對照預測側速、實際側速及接受後反力;定位接觸與關節受力的耦合問題。
  2. 驗證承重時能抓冰、卸載後能控制刮滑,並檢查耗散與數值穩定。固定合成冰面可以使用,不把完整冰材料辨識當前置門檻。
  3. 新物理通過後另立訓練批次,再學單腳保持、Power Pull 與蛇行。除了姿態,也驗收弧線、換刃、側向反力及推進能量。

本輪判讀與下一階段驗收 ↗