這次是和 Beatman, Nelson, Hakkanin 還有鷹鷹一起打的
感謝各位大佬帶飛
愛大家
初賽
這次初賽有三天三個 Wave
大部分的題目都是可以輕鬆唱出來的，除了底下提到的這幾題
然後這次初賽的賽制是線上 jeopardy，一隊最多五個人，最後取十隊進入決賽
那時候看到參賽隊伍有嚇到我，Cakeisfake, B33FS0UP, 星爆吉娃娃, 0X0D......
可以說是非常豪華了
第一天運氣很好我有解出 Travel 3 (OSINT)
那時候我還是在開會的時候偷偷在猜是哪個翰林茶館
然後我聽說有挺多隊伍都是因為沒有解出這題所以沒有進決賽
然後第二天來了一個拼圖（？
我拼到有點道心破碎了，還好有 Nelson 和 Beatman
第三天和 AIS3 Club 撞期，但是我還是有在會場和逢甲的隊伍在那邊認真解題
決賽
賽前
這次賽前突然聽說有國際強隊要來打我們 (MMM, WaterPaddler, BoB, Dojo, Lv1x)
直接被嚇哭了。。。
決賽的賽區分為三個部分， Jeopardy, A/D, Prompt pwn
三個賽區的積分以 35%+35%+20%+10%(jeopardy 的 AI 題目端剩餘 Token 量)進行計算
我在這之前完全沒有接觸過任何關於 A/D 的比賽再加上我想要去玩 AI
所以我選擇去打 Prompt Pwn 和幫忙 Jeopardy
Day 1
這次的決賽辦在成大，這是我第一次去成大
那天早上的時候去成大的路上大塞車
從高鐵站搭 Uber 過去完全是又貴又久，最後遲到了差不多 10 分鐘
還好我去的時候題目也沒有開放太多
只開放了 Prompt Pwn
他的 Prompt Pwn 有三個 Scenario: Prompt Injection, Prompt Extraction, Jailbreak
我們隊伍對每個 Scenario 都有 100 次的嘗試機會
我們要在這 100 次的機會裡面讓題目方的模型和一個可選的模型去洩漏或是說出一些特定的禁止或危險的內容
如果將題目方的模型給打下來的話會拿到 5000 分的巨額獎勵，但是他擋一些惡意提示詞的程度又很高，自己選的那個最多就 1000 分
而分數也會隨著單輪嘗試次數下降
我想到的策略就是不斷的去刷穩定的自選模型，並且微調出可能可以偶爾得到 5000 分的方法（因為雖然是同個 Scenario 但是每一輪的目標是不一樣的）
我第一天用這個方法將 Jailbreak 刷到了第一名（驕傲
但是其他兩個 Scenario 我們沒有刷到那麼高挺可惜的
後面我是邊打這個邊去唱 Jeo 那邊的 Rev 還有 AI
但是在大概在下午三點的時候突然看到了 A/D 那邊被車爆
嘗試加入之後工作流十分甚至九分的混亂，Patch 之間可以打架，Rev 出來或是 Pcap 得到的線索都是口頭或是 DC 在同步
所以在晚上的檢討之後我開始了即興黑客松
用 AI 搓了一個可以 Sync 信息並且開發 PoC 還有 Patch 的平台
可以用 MCP Sync 東西上去也可以直接在那個平台上面進行開發 PoC 與 Patch
然後忙完了之後一看，嘿已經四點了
Day 2
在經過一個高效小睡之後直接開始第二天的比賽啊
在第二天的時候我是負責在 A/D 每一輪的 Binary 下來的時候進行 Rev 並 Sync 到平台以及平台的 Issue 處理
但是我聽到隊友們說有這個平台還有工作流的安排之後 A/D 至少沒有被車爆我挺開心的
除此之外我要繼續刷 Prompt pwn，因為他第二天的嘗試次數重置了
我觀察到一個特殊的機制，如果我的 Payload 每次都送的很像，即使成功率很高我得到的分也會很低
但是這個東西也沒有寫在規則上（？
也有可能是有寫只是我沒有 Sync 到
加上第二天他的 Judge 變得特別嚴格所以沒有辦法像第一天刷的那麼開心了
我想 Complain 一下這個 Judge ，模型明明已經輸出足夠惡意的 Code 以及註解了，或是他的一些勒索還有霸凌意圖已經非常明顯了，Judge 還是不給分
到最後我的 Jailbreak 第一名還是被打下來了，最後也只有第三名（悲
而且這些機制是我到已經燒了一半左右的嘗試次數之後才意識到的（對不起
雖然最後我們 Prompt Pwn 的分數也是沒有輸給太多人就是了
最後我們總分排名是第 14 名
總結
雖然這次的競賽在 Final 沒有得到非常好的名次，但我覺得我學到了很多東西
在賽後和其他隊伍交流之後我才發現，其實我根本不用自己從零 Slop 一個平台
A/D 的信息同步平台大家早就有現成在用的了，我要做的只是把它串起來
我該做的是把這些東西和 Agent 做一個整合
用主腦去控制整個工作流，每輪 Binary 下來之後
PoC 和 Patch 可以一次平行產生多個版本，再由主腦派發去測試，決定哪一版最好
有新的 PoC 進來就自動觸發一輪新的 Patch
人只需要留在聊天和監控的窗口做引導和盯著它有沒有亂來就行
這次的題目其實也出的非常新奇，機制都挺特別的，很少可以看到可以將 race 出到題目裡的
然後我覺得我們沒有在賽前先和其他人交流一下 A/D 經驗也是很可惜的一點
如果有下次的話我會先做好準備再去打 A/D 的 QAQ