在測試領域裡，如果要討論Test Case測試案例的管理工具，榜上有名的，大概會有TestRail、TestLink、Zephyr及其他工具，而KEENLITY推出的Armoury+將是軟體測試圈一個不可忽視的選擇。

而我們陸續會將各個工具和Armoury+一起來做全面性的比較，包含計價方式、主要功能、版本控制、自動化整合、安全與權限機制、客戶支援。

這次我們會和TestRail做比較

TestRail於2010年發布，在軟體測試市場上有較長的歷史及累積大量的客戶，在軟體測試領域裡，是一個高知名度的存在，在有預算的狀況下，大多數測試人員可能會選擇TestRail。KEENLITY創辦人Fabian過往的工作經驗裡，也是直接導入TestRail，TestRail確實是市場上表現良好的測試案例管理工具之一。

但在KEENLITY大量的案例研究及顧問服務的企業案例中，絕大多數的企業受阻於TestRail或市面上其他類似工具的高昂價格，所以一直無法導入良好的工具來提升測試效率。即使最終導入，也是採用共用帳號的做法，但這就失去了人員管理和測試紀錄的優勢了，僅僅只是作為一個Excel的替代品，而且是高昂的。

Armoury+是由KEENLITY開發的付費測試案例管理工具，而KEENLITY創辦於2021年，主要領域是軟體測試顧問公司。Armoury+遵循著KEENLITY的企業理念「專注於測試」，從軟體測試工程師的角度為中心，來設計工具的使用流程和功能。於2024年4月推出第二項大功能更新 – API測試，讓測試人員可直接在Armoury+系統中發送API請求，取得返回值，內建工具建立斷言(Assertion)，讓企業無需招募懂程式的工程師來建立API測試框架，就能直接開始建立API的自動化測試機制，整合進CI/CD流程中，取得測試結果來決定後續處理。

計價方式

TestRail的價格是以使用者帳號數量計費，一個Professional Cloud使用者帳號每年420美元，換算台幣下來，大約13,000新台幣左右。但若你想要有測試案例的版本控制、優先支援或其他企業功能，則需要提高預算到Enterprise Cloud方案，一個帳號每年852美元，約27,000新台幣左右。

Armoury+的計價方式採使用者級距和功能用量計價，並提供API測試功能，，5名使用者的Starter方案，每年費用為329美元或9800新台幣，平均一名使用者每年只需約65美元或1960新台幣，重點是在這樣的價格下，也能同時獲得版本控制和客戶支援等TestRail的高價功能。

根據這樣的計算方式，我們可以獲得下列表格：

無論在小團隊或龐大團隊的規模下，Armoury+在價格方面仍然有極大的優勢，提供了企業導入工具的可承受成本，可根據所需使用量來評估方案和費用；而測試人員在與公司討論工具導入預算時，也能有更好的談判空間，無需擔心額外的伺服器技能和維運技能要學習，也不用承擔系統崩潰的風險。

主要功能

我們先在測試案例管理的功能下進行比較，這是兩者都有的功能，會發現兩者之間沒有太大的差異，都提供測試案例池，TestRail稱為Test Suite，Armoury+稱為Group，也都提供節點分組，正式執行的Test Run兩者都有，而Armoury+提供了標籤功能，能讓測試案例具備分散管理的特性。

最常見的場景，就是同一條測試，可能在不同的小節中都有被測試的必要，在TestRail中，需要在每一個小節撰寫相同的Case；而在Armoury+中，你可以利用標籤為案例添加多種屬性，例如用「必測」來表示每次測試都要加入；「常錯」來表示這個功能時常出問題；「某功能」來表達此案例除了跟節點有關外，還另外跟某功能有關，讓測試案例有更高的彈性。

兩者之間存在著細節的差異，像是不同類型但相同案例的場景，例如，我們會基於某種原因，進行多次相同的測試，例如不同OS版本的裝置、不同國家地區。在TestRail中，可以採用變數來自動建立多種組合，讓一個Run內含多種測試。在Armoury+中，則是使用Run複製功能，先建立好一個完整的Run，後續根據需求複製多個相同的Run內容。

管理階層上，TestRail具有MileStone的最高層級，而Armoury+則是Test Run為最高層級。TestRail的設計理念為目標導向，可以設定一個目標關聯多個Test Run；Armoury+採用完成優先導向，測試工程師只需要專注於列表中仍未關閉的Test Run。

版本控制

Armoury+採用時間軸，讓用戶從新到舊呈現版本歷程；TestRail採用的是版本比較，透過選擇兩個案例來比較兩者差異，讓使用者選擇。會有這樣的設計差異，在於Armoury+較偏向軟體測試思維而TestRail較偏向開發者思維。

以Git為例子，Git是被廣泛使用的版本控制工具，其中git diff指令可以觀看不同版本程式碼的差異，讓開發者知道兩個版本之間的變動，TestRail採用了類似這種觀點；而測試案例的改變，與程式碼變動是不同概念，是根據產品變化而改動，版本控制的目的在釐清產品變化，所以Armoury+採用時間軸模式。

兩種設計都有優缺點，使用者可以根據需要選擇適合的產品。

自動化整合

自動化測試是軟體測試領域很重要的議題，大部分企業都期待能夠用自動化測試涵蓋傳統人工執行，而在自動化發展的過程中，會出現一個難點，即「如何有效呈現測試結果」，導致手動測試管理工具出一份報告，而自動化測試也出一份報告，這也催生了大部分測試管理工具都有整合自動化的功能，透過SDK或API，讓自動話測試腳本呼叫，將測試結果傳入，無需另外整合或自建報告格式。

在測試案例管理的自動化功能上，兩者不分伯仲。

而Armoury+更多了API測試的功能，且能透過API觸發自動執行測試，這讓CI/CD的測試整合流程多了一項選擇：當後端部署新版程式碼後，在CI/CD街端去觸發Armoury的Collection或Request層級的API測試，取得測試結果後即可判定新版的API是否有錯誤，不再依賴手動測試去覆蓋後端測試。

用戶權限機制

在用戶權限機制，兩者有著很大的區別，TestRail內建了大量的權限設定機制，包括角色、群組、專案、甚至可自定義權限，從專案管理的角度上給予了很大的彈性，但從測試管理的角度上，可能會是一種阻礙，因為管理系統的管理員需要花費大量的心力來確保權限都合規。

而Armoury內建了管理員、主管、設計者、測試者和閱覽者的角色，依照角色做權限限制，而不對專案進行控管，這大幅簡化了系統管理者在Armoury+上管理成員的時間成本，每個成員也能夠依照角色得知自己有什麼權限。

舉個例子，如果企業有10名測試人員，但有兩個不希望彼此存取的獨立專案，在選用TestRail的狀況下，通常會是購買10個使用者的權限，然後細分每個使用者能存取哪個權限，後續人員流動，都需要在新增的時候處理權限。而在選用Armoury+時，可以採購兩套Armoury+ Starter方案，即可有兩個獨立系統，分別有5名測試人員的額度，此時，TestRail將花費約130,000 (Pro)或260,000(Enterprise)，而Armoury+只需要19,600，約6~13倍的差距。

甚至我們應該思考的是，當測試人員都是相同公司的情況下，是否有需要劃分到專案層級不可見？如果是擔心非屬專案的人員動到資料，Armoury+在所有方案中都提供Audit Log功能，確保每一項測試案例的變動都是在掌控範圍，毋須擔心被修改的問題。

TestRail的Audit Log是只有系統管理者層級能查看每一個實體的改變紀錄，只有高價位的Enterprise方案才提供；而Armoury+的Audit Log則是和測試報告功能做整合，除了得知案例被誰修改，也能得知整體的進度是否有落後。

客戶支援

兩者的客戶支援方式也有明顯的不同，根據筆者過往使用TestRail Professional Cloud的經驗，當發生問題時，是開立Support Ticket等待回覆，或是到TestRail的論壇中去觀看是否有其他人遇到相同的問題，至於優先支援，筆者沒有使用過，則不提出討論。

Armoury+的每一個使用者帳號右上角，都提供了客服對話框，能直接與客服人員聯繫，最慢的狀況下24小時能完成回覆，大約等同TestRail的標準支援。

而訓練方面，TestRail只有高價Enterprise方案有提供線上訓練課程，或是需要找官方授權的培訓機構，另外付費。而Armoury+則是搭配KEENLITY的原廠顧問服務，進行各種軟體測試主題的培訓，包括Armoury+系統培訓。從TestRail省下的費用，用來聘僱專業顧問進行測試流程改造，比單純導入系統能獲得更大的提升。

Armoury+作為一個新推出市場的產品，持續聆聽用戶的需求，付費用戶可以提出期望的功能，建議KEENLITY發展方向。

Armoury+的缺點

目前Armoury+最大的缺點，是缺乏了第三方生態的整合。

作為一個新推出市場幾年的產品，建立軟體測試主要功能是KEENLITY目前的首要目標，在KEENLITY的企業實務經驗上，測試工具與其他團隊的工具整合(例如Jira, RedMine, Figma)無法有效提升測試效率、大多時候是團隊的其他成員想要看到測試狀況而加入。以KEENLITY的哲學來說，在帳號價格的絕對優勢下，我們是希望團隊的所有人都擁有Armoury+的帳號來參與完整的測試流程，而不是測試僅僅是專案的一部分。

除此之外，一些常見的高階企業功能例如SAML, Oath,或OpenID Connect，也不在Armoury+的路線圖上，短期內，KEENLITY沒有開發與其他系統整合的計畫，當Armoury+完善了大部分的軟體測試功能後，會開始著手這一塊。

結論

在主要功能的比較下，Armoury+和TestRail都是以測試案例管理作為主要功能，但Armoury+另外提供了完整的API測試功能，這也是Armoury+勝出的主要原因。軟體測試有非常多領域，測試案例管理是手動測試的基本，而網路軟體公司大部分都會有API後端，也就成為測試的重點之一，在購買了TestRail後，若要發展API測試，則又會需要考慮導入其他工具，例如Postman、Insomnia，又是另外一個花錢提案，成為另一道阻礙，而Armoury+的導入，一次性的解決測試案例管理和API測試兩件軟體測試的大事，且Armoury+的功能會圍繞在軟體測試上持續增加功能。

在想要提升測試效率，但卻預算有限的狀況下，Armoury+已經是很明顯的贏家了，Armoury+是目前相同功能的付費測試系統中費用最低，且提供中文服務。

若是有足夠預算，也能夠選擇TestRail，但若你同時有測試API的需求，或期望發展API測試，你絕對不能忽視Armoury+自帶API測試的功能。若是有培訓測試團隊的需求，希望測試人員的技能和思考方式能提升和對齊，則導入Armoury+後，可採用KEENLITY的顧問服務，來達成團隊技能的提升。

想要將你的軟體測試團隊提升到新的高度嗎？嘗試KEENLITY推出的Armoury+，導入測試案例管理和API測試管理，現在註冊可獲得一年的免費試用額度，聯繫我們將免費提供兩個月的全功能試用。