體驗(yàn)度量專題｜易用度在企業(yè)級中后臺(tái)產(chǎn)品的探索和實(shí)踐
2021-1-18 ui設(shè)計(jì)分享達(dá)人
作為產(chǎn)品設(shè)計(jì)者，經(jīng)常遇到一個(gè)備受靈魂拷問的問題：怎么衡量我們設(shè)計(jì)的產(chǎn)品，用戶體驗(yàn)是過關(guān)的？
今年，我們在內(nèi)部中后臺(tái)產(chǎn)品進(jìn)行嘗試，發(fā)現(xiàn)「易用度」可以作為合適的度量指標(biāo)，并成功推廣到 35 個(gè)產(chǎn)品，幫助PD、設(shè)計(jì)師、工程師等產(chǎn)品設(shè)計(jì)者去衡量產(chǎn)品體驗(yàn)現(xiàn)狀，發(fā)現(xiàn)改進(jìn)機(jī)會(huì)點(diǎn)。實(shí)踐證明，易用度，相比滿意度、尖叫度、NPS，更適合技術(shù)類產(chǎn)品的體驗(yàn)度量。結(jié)合用戶行為數(shù)據(jù)，可以為用戶畫像、改進(jìn)方向、運(yùn)營策略提供更準(zhǔn)確的決策依據(jù)。
1. 中后臺(tái)體驗(yàn)度量現(xiàn)狀
在公司內(nèi)部，技術(shù)類產(chǎn)品種類繁多，有很大一部分是開發(fā)、運(yùn)維人員使用的中后臺(tái)產(chǎn)品，且以從 0-1 階段為主。由于這部分同學(xué)本身工作復(fù)雜度高，又必須依賴內(nèi)部產(chǎn)品來完成，所以長期以來“簡單易用”成為大家追求的產(chǎn)品體驗(yàn)標(biāo)準(zhǔn)，他們也把“如絲般順滑”作為終極目標(biāo)。但現(xiàn)實(shí)情況是， 上手門檻高是使用技術(shù)類產(chǎn)品最大的痛點(diǎn)。
對于前臺(tái)業(yè)務(wù)的設(shè)計(jì)者，經(jīng)常會(huì)使用「人+錢」，也就是「流量+付費(fèi)」來衡量產(chǎn)品效果。通過成功率、轉(zhuǎn)化率等指標(biāo)，可以快速看到用戶行為上的反饋，來指引后續(xù)優(yōu)化。但對于技術(shù)類產(chǎn)品，尤其是強(qiáng)流程、工具型產(chǎn)品，很難找到一套契合業(yè)務(wù)特點(diǎn)的度量方式。理論上，使用「成本+效率」是比較合適的衡量維度，實(shí)際操作下來，找到設(shè)計(jì)和產(chǎn)品效果之間的因果關(guān)系，并非易事。 我們做了一個(gè)內(nèi)部調(diào)查，發(fā)現(xiàn)產(chǎn)品設(shè)計(jì)者經(jīng)常容易遇到這些問題：
-
體驗(yàn)度量是一個(gè)繞不開的話題。天貓、阿里云、華為、京東都有嘗試提出解決方案，但沒有統(tǒng)一的衡量維度。
-
設(shè)計(jì)方案與產(chǎn)品的市場反饋，需要一個(gè)可以解釋關(guān)聯(lián)關(guān)系的抓手，這對迭代方向的指引至關(guān)重要。
-
產(chǎn)品團(tuán)隊(duì)逐漸重視用戶用戶，但缺乏有說服力的指標(biāo)。
業(yè)界在體驗(yàn)度量上的方案，大致分為 3 個(gè)派別：
-
客觀衡量法：通過數(shù)據(jù)埋點(diǎn)監(jiān)測用戶行為數(shù)據(jù)。例如經(jīng)典的 PULSE 模型，還有大家熟悉的運(yùn)營指標(biāo)，活躍用戶數(shù)、留存率、ARPU、LTV等等。這對于還未商業(yè)化、用戶基數(shù)少的產(chǎn)品不適用。
-
主觀衡量法 ：收集用戶主觀打分。經(jīng)典的滿意度、尖叫度、NPS，可用性測試量表（如SUS），美國客戶滿意度指數(shù)ACSI。
-
主觀+客觀衡量法：把用戶行為數(shù)據(jù)和主觀打分結(jié)合起來，多數(shù)用歸一化方式得出一個(gè)總分，把分?jǐn)?shù)劃分成不同檔次作參考。Google 經(jīng)典的 HEART 模型，內(nèi)部 的 PTECH 模型，阿里云 QoUE 模型 ，華為云的用戶體驗(yàn)?zāi)Ｐ汀?nbsp;
在掌握了這些信息之后，我們在內(nèi)部的技術(shù)類產(chǎn)品上，進(jìn)行了一輪新的探索。經(jīng)過半年時(shí)間的試點(diǎn)，結(jié)合業(yè)界的解決方案、內(nèi)部產(chǎn)品的業(yè)務(wù)特性，我們最終選擇主觀衡量法，并使用「易用度」這個(gè)衡量指標(biāo)。
2. 易用度指標(biāo)
易用度，英文 Customer Effort Score ，簡稱「易用度」，也有譯成「費(fèi)力度」，指的是用戶使用某個(gè)產(chǎn)品/服務(wù)來解決問題的難易程度。目的是 消除或減少用戶使用產(chǎn)品過程中的障礙。
該定義來自 2010年 《哈佛商業(yè)評論》發(fā)表的文章《Stop Trying to Delight Your Customers》。2013年，Gartner 子公司 CEB 發(fā)布易用度2.0版本的測量方法，定義為“解決問題的難易程度”（make it easy to handle my issue）。 它的源頭可以追溯到美國用戶研究專家 Jeff Sauro(2009)提出的單項(xiàng)難易度問卷（Single Ease Question，SEQ），在可用性測試之后，用戶需要對一個(gè)問題進(jìn)行打分，問法是“整體上，這個(gè)任務(wù)是非常困難-非常容易（7分制）”。 為什么說「易用度」更適合技術(shù)類的產(chǎn)品？主要基于技術(shù)類產(chǎn)品的三大特點(diǎn)。
衡量維度
易用度：使用**產(chǎn)品完成**工作的容易程度。
-
主要因素：產(chǎn)品及設(shè)計(jì)給用戶操作帶來的復(fù)雜度，我們稱之為「基礎(chǔ)體驗(yàn)」，包括幫助引導(dǎo)、功能入口、概念術(shù)語、任務(wù)流程、操作反饋。
-
次要因素：用戶特征對使用易用度的調(diào)節(jié)作用，也稱之為「調(diào)節(jié)因素」。不同特點(diǎn)的用戶，會(huì)影響易用度分?jǐn)?shù)，包括操作熟練度、先驗(yàn)知識(shí)、行為習(xí)慣。
量表開發(fā)
大家肯定要問，這些影響因素是怎么確定的，如何證明它們的合理性？這就要提到量表開發(fā)方法，基本上可以分為幾個(gè)步驟： 從相關(guān)領(lǐng)域查找經(jīng)典量表，站在巨人的肩膀上，經(jīng)過實(shí)踐檢驗(yàn)的量表更可靠。我們首先從 15種國際可用性測試量表中借鑒，抽出了一些關(guān)鍵的衡量維度。另外，易用度創(chuàng)始人Matt Dixon（2014）在《the effortless effort》書中，總結(jié)了在客戶服務(wù)場景，費(fèi)力的關(guān)鍵因素：
-
信息分類不恰當(dāng)，反復(fù)描述問題（82%）
-
-
-
找不到相關(guān)入口，頻繁切換溝通渠道（59%）
我們盤點(diǎn)發(fā)現(xiàn)，技術(shù)類產(chǎn)品，絕大部分屬于工具型產(chǎn)品，強(qiáng)調(diào)任務(wù)流程，也是用戶痛點(diǎn)集中的地方。匯總多條業(yè)務(wù)線近1年的調(diào)研結(jié)果。除了功能、性能問題外，根據(jù)對完成任務(wù)的阻礙程度，無論是0-1階段，還是1-N階段，高頻體驗(yàn)問題分布都集中在5個(gè)維度：
通過整理歸納的影響因素，需要經(jīng)過信效度驗(yàn)證，才能有說服力。簡單來說，信度就是“可信與否”，指的是結(jié)果的一致性、穩(wěn)定性及可靠性；效度就是“命中與否”，指的是結(jié)果反映所想要考察內(nèi)容的程度。通過統(tǒng)計(jì)學(xué)的探索性因子分析，驗(yàn)證性因子分析，我們確定 5 個(gè)維度可以有效測量易用度分?jǐn)?shù)的變化。詳細(xì)可查閱《如何找到影響用戶體驗(yàn)的關(guān)鍵因素？》。
與滿意度、尖叫度、NPS的區(qū)別
從易用度-滿意度-尖叫度-NPS，是一個(gè)用戶預(yù)期的漸進(jìn)變化。從中可以看出，易用度更關(guān)注的是基礎(chǔ)體驗(yàn)，也就是“簡單好用”。
為什么易用度相比其他指標(biāo)更適合技術(shù)類產(chǎn)品呢？主要有 3 個(gè)原因：
1.內(nèi)部試點(diǎn)發(fā)現(xiàn)，滿意度無法準(zhǔn)確衡量技術(shù)類產(chǎn)品體驗(yàn)
-
滿意度不能很好衡量真實(shí)體驗(yàn)，分?jǐn)?shù)虛高。我們在一些產(chǎn)品上，同時(shí)使用「易用度」和「滿意度」作為總體指標(biāo)，發(fā)現(xiàn) 43% 的用戶滿意度評分，高于易用度評分，可以理解為“產(chǎn)品我滿意但不好用”。此外，易用度分?jǐn)?shù)與滿意度分?jǐn)?shù)相關(guān)性高達(dá)0.77，具備很高的可替代性。
-
易用度更接近用戶真實(shí)體驗(yàn)。對任務(wù)難易程度作出評價(jià)，用戶在判斷時(shí)會(huì)更直接，考慮使用過程中付出的腦力、時(shí)間等成本。對滿意度作出評價(jià)，除了考慮產(chǎn)品本身的易用性，內(nèi)部用戶還會(huì)考慮其他主觀因素，例如：
-
合作關(guān)系：你是研發(fā)，我是用戶，擔(dān)心給你滿意度打低分了，之后就不滿足我的需求了。
-
中庸傾向：滿意度調(diào)查，已經(jīng)是人盡皆知的評分，國人都傾向于打中上。
-
評價(jià)范圍：易用度問的是完成工作的容易程度，范圍更小，用戶評價(jià)的時(shí)候更聚焦。滿意度問的是整體是否滿意，范圍更大，用戶會(huì)綜合考慮很多因素，例如上面提到的服務(wù)支持、上下游協(xié)作、需求響應(yīng)等等。
2.行業(yè)實(shí)踐表明，易用度比 NPS 更能預(yù)測用戶留存和成本變化
-
易用度更能預(yù)測用戶留存。《哈佛商業(yè)評論》（2010年）發(fā)表易用度時(shí)，調(diào)研7500多名用戶，數(shù)據(jù)顯示易用度低的客戶，94％的有復(fù)購意愿，88％表示會(huì)增加支出，僅1％表示會(huì)對公司持負(fù)面態(tài)度。Garter（2013）發(fā)布報(bào)告，基于49000多名用戶數(shù)據(jù)發(fā)現(xiàn)，易用度分值從1分提升到5分，可以使用戶忠誠度提高22%。Oracle（2015）發(fā)布服務(wù)云易用度白皮書發(fā)現(xiàn)，當(dāng)用戶表示使用產(chǎn)品付出了更少的努力，忠誠度提高18%。相反，從滿足用戶預(yù)期到超出用戶預(yù)期，用戶忠誠度的變化并不明顯。
-
易用度更能預(yù)測成本變化。Gartner（2019）對100+公司、12.5w用戶的調(diào)研發(fā)現(xiàn)，易用度從高分到低分，可以降低37%的成本。
3.行業(yè)實(shí)踐表明，尖叫度更適合成熟度較高的產(chǎn)品類型
-
目前在市場上，至少在國內(nèi)，ToB 產(chǎn)品沒有達(dá)到飽和，定位也各有不同。在企業(yè)用戶心中，并沒有足夠清晰的心智和經(jīng)驗(yàn)去判斷。例如企業(yè)微信和釘釘，基本上很少有用戶會(huì)同時(shí)使用這兩個(gè)產(chǎn)品，那用戶就無法準(zhǔn)確評價(jià)二者的好壞。
-
更關(guān)鍵的是，很多 ToB 產(chǎn)品，用戶多數(shù)是被動(dòng)接受使用的，極少有選擇余地。普遍的高技術(shù)門檻，也把他們嘗試的意愿和可能性大打折扣。
優(yōu)劣對比
對比滿意度、尖叫度、NPS指標(biāo)，易用度的優(yōu)勢在于：
-
關(guān)注用戶完成任務(wù)過程中的阻礙，重視基礎(chǔ)體驗(yàn)；
-
適合去度量特定的用戶接觸點(diǎn)和任務(wù)流程，以便了解用戶解決問題的難易程度。
-
對于分?jǐn)?shù)過高或過低的情況，沒有通用的基線，需要區(qū)分行業(yè)、產(chǎn)品類型、產(chǎn)品復(fù)雜度來衡量分?jǐn)?shù)是否合格；
-
側(cè)重基本體驗(yàn)，無法衡量用戶的總體滿意度。
3. 易用度基線
經(jīng)過半年的實(shí)踐，我們采集了 35 個(gè)技術(shù)類產(chǎn)品的易用度，根據(jù)產(chǎn)品類型、產(chǎn)品階段來區(qū)分。 結(jié)合內(nèi)部試點(diǎn)和行業(yè)調(diào)研，我們把技術(shù)類產(chǎn)品的易用基線，設(shè)定為 5.5 分。主要發(fā)現(xiàn)：
-
產(chǎn)品類型越復(fù)雜，易用度越低。試點(diǎn)產(chǎn)品中，ToC 產(chǎn)品易用度均值 5.46，ToB 產(chǎn)品易用度均值 5.32，ToD 產(chǎn)品易用度均值 5.07。
-
產(chǎn)品階段越早期，易用度越低。試點(diǎn)產(chǎn)品中，0-1 階段的產(chǎn)品易用度均值 5.09，1-N 階段的產(chǎn)品易用度均值 5.28。
內(nèi)部實(shí)踐
如圖所示，易用度有很好的區(qū)分度，不同產(chǎn)品類型的不同產(chǎn)品階段分?jǐn)?shù)呈現(xiàn)出差異性，我們可以根據(jù)這個(gè)數(shù)據(jù)，去評估自己的產(chǎn)品所在位置。
為什么總體上選擇 5.5 分作為“易用”標(biāo)準(zhǔn)？我們在這 35 個(gè)產(chǎn)品上進(jìn)行易用度的嘗試，最終收集了 4000+ 問卷數(shù)據(jù)，得出了技術(shù)類產(chǎn)品的體驗(yàn)基線：
-
總體均值 5.07 分，中位數(shù) 5 分。具體分布如圖所示，認(rèn)為“比較容易”（5-7分）的用戶占 69%。
-
但由于內(nèi)部的技術(shù)類產(chǎn)品，大多處于 0-1階段，以現(xiàn)在的狀態(tài)作為“易用”基線，顯然不合理。
業(yè)界標(biāo)準(zhǔn)
因此，我們需要結(jié)合業(yè)界的實(shí)踐作為參考。我們收集到 2 家用戶研究領(lǐng)域的老牌公司 Nicereply 和 HotJar 的數(shù)據(jù)。Nicereply 是一家咨詢公司，它服務(wù)的對象既包括 C 端用戶，也包括 B 端用戶。HotJar 是一家專做用戶行為監(jiān)控的公司，它服務(wù)的對象主要是 C 端用戶。因此， 我們傾向于采納 Nicereply 發(fā)布的基線 5.5 分，作為參考。
-
Nicereply 公司在2018 年發(fā)布的易用度 benchmark（鏈接），基線為 5.5 分。
-
HotJar 公司在 2019 年發(fā)布的易用度 benchmark（鏈接），基線為 6.09 分。
分析思路
很多設(shè)計(jì)者會(huì)想，不就是一個(gè)問卷嘛，能發(fā)揮多大的作用？實(shí)際上，當(dāng)問卷數(shù)據(jù)+用戶行為數(shù)據(jù)，它將發(fā)揮更大的價(jià)值。
-
現(xiàn)狀描述：對產(chǎn)品當(dāng)前的功能、體驗(yàn)、性能的在用戶心中的水位進(jìn)行摸底，通過數(shù)據(jù)和主觀反饋找到原因。
-
對比差異：技術(shù)型產(chǎn)品往往有多個(gè)角色共同使用，并且有上下游協(xié)作關(guān)系，可以通過問卷和數(shù)據(jù)發(fā)現(xiàn)不同角色的偏好，找出差異化的改進(jìn)方向。
-
影響關(guān)系：當(dāng)發(fā)現(xiàn)某些模塊用戶評價(jià)低時(shí)，需要下鉆找到最相關(guān)的影響因素，這時(shí)需要用到相關(guān)分析，找到此消彼長或相輔相成的變化關(guān)系，以及用到回歸分析，找到可能的因果關(guān)系。
-
聚類分析：結(jié)合問卷數(shù)據(jù)和用戶行為數(shù)據(jù)，我們可以對典型用戶進(jìn)行分層，也就是我們通常說的“用戶畫像”，可以結(jié)合經(jīng)典的 RFM 模型，找到高頻、忠誠、高付費(fèi)且評價(jià)好的用戶。
現(xiàn)狀描述
以某個(gè)技術(shù)類產(chǎn)品 A 為例，通過現(xiàn)狀描述，可以發(fā)現(xiàn)低分人群抱怨的問題集中在哪里，提出問題優(yōu)先級排序。
對比差異
通過對比差異，把用戶根據(jù)人口學(xué)、行為特征進(jìn)行單維分類，與易用度分?jǐn)?shù)做交叉分析，找出人群之間的差異，有針對性改進(jìn)。
影響關(guān)系
通過影響關(guān)系分析，可以找到影響產(chǎn)品 A 易用度分?jǐn)?shù)的主要原因，也就是用戶為什么覺得好用/不好用。
聚類分析
通過聚類分析，結(jié)合問卷數(shù)據(jù)和用戶行為數(shù)據(jù)，可以發(fā)現(xiàn)典型人群，制定差異化的運(yùn)營策略。
現(xiàn)象與洞察
在 35 個(gè)技術(shù)類產(chǎn)品上的實(shí)踐，我們發(fā)現(xiàn)了一些常見現(xiàn)象和經(jīng)驗(yàn)性的洞察，它并非都是普適的，卻有很高的參考價(jià)值。
結(jié)論
基于內(nèi)部技術(shù)類產(chǎn)品的體驗(yàn)度量實(shí)踐，我們得出以下結(jié)論：
