產(chǎn)品項目的目的無非是兩個:用戶維系和用戶拓展。
用戶維系:是對現(xiàn)有用戶需求進(jìn)行挖掘,并對產(chǎn)品進(jìn)行針對性的優(yōu)化改進(jìn)以提高活躍度、降低流失率。此類項目的評估即可從用戶周/月活躍度、用戶流失率、改進(jìn)部分的單獨的UV、PV量以及用戶點擊統(tǒng)計等方面來進(jìn)行評估。
用戶拓展:目的的實現(xiàn)方式本質(zhì)上有兩種:1、更好地滿足目標(biāo)用戶的需求---從競品那兒拉人;2、產(chǎn)品運(yùn)營---讓更多的目標(biāo)用戶知道我們的產(chǎn)品。前者的評估方式主要是看UV的一系列統(tǒng)計變化,除此之外還可以通過用戶訪談,競品對比來量化;后者的評估方式就得具體看運(yùn)營活動的方式來確定評估方式了。
雖然絕大多數(shù)項目都不僅僅是單一的維系或者拓展,但PM應(yīng)該在項目之初確定項目的主要目標(biāo)。這樣在項目結(jié)束之后采用與目的相適應(yīng)的評估方式進(jìn)行客觀分析。
【評估指標(biāo)】
我把可供分析和評估的數(shù)據(jù)分成三類:1、核心指標(biāo);2、相關(guān)統(tǒng)計數(shù)據(jù);3、用戶體驗量化數(shù)據(jù)。單個項目對這三類數(shù)據(jù)的影響一般是由小到大。
核心指標(biāo)一般就是產(chǎn)品的KPI,通常由UV、PV以及產(chǎn)品其他關(guān)鍵指標(biāo)構(gòu)成。產(chǎn)品的核心指標(biāo)通常受多方因素影響,很難說核心指標(biāo)的變化一定是由單個項目造成的影響。當(dāng)然如果在新版上線后核心指標(biāo)數(shù)據(jù)變化具有統(tǒng)計顯著性時(還需要排除其他可能產(chǎn)生較大影響的影響),那說明這個項目確實是非常給力。
相關(guān)統(tǒng)計數(shù)據(jù)一般指可能影響核心指標(biāo)的一些數(shù)據(jù),如下載量/激活量、活躍用戶占比、更新量等一些數(shù)據(jù)。這些數(shù)據(jù)一般是產(chǎn)品的局部數(shù)據(jù),但正因為是局部數(shù)據(jù)所以更能反映單個項目帶來的影響效果。比如這次項目的主要內(nèi)容是優(yōu)化了新聞服務(wù),那么單平臺單個新聞服務(wù)的UV、PV數(shù)據(jù)更能的反應(yīng)項目成果。這些局部統(tǒng)計數(shù)據(jù)是PM需要在項目之初提前重點思考的問題。
用戶體驗量化數(shù)據(jù)是指具體某個功能對用戶的操作體驗的量化分析,包括分析用戶操作流、各頁面停留時間、用戶測試、專家走查等等方式。這方面PM需要和用研工程師、交互設(shè)計師一起協(xié)作對產(chǎn)品的用戶體驗進(jìn)行量化評估。用戶體驗的量化數(shù)據(jù)相比其他評估指比所反饋的信息更加局部,同時也是最不容易受其他因素干擾的一種評估指標(biāo),所以對于主要內(nèi)容是優(yōu)化的項目,這也是最容易反映項目成果的一種評估方式。
不管是那種評估指標(biāo),都需要審慎地分析,盡量排除干擾因素,做到誠實、客觀。
【分析評估角度】
分析評估時的角度主要指合理運(yùn)用各種統(tǒng)計學(xué)工具對已經(jīng)掌握的數(shù)據(jù)進(jìn)行處理,讓這些冰冷的數(shù)據(jù)說起話來。通常使用的處理方式有以下一些:
1、占比
2、環(huán)比:與上一統(tǒng)計段比較,例如2005年7月份與2005年6月份相比較,叫環(huán)比;
3、同比:與歷史同時期比較,例如2005年7月份與2004年7月份相比,叫同比;
4、橫向?qū)Ρ龋哼@里我是指產(chǎn)品線不同平臺之間進(jìn)行對比;
5、縱向?qū)Ρ龋哼@里我是指單個平臺內(nèi)不同服務(wù)之間的對比;
6、方差:反應(yīng)數(shù)據(jù)變化的穩(wěn)定度;
7、數(shù)據(jù)圖形化:使數(shù)據(jù)更容易被理解。
這一部分是我最欠缺的知識,需要多看看統(tǒng)計學(xué)相關(guān)的書籍學(xué)點這方面的知識。
【可能影響項目評估數(shù)據(jù)的因素】
并不是每個項目做完以后都能得到明確的數(shù)據(jù)進(jìn)行支持的。環(huán)境往往處于變化之中,使我們的數(shù)據(jù)無法受項目的單一影響。節(jié)日、突發(fā)事件、運(yùn)營活動、行業(yè)環(huán)境變化、競品策略調(diào)整等等都可能和我們的項目同期對我們的目標(biāo)指標(biāo)造成影響。這時候就需要PM思考這些因素對于數(shù)據(jù)影響的大小,做到盡量合理地對項目進(jìn)行評估。
近一段時間在看《統(tǒng)計學(xué)的世界》,前幾章都在介紹如何識別統(tǒng)計數(shù)據(jù)的誤差,并采用各種手段減小誤差。知乎上也有一個很熱門的問題:“'數(shù)據(jù)會說謊' 真實例子有哪些?究竟是數(shù)據(jù)在說謊,還是邏輯在說謊?” 絕大多數(shù)人在做數(shù)據(jù)分析或者數(shù)據(jù)解讀的時候都試圖去排除各種干擾、誤差。但是在面對實際項目的時候,我相信很多人和我思考到這里時一樣,有一點無力感。能客觀正確的分析數(shù)據(jù)所反映的問題確實是一件很不容易的事,我們只能用科學(xué)的手段來對它進(jìn)行處理,并謹(jǐn)慎地去進(jìn)行驗證,最后客觀的去解讀。我覺得這其中最重要的還是兩個字:誠實。