Measuring the User Experience on a Large Scale: User-Centered Metrics for Web Applications

越来越多的产品和服务被部署在网络上，这对大规模的用户体验衡量提出了新的挑战。非常需要有一个用户中心的指标体系，用以衡量关键目标的达成过程，并推动产品的决策。在这份简报中我们可以看到Google目前使用的以用户为中心度量的HEART框架，以及作为产品目标映射到的这个指标创建的过程。
 
                
                
1、传统的网站衡量指标PULSE
o Page view/页面访问次数
o Uptime/持续运行时间
o Latency/延迟
o Seven days active user/7天活跃用户数
o Earning/收入
 PULSE是基于商业和技术的产品评估系统，被很多组织和公司广泛应用于跟着产品的健康状况。
 这些指标非常重要，并且和用户体验息息相关，比如一个产品如果经常访问中断（low uptime）或者非常慢（hight latency）是无法吸引用户的。一个电子商务网站的购买流程如果太多步很可能难以赚到钱。一个拥有很棒用户体验的产品更可能在PV和用户量上不断增长。
 
但是这些指标要么太浅层次，要么和用户体验不直接相关，很难用以评估用户界面的改变对于用户的影响。并且他们也经常很尴尬的互相影响——比如一个特定功能页面的PV上升可能是由于这个功能真的很流行，或者是由于界面让用户迷惑，而不断在周边点击以便逃走。带来短时期的价值的改进，有可能造成糟糕的用户体验，从而在更长时期造成用户的流失。
 
2、以用户为中心的指标HEART
Google的用户体验师基于PULSE中存在的问题，提出了一个作为补充的度量框架：HEART。
o Happiness/愉悦度
o Engagement/参与度
o Adoption/接受度
o Retention/留存率
o Task success/任务完成度
这五个仅仅是衡量的范畴，不同的产品可由此定义特定的指标，用以监控达到目标的进程。愉悦感结合用户的满意度来度量，任务完成度结合任务完成的效果和效率来度量。参与度、接受度、留存率是全新的范畴，一般通过广泛的行为数据来制定。通常并不适合在一个指标设定中用到所有维度，但可以参考该框架来决定是包括或排除某个维度。比如用户是要将使用你的产品作为工作的一部分，在这种企业环境下参与度就没有什么意义了。在这个案例中可以考虑选择愉悦感或者任务完成度。
 
 愉悦感
愉悦感是设计用户体验中的主观感受问题，像满意度、视觉感受、向别人推荐的意愿、易用性感知。可以通过好好设计问卷长时间监控相同的指标来看设计修改后带来的变化。
 参与度
参与度是用户在一个产品中的参与深度，在这个维度上，通常用来作为一段时期内访问的频度、强度或互动的深度的综合。比如单用户每周的访问次数，或者用户每天上传的照片数，这比总量要好——因为总量的增长可能是由更多的用户的产生，而不是更多的使用产生的。
 接受度和留存率
接受度和留存率指标通过特定时期内大量用户的统计（比如，7天的活跃用户数）提供强大的洞察，来定位新用户和老用户的差异问题。接受度监控特定时期内有多少新用户开始使用产品（比如，最近7天内新创建的账号），而留存率则监控特定时期内有多少用户在下稍后一个时期内仍然存在（比如，某一周的7天活跃用户在3个月后仍然在7天活跃用户中）。
 任务完成率
任务完成率维度包括一些传统的用户体验行为指标，比如效率（如完成任务的时间），效果（比如任务完成的百分比）以及错误率。
 
3、目标——信号——指标
不管定义的用户中心的指标是怎样的，如果不能精确的和目标相关，以及能够跟踪达到目标的过程，那么都是白搭。Google提供了一个简单的流程来完成指标的设定，通过阐明产品或者功能的目标，然后定义达成的信号，最终建立特定的指标的监控方式。
 
 目标
第一步是定义产品或功能的目标是什么，特别是在用户体验方面。用户需要完成什么任务？重新设计是试图达到什么？使用HEART框架来提示相关的目标（比如，是吸引新用户更重要，还是鼓励现有用户更积极参与重要？）一些有用的提示：
 不同的团队成员可能对于项目的目标有不同的意见。这个过程提供了一个很好的机会来收集不同的想法并且努力达成共识（并且buy-in选择的指标）
 特定项目或功能的成功可能与产品的整体目标不同
 在这个阶段无需太担心是否和如何找到相关的信号或指标
 
 信号
接下来，想想用户的行为或态度如何体现成功或失败。什么行动会表示目标已经达到？什么感受或看法能够联系到成功或失败？在这个阶段你应该思考你的这些信号的数据源可能是什么？比如，基于日志的行为信号，这些相关的行为目前有记录或者能够被记录吗？可以收集态度的信号——能否定期投放问卷吗？日志和问卷时我们最常使用的两个信号源，但还有其它的可能性（比如，使用一个面板或判断让用户评分）。一些有用的提示：
 选择敏感和和目标特别相关的信号——他们应该不因不想过的原因变化，除非用户体验变好或变糟糕了
 有时失败比成功更容易定义（比如，放弃任务、撤销，戳着）
 
 指标
最终，想想这些信号是否可以转换为特定的指标，是否可以被方便的持续跟踪。一些有用的提示：
 原始统计数据会随同你的用户基数增长而增长，需要转化为常态；比例、百分率或者每个用户的平均值更有用一些
 在确保精度上有很多挑战，基于web日志的指标，如从自动生成的数据中过滤流量（如爬虫、垃圾信息），并且确保所有重要的用户行为都被日志记录（默认情况下可能不会，尤其是在基于AJAX或基于Flash的应用中）
 如果需要拿你的项目或产品和其他的进行对比，你可能需要在这些产品的标准指标中增加监控指标。
 
4、总结
Google已经花费数年时间来解决广泛应用的用户体验的衡量指标体系。HEART框架和目标-信号-指标的过程，已经在Google超过20个产品和项目中进行了应用。不管是数据驱动的还是用户中心的产品中，HAERT框架和目标-信号-指标过程都能帮助产品团队来做出决定。
英文原文：http://research.google.com/pubs/pub36299.html