获取用户的反馈
在 LinkedIn，我们是一个“用户至上”的组织，意味着我们相信应该让用户的声音来引导我们的产品设计。为了优化算法来尽可能交付最好的用户体验，我们想了解哪些认证的用户评价最高。
我们提供了一个功能，让会员可以在应用内对收到的新认证通知予以反馈。我们会问一些问题，类似于“它与你的技能的关联度有多少?”、“这个认证价值几何?”等。这些调查遵循 LinkedIn 严格的隐私政策，收集到的数据仅仅用于提升我们的模型。
用反馈来构建一个目标指标
我们开发一个目标指标的目的是捕获那些能为用户的技能提供有价值的确认的认证。根据我们获得的用户反馈，我们注意到认证通常来自于那些同时知道此接受者和此技能的推荐人。
为了定义更为具体的目标指标，最开始我们选择了关于推荐人、接受人和他们的关系的80多种对定义有用的候选指标。
这些特性，与回应相结合，能够让我们将不同的特性与我们通过产品内的反馈接收到的积极信号关联起来。使用各种各样的机器学习算法，我们最终识别出了最有用的12种信号。
识别高评价认证最高特性的信号流程
为了开发一个有用的指标来衡量认证系统的健康状态，并引导产品研发，我们希望这个定义是准确的、直观的和全面的。
准确的 意味着它与用户调查反馈是强相关的。
直观的 意味着它与我们的产品直观相符，并易于和用户沟通。
全面的 意味着它能捕获到广泛的高评价认证。
我们没有直接使用机器学习模型作为我们的定义，因为尽管它是准确的和全面的，却不够直观。相反，我们找到了一个更简单的定义，并且它与调查数据相符。从最高的12个特性中，我们开始创建高评价认证的候选定义。例如，我们可以认为高评价的认证是那些由在这个技术领域是专家的同事给出的认证。对于每一个候选定义，我们会关注它的查全率和与人类理解它的精确度。
在这个过程结束时，我们开发出了一个目标认证指标，它被描述如下：
一个同时知道这个人和这项技术的关系人做出的认证是高评价的认证。
对于定义的每个部分(了解这项技术和了解这个人)，我们基于由机器学习结果支持的直观临界值确定了它们各自的顶部信号的阈值。下周我们将讨论 LinkedIn 服务认证的新后端架构。