如何博尔证券量化交易系统评估推荐系统的推荐结果

来源：蜘蛛抓取(WebSpider) 时间：2016-03-07 02:40 标签： 白银谷量化交易系统
如何量化评估推荐系统的推荐结果？
可以以豆瓣电台举例，单纯的pvuv离效果太远...如果没有通用的评估方法，举个案的例子也行
按时间排序
舶来品：最终检测订单才是王道，随机抵扣卡，这么用……这么用……一举三得。
我现在在做一个推荐系统的比较,我使用了准确率与召回率曲线与坐标轴围成的面积衡量该推荐系统能力的强弱.
我觉得可以分成两种情况：第一种是线上实际的推荐系统：这种推荐算法的评估方式必须根据产品的定位以及业务的场景。电商类推荐系统：最终的目的是提高销售额，那么最好的评估方式就是看推荐带来的销售额的占比。楼主所说的uv pv 或者 点击率等受UI，产品本身，推广等诸多因素影响，参考价值不大。电影图书音乐类推荐系统：最终目的是帮助用户更好的发现内容，那么可以评估方式可以是用户观看电影听歌等来自推荐系统的占比。当然这类还有一些其他的方式，比如满意度啊，因为一般可能都会有打分系统或者喜欢不喜欢，这些也可以作为用户满意度的考量。新闻内容消息推送类：这类包括社交网络推进的信息流，新闻推荐的消息等。这种浏览型的推荐在评估上确实比较模糊，点击率，用户浏览时长等都不是特别能说明推荐系统的效率，决定因素太多了。而且也不方便收集用户的正负反馈，是否喜欢。当然了，在产品UI等比较定型了的情况下，可以通过点击率，分享率，人均点击，浏览时长等作为参考。第二种属于线下实验这种比较好衡量，一般都会有test都有标准值， 一般的统计方法:RMSE,相关系数等来衡量。这种主要多用于线下测试或者学术研究。总之，评估方式主要还是根据不同产品和业务的目标去考量。
把评估的部分放给用户来做不是更真实！
1，A/B Test是最关键也是最重要的评估推荐结果的方法；2，用户要随机分成数量相同的组，可以是两组或更多组；3，每个组在测试期间，使用不同的算法；4，评估推荐算法效果的时候，看的是我们用户行为的改变：豆瓣看的是有没有更多的人收听，更多的人点了红心，电子商务看的是有没有更多的人购买商品，还有就是，是不是更多的人使用了你们日以继夜，呕心沥血打造的推荐产品。
现实中要和具体业务结合是肯定的。技术层面不妨看看《Recommender Systems Handbook》第 8 章： Evaluating Recommendation Systems，从实验设计和常见指标两个角度作了相对全面的总结。
（1）转化率（2）推荐虚拟物品使用平均时长（比如说推荐歌曲），总使用时长
现下感觉也就Online Bucket Test令人信服一些，指标上可以多统计一些提供给人工考量，比如类似接受率、拒绝率等。离线实验的话没办法，常用的指标有推荐结果列表TopN接受率、RMSE等。
现在学术上比较常用的都是RMSE之类的评价标准，个人觉得这些标准是学术界无赖的选择，因为实验的数据和环境只能够做到这一步。
推荐系统还是看目的是如何的，从用户角度讲是为了更好的理解用户，减少用户查找内容的时间和次数，从产品本身角度讲，是增加单位面积单位时间内的点击数或者说内容有效。
我在做推荐系统的时候从业务角度的衡量：
1、是衡量点击和打开率，这说明用户是否对内容感兴趣（当然，这与UI视觉有很大关系，只能说在UI已定的情况下查看）。
2、通过推荐系统替代用户主动搜索或者主动浏览的次数，可以通过横向与使用其他产品对比较，比如使用推荐系统提供内容的用户搜索次数和点击浏览目录次数明显下降。
3、推荐系统的满意度口碑，刨除因为页面位置效果等因素，衡量推荐系统一个重要的就是满意度的口碑问题，这个可以通过单个用户是否有重复使用的行为，曲线是否是一直上升的来衡量，如果一直有新用户访问，但一直没有老用户重复使用，就还是满意度有问题。
已有帐号？
社交帐号登录
无法登录？
社交帐号登录The service is not available. Please try again later.基于协同过滤的个性化推荐算法研究
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
基于协同过滤的个性化推荐算法研究
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口主流操作系统安全弱点的综合量化评估_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
主流操作系统安全弱点的综合量化评估
上传于||文档简介
&&主​流​操​作​系​统​安​全​弱​点​的​综​合​量​化​评​估
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
下载文档到电脑，查找使用更方便
还剩4页未读，继续阅读
你可能喜欢

我要回帖

更多关于 白银谷量化交易系统 的文章

 

随机推荐