微信搜索lxw1234bigdata | 邀请体验:数阅–数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

一个母婴电子商务网站贝贝网的大数据平台及机器学习实践

大数据平台 lxw1234@qq.com 26045℃ 2评论

关键字:大数据平台、机器学习

贝贝网的主要产品是垂直的母婴类,母婴相对一般的电子商务网站有一些特点:第一个特点是商品周期短,在母婴网站上的商品,在线的时间不会超过5-7天,第二个是用户需求的变化快,在母婴行业,可能是用户的需求变化最快的领域,比如是用户处在怀孕当中,关心的是孕妈的一些问题,几个月以后,随着宝宝的落地,就会准备一些纸尿裤和奶粉,而且随着宝宝的长大,纸尿裤和奶粉的类型也会变化。第三个是移动化,一般有90%的成交是来自移动端的。

手机端的屏幕非常的小,可以给客户的信息非常的有限,所以需要我们帮助用户找他有兴趣的东西,大数据平台既要为网站的活动提供大数据的支撑,还需要实现个性化的推荐,搜集用户的行为,全面的了解用户的购物意图,推荐用户感兴趣的商品。

下图是整个大数据平台的架构图,最下面的是我们的数据收集,后面会有介绍。计算层包括了离线计算和实时计算,以后搜索引擎,在算法层有协同过滤,分类产生一些用品的商品特征,以后排序的模型。在业务层的话,业务的类型是丰富多彩的,我们会融入一些运营的规则进行调整,包括一些个性化的调整和推荐,以及营销。


 

华丽的分割线:您可以关注 lxw的大数据田地 ,或者 加入邮件列表 ,随时接收博客更新的通知邮件。

 

 

 

BI层的应用有面向运营的,面向商家的,会涉及用户的浏览日志,在PC上的一些行为,比如是用户浏览了一些什么商品,点击了一些什么商品,对数据的消费也有二种方式,一种是实时消费,一种是离线消费,这种方式会在每天的凌晨进行一次统计,会有一天的延时,比如是 今天上线的活动,可能明天才知道这个活动的效果,因为我们研发了一套实时的数据研发系统,因此任何需要实时消费的数据报告,只要订阅就可以了。

分布式的调度是整个大数据平台的核心,在大数据平台处于一个指挥的作用,比如是任务管理,任务监控和任务日志,我们研发了一套分布式的系统,里面有二种角色。Master主要是负责任务的管理,任务的分配,任务的执行,任何的Master挂掉,都不会影响我们系统的运营。

在整个大数据平台上,很大一部分是推荐的产品,第一类是个性化的排序,个性化排序的特点是在侯选级的情况下,根据用户的不同的购物的用途,为用户做个性化的排序,用户到达我们网站的时候,我们会推荐所有在线的品牌特卖,比如是一天500个,根据用户的购物的意图,做个性化的数据。

第二个是关联推荐,比如是推荐和这个商品相似的商品,购买的商品可以推荐搭配的商品。第三个是个性化推荐,给指定的用户推荐他感兴趣的商品,比如是在用户的资料的页面,我们会直接给用户推荐他感兴趣的商品。


华丽的分割线:您可以关注 lxw的大数据田地 ,或者 加入邮件列表 ,随时接收博客更新的通知邮件。

 

除了这三种推荐的形式,还包括通过个性化的短信,个性化的推送,引导用户到我们的平台,我们会给用户推荐感兴趣品牌,我们会对商品进行个性化的排序,还会有相似商品的推荐,用户交易的环节,还会推荐和这个商品搭配的商品,包括周期购买预测等。

为什么会有这种推荐,可以从二个方面来看,一个是我们网站本身是一个轻搜索重推荐的模式,在我们的网站上搜索的功能是非常的弱化的,我们最近的上线的搜索 框也很不明显,这是一个推荐商品非常重要的渠道,从推荐的本身来说,也可以看到它的三个方面价值,提升用户的购物的体验。帮助商家找到感兴趣的用户,也可 以提高他的销售额,对整个平台来说,只有服务好用户和商家,才能得到一个比较好的持续的发展。

推荐这么的重要,最重要的是用户画像,这是我们的吉祥物,我们会对它进行二个部分,一个是静态的画像,比如是性别,年龄,宝宝的年龄性别,以及一些动 态的画像,比如品牌,购买时间,购买渠道等等,我们的这个行业里面,最重要的一个特征就是用户的性别年龄,不同的宝宝的性别年龄会影响到购物的偏好,很大 的一部分的妈妈是填写了一些用户的信息的,比如说宝宝的年龄是0-1岁,可以利用这个用户的行为特征,比如是它的浏览次数,收藏次数,有了这样子的模型, 就可以来填写宝宝年龄的预测。


华丽的分割线:您可以关注 lxw的大数据田地 ,或者 加入邮件列表 ,随时接收博客更新的通知邮件。

 

第二套很重要的标签是购物偏好,主要是提到的一些动态标签,比如是品牌内部等等,我们会统计用户在我们的平台上的一些行为,根据这些行为的成本给予不同的 选中,包括浏览电极,启发式的做法非常的简单,也是非常的容易理解,这些参数不好确定,这个时间的衰减应该做如何的衰减的程度。

我们现在正在用机器学习的方式做用户的偏好预测,把用户当前的购物的偏好做特征来进行一些购物的偏好。有一个很重要的推荐的类型是个性化的排序,当用户到 了我们的PC首页的时候,会展现每天500个在线的专场,用户很难通过翻页的方式来浏览所有的品牌,我们有一套规则的算法,模型有非常多的特征,可以考虑 非常多的因子,规则往往是只有几个关键的因子,比如是会把GMA往前排,规则是靠经验和参数的。已经形成了一个优化的问题。还有模型很方便加入用户的特征 做个性化的特征。

第一档就提升了6%,至于怎么样做,这个就是一个学习的流程,主要是离线和在线二个部分,在线系统搜集到了排序以后,也会根据用户的ID和品牌的ID,构建同样的特征和模型进行组合,就可以得到用户对每一个平台的分数。

那特征是这里面最重要的一部分,有属性特征,主要是各种维度的特性,还有是统计特征,还有偏好特征,偏好特征是我们做个性化推荐的最基本的推荐,这个是和 用户有关系的,比如是用户的画像。在这里面,我们做了很多的尝试,刚开始的时候,有点击率,点击率很好做,我们发现点击率的提升和我们的GMA的提升不是 完全一致的。我们用过分类和排序的算法,排序的算法会好一点,非线型的模型也会更有优势一点。


华丽的分割线:您可以关注 lxw的大数据田地 ,或者 加入邮件列表 ,随时接收博客更新的通知邮件。

 

我们到了电商网站的时候,肯定遇到过这样子的产品,你看过的商品可能是感兴趣的商品,在这个行业里面有很规律的算法,但是在母婴特卖里面,有它自己的特 点,它的商品每一行是代表了一个用户,每一列是代表的一个商品,第一周上线的商品第三周上线的时候,另外二个已经是下线了,第二个特点是在线的商品比较 少,就会把举证压缩,这样子的话,对这个举证会变的不这么的稀疏。第三个是这个行业的特点,比如是宝宝的性别,宝宝的年龄是否是一致的,如果是一致的话, 那是否有一个持续性。1-3岁的话,还可以,但是如果是对一个1-3岁的商品,可能就不大合适的。

我们根据这些特点做了一些改进,比如是我们有做时间,热门打压。相同的协同过滤的算法可能会不在线,一种是机遇标题和描述的相似度,还会加上运营的规则,是否匹配,有一些地方可以推荐同品牌,有一些可能推荐其他的品牌。

虽然我们刚才说的对算法进行了改进,单一的算法总是有一些局限性,因此我们现在正在做的是把多个算法结合在一起,比如是浏览的CF,购买的CF加上用户的特征,进行一个个性化的重新排序,我们正在研究这么一套新的流程。

我们第一档上线以后,可以看到在各个资源上都取得了很大的提高了,部分的资源上甚至是提高了500%的提升,我相信我们新的个性化的排列上线以后,会有更大的提升。

如果你购买了一个商品,再推荐一个相似的商品,这是不合理的推荐,用户购买了一个商品以后,比如是够末了C1以后,购买C2是一个简单的记数,比如是买奶嘴的用户里面,39%的用户会买奶瓶,买了纹胸的用户里面,有20%的会买内裤,买了纸尿裤的用户会有30%买湿巾。

还有个性化的推荐的工作,但是还不完全一样,主要是有一个很严重的痛点,经常会收到一些短信的推送,可能是一些打扰的工作,但是在我们的平台上,我们的运 营也遇到了同样的痛点,他们想搞活动的时候,他们也很难确定目标用户是什么,所以他们确定了精准营销的框架,能够帮助运营,选出他的目标用户,在适合的时 间发送感兴趣的商品。


华丽的分割线:您可以关注 lxw的大数据田地 ,或者 加入邮件列表 ,随时接收博客更新的通知邮件。

 

我们首先是会对用户打上标签,通过投放的请求,动态生成Hive,我们会返回目标用户以及时间。我们在用户的拉新方面也做了一部分的工作,我们平台的业务 的发展非常的迅速,我们吸引了一部分的用户以后,我们希望把用户转化成购买用户,一个是根据用户注册时候的静态画像,对用户做个性化的配置,整体的转化率 是10%以上。虽然我们在这一方面已经做了一些尝试,但是未来还有更多的可以探索的地方,一个是在数据的方面,刚才提到的个性的推荐是,首先是会更加的全 面和精准的把画像做的更准确。第二个是时效性的方面,需要快速的捕捉客户的需求。在模型方面,我们也会投入更多的精力,通过在线的方式更新我们的模型,应 用的话,双十一也快到了,我们希望我们的个性化的算法也可以发挥一些作用,以及在商家端做一些尝试,帮商家做一些预测等等。

本文根据网上的资料整理而来。

注:在此向PPT原作者@贝贝网周黄玲致歉,之前因为广告避嫌,将贝贝网相关的文字及LOGO去掉,深表歉意。


 

华丽的分割线:您可以关注 lxw的大数据田地 ,或者 加入邮件列表 ,随时接收博客更新的通知邮件。

 

如果觉得本博客对您有帮助,请 赞助作者

转载请注明:lxw的大数据田地 » 一个母婴电子商务网站贝贝网的大数据平台及机器学习实践

喜欢 (33)
分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(2)个小伙伴在吐槽
  1. 您好 我想问一问 文中图片中 架构图 结构图等 用什么工具画的? 谢谢 看到 发到我邮箱 不剩感激!
    cullenx2016-02-17 14:22 回复
    • :mrgreen: 关注点就是不一样
      hhf2016-10-09 18:23 回复