美团是如何应用Spark处理大数据的?( 四 )


美团是如何应用Spark处理大数据的?

文章插图
 
Spark不止用于美团SEM的关键词挖掘、预估模型训练、投放效果统计等大家能想到的场景,还罕见地用于关键词的投放服务,这也是本段介绍的重点 。一个快速稳定的投放系统是精准营销的基础 。
美团早期的SEM投放服务采用的是单机版架构,随着关键词数量的极速增长,旧有服务存在的问题逐渐暴露 。受限于各大搜索引擎API的配额(请求频次)、账户结构等规则,投放服务只负责处理API请求是远远不够的,还需要处理大量业务逻辑 。单机程序在小数据量的情况下还能通过多进程勉强应对,但对于如此大规模的投放需求,就很难做到“兼顾全局”了 。
结论和展望
本文介绍了美团引入Spark的起源,基于Spark所做的一些平台化工作,以及Spark在美团具体应用场景下的实践 。总体而言,Spark由于其灵活的编程接口、高效的内存计算,能够适用于大部分数据处理场景 。

【美团是如何应用Spark处理大数据的?】


推荐阅读