怎么才能且精确地将适合的产品与服务精准推送适合的客户?

　　

　　怎么才能且精确地将适合的产品与服务精准推送适合的客户?小大国防APP今日头条APP应对日益市场竞争激烈的挪动金融信息服务情景,怎么才能且精确地将适合的商品、服务项目精准推送适合的客户变成营销运营的一个关键课题研究。

　　在小蚂蚁的推广活动营销全过程中,一方面期待产品与服务可以精准推送更多客户,另一方面期待精准推送的客户有较高的点击量和转换率。应对不计其数业务场景的市场竞争,必须有一套系统软件来輔助每一个业务流程寻找他们分别潜在性的高使用价值客户,以提升总流量的应用高效率。

　　根据所述难题,小蚂蚁智能化模块精英团队和流量运营技术性精英团队一同打造出了哈勃智能化群体服务平台,已经包括六大作用:标识圈人、优化算法圈人、即时标识工作能力、群体管理水平及其中后期的群体洞悉工作能力和效果分析。根据优化算法颠覆式创新,哈勃智能化群体服务平台已具有事先客户喜好了解、事中群体定项、过后归因分析等全链路功能,文中将详细介绍哈勃后台管理优化算法的三代管理体系更替。在其中,有关工作中已经发布在KDD 2020 Applied Data Science(Hubble: an Industrial System for Audience Expansion in Mobile Marketing)与CIKM 2020 Applied Research(Two-Stage Audience Expansion for Financial Targeting in Marketing)。

　　难题界定

　　针对精确定项情景,难题叙述如下图所显示,给出一个营销推广推广主题活动(campaign)、种子用户(seeds)和当今业务流程的准入条件群体(candidates),群体定项总体目标是以准入条件群体中寻找当今营销推广推广主题活动的总体目标群体(audiences),促使群体推广以后的点击量/转换率等指标值利润最大化。处理这类难题的技术性称作audience expansion,别名lookalike。

　　

　　从优化算法角度,大家既要保证 服务平台有较高的定项高效率(群体产出率速率),又要保证 群体定项实际效果(业务流程指标值提高)。在调查了Pinterests[1]、Yahoo![2]、微信官方[3] 等企业公布的群体定项技术性以后,大家发觉目前的技术性不可以极致兼容小蚂蚁情景多效的确保。因而大家对哈勃后台管理的群体定项优化算法开展了3次升級:

　　

　　第一代皇家实体模型是根据微软公司DSSM[4]开发设计的end-to-end实体模型。从第二代逐渐,大家关键考虑到实体模型运作高效率,将end-to-end优化算法构造解耦成多线程的线下graph neural network(GNN) 线上轻巧学习培训的构造。而在第三代中,为进一步提高圈人的及时性,大家附加引进推广中的即时意见反馈数据信息,并根据增量学习的方法结合种子用户和意见反馈数据信息的信息内容。

　　第一代:根据DSSM的audience expansion

　　这儿选用微软公司明确提出的DSSM[4]实体模型是为了更好地在基本二分类的基本上分拆user和scene/campaign分别的特点,关键是期待在每一次活动营销推广的训炼全过程中可以能够更好地捕获客户和该主题活动推广的关联。下面的图是大家应用的实体模型框架图:

　　

　　DSSM是一个經典的皇家构造,这儿的正样版为种子用户,而负样版由任意取样非种子用户获得。实体模型训炼收敛性以后,指向入群体(candidates)开展评分,成绩越高表明客户对当今推广的兴趣爱好越大。根据喜好分排列,大家就能寻找当今推广的潜在客户。

　　在具体主题活动推广中,比照传统式的GBDT,所述方式在点击量和转换率均有非常好的提高。 但缺点也很显著:(1)一次活动营销训炼時间太长;(2)資源耗费高,从设备資源视角考量,ROI并不理想化。

　　充分考虑所述缺点,大家逐渐试着2-stage的构架来替代end-to-end的方法,从高效率和实际效果的双重视角考虑到构架提升。

　　第二代:根据多线程GNN 轻巧学习培训的audience expansion

　　

　　图中展现了哈勃服务平台优化算法的启用步骤,全部优化算法步骤分成“线下”和“线上”两一部分:

　　· 线下AD-GNN(Adaptive and Disentangled Graph Neural Network)实体模型:根据先后顺序,大家将客户历史时间点一下个人行为数据信息分为两一部分,第一部分用以搭建user-campaign的二部图,捕获客户对不一样活动营销的喜好,转化成客户及其活动营销的抽象性embeddings。针对第二一部分数据信息,大家将客户点一下的个人行为做为正样版,而曝出未点一下的个人行为做为负样版。最终根据搭建link prediction每日任务的方法来训炼AD-GNN实体模型,进而获得campaign embedding和user embedding;

　　· 线上KD-AE(Knowledge Distillation based Audience Expansion)实体模型:一旦接受到一个群体定项的要求,系统软件会实例化一个轻量KD-AE实体模型,用以寻找当今主题活动的总体目标群体。相近上边提及的DSSM实体模型,该实体模型将用以学习培训客户(user)和当今推广(campaign)中间的喜好。

　　所述offline/online多线程升级的方法很切实解决了优化算法实行高效率的难题,下边大家关键详细介绍实体模型的实际完成是如何提高定项每日任务的实际效果。

　　线下AD-GNN实体模型

　　借助智能化模块精英团队研发的ALPS-GraphML服务平台,AD-GNN实体模型用以转化成客户及其活动营销的抽象性embeddings。模型必须处理2个挑戰:(1)描绘客户和推广主题活动中间的繁杂高级互动信息内容;(2)解耦客户置入表述。为了更好地处理第一个挑戰,大家搭建了一个客户和推广主题活动的二部图,应用图神经网络的方法来描绘繁杂高级互动关联信息内容。为了更好地处理第二个挑戰,大家应用解耦体制将客户的置入表述投射到不一样channels上。为了更好地进一步提高客户置入表述的品质,我们在解耦体制以前添加注意力机制,进而协助实体模型清除一些噪声隔壁邻居产生的危害。下边实际详细介绍实体模型的每个控制模块。

　　

　　Projection控制模块:针对图上每一个连接点,大家将其初始特点投射到K个不一样的子空间。这K身高室内空间各自表明客户针对推广主题活动的K种不一样的用意。针对连接点i,把它投射到第k身高室内空间的公式计算以下:

　　

　　Neighborhood Routing控制模块:为了更好地结构解耦的user embedding,大家设计方案解耦体制迭代更新实行neighborhood routing。解耦体制逐渐时,应用Projection控制模块获得的z^k来复位h^k。每一次neighborhood routing全过程分成二步。最先针对每一个连接点u测算应用它的隔壁邻居v来结构h_u^k的几率:

　　

　　随后根据获得的隔壁邻居几率来升级:

　　

　　Adaptive Breadth控制模块:注意到所述解耦体制沒有充分考虑很有可能存有噪声边,例如客户不经意间点一下了一些并没什么兴趣的推广主题活动,它是互联网营销情景里普遍的状况。为了更好地处理这个问题,大家引进adaptive breadth涵数来彻底改变所述解耦体制。针对连接点u对其隔壁邻居连接点v的adaptive breadth成绩为:

　　

　　随后应用获得的隔壁邻居成绩来彻底改变解耦空间向量:

　　

　　所述全过程组成了一个adaptive & disentangled layer,累加L次那样的layer大家就可以捕获L-hops的隔壁邻居信息内容,进而转化成最后解耦的客户及其活动营销的embeddings。

　　线上KD-AE实体模型

　　给出一个新的推广主题活动,根据AD-GNN转化成的user embedding,线上KD-AE实体模型承担产出率群体定项結果。传统式群体定项方式将给出的推广種子群体视作正例,任意取样非种子用户做为负例,随后训炼一个支持向量机(比如:LR, GBDT和DNN等),殊不知这类方式沒有充分考虑给出的種子群体(seeds)通常是有偏的。由于種子群体来自于权威专家工作经验或是是历史时间类似推广主题活动中的转换客户,那样获得的种子用户通常只有意味着全量总体目标群体的一部分客户。为了更好地处理这个问题,大家应用知识蒸馏的方法 [5]从线下AD-GNN实体模型(teacher模型)中获取专业知识用以具体指导线上KD-AE实体模型(student实体模型)的训炼。除开应用传统式群体定项实体模型的训炼标识y_h(hard label),KD-AE实体模型附加包括了从AD-GNN实体模型获得先验知识,即softened label y_s。根据两大类不一样的标识,KD-AE实体模型的损害函数定义为:

　　

　　在其中y_A为KD-AE实体模型的估计值,Theta_A为实体模型可训炼的主要参数,标值gamma操纵softened label的危害。实体模型训炼进行以后,指向入群体(candidates)开展评分,成绩越高而表明该user对当今推广的兴趣爱好越大。从公式计算我们可以发觉,联接teacher模型和student实体模型的是AD-GNN预测分析的softened label。下边大家实际详细介绍softened label的结构方法。

　　为了更好地结构softened label,大家期待依据种子用户的embedding寻找两者之间最贴近的k个历史时间推广主题活动(这儿运用AD-GNN产出率的embedding来测算客户和推广主题活动的相似度)。可是这类结构softened label的方法测算复杂性较高,尤其是当種子群体总数和历史时间推广主题活动总数非常大时,结构全过程会较为用时。为了更好地加快结构全过程,充分考虑类似客户对推广主题活动的爱好也是类似的,大家最先应用k-means对客户开展聚类算法,测算一个簇中客户置入表述的平均值做为这一簇的表述,随后针对每一个簇寻找两者之间最类似的k个历史时间推广主题活动,随后测算与这k个历史时间推广主题活动的相似性的平均值做为softened label。获得softened label以后,融合是不是为种子用户的hard label,大家根据非线性规划的方法就可以训炼KD-AE实体模型了,即上边展现的损失函数。

　　根据解耦AD-GNN和KD-AE,给出一个刚来的定项每日任务,哈勃服务平台如今只必须运作一个轻巧KD-AE实体模型,训炼时间大幅度减少。较低的時间和云计算服务器耗费给计算机算法产生了更高的室内空间,在以下第三代优化算法实体模型中,大家进一步引进增量学习来提高优化算法在推广事中的提升工作能力。

　　第三代:根据多线程GNN 增量学习的audience expansion

　　所述第二代架构根据线下AD-GNN实体模型获得了user embedding,随后根据线上KD-AE实体模型为一次新推广主题活动选定适合的客户。步骤总体上运用了推广事先的全部历史时间信息内容,完成了一次比较无偏的事先群体定项步骤。但小蚂蚁情景中,经常有一些時间不断较长的群体定项每日任务,一部分每日任务能有超出一周之上的推广時间。对于该类每日任务,网上推广系统软件可以每日流回推广主题活动的意见反馈数据信息,如群体的曝出点一下等,但第二代架构对这种意见反馈数据信息并沒有开展有效地运用。从业务流程视角考虑到,这类意见反馈数据信息是此次推广的真正結果意见反馈。假如能在推广事中多方面运用并动态性地对推广群体开展干涉,既能够能够更好地捕捉此次推广中真正的群体遍布,又可以减轻一部分每日任务種子群体数量级较小、推广实体模型欠拟合的难题。根据那样的考虑到,大家设计方案了一套AD-GNN 增量学习管理体系的通用性事中提升步骤,对先验的权威专家工作经验(種子群体)与具体的推广意见反馈(曝出点一下群体)结合,完成了优化算法圈人的再度升級。

　　假定一次主题活动早已推广了数日,这时大家可以搜集到一定总数的意见反馈数据信息。这儿我们可以应用点一下客户和曝出未点一下客户各自搭建正负极样版,并根据AD-GNN造成的embedding训炼一个轻巧的支持向量机M1。M1尽管可以非常好地归类此次推广的意见反馈数据信息,但受事先圈人实体模型的危害,特别是在在推广最开始的几日意见反馈数据信息数量级较较少时,很容易存有coverage bias的难题。下面的图实际呈现了2个具体推广中,不一样日数上的点一下客户在embedding space上的遍布存有显著差别,这造成 支持向量机M1立即运用于candidates群体会导致很大误差。

　　

　　因而,在历史时间推广意见反馈数据信息的基本上,大家附加引进总数充裕的seeds群体来减少coverage bias产生的危害。可是将意见反馈数据信息和seeds群体结合在一起的一大难题便是:seeds群体的品质在不一样推广上存有显著差别,这必须大家可以依据seeds群体的品质响应式地调整seeds群体在圈人实体模型中的权重值。因此,大家这儿根据meta-learning的方法搭建了一个meta-learner来学习培训seeds群体的权重值涵数V。最先大家将意见反馈数据信息F依照時间顺序切分成F_train和F_meta,随后依据权重值涵数V权重计算的seeds群体和意见反馈数据信息F_train,训炼获得最优化的实体模型f,而在F_meta上,大家将根据调整权重值涵数V来最优控制f在F_meta上的特性,即相匹配的目标函数为:

　　

　　在其中

　　

　　为了更好地最优控制所述目标函数,大家选用了[6]中明确提出的线上升级对策。最后获得的f可以非常好结合seeds群体和推广意见反馈的信息内容,在提高及时性的另外,非常好地减轻了coverage bias的难题。

　　论文参考文献

　　[1] deWet, Stephanie, and Jiafan Ou. "Finding Users Who Act Alike: Transfer Learning for Expanding Advertiser Audiences." Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019.

　　[2] Ma, Qiang, et al. "Score Look-Alike Audiences." 2016 IEEE 16th International Conference on Data Mining Workshops (ICDMW). IEEE, 2016.

　　[3] Liu, Yudan, et al. "Real-time Attention Based Look-alike Model for Recommender System." Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019.

　　[4] Huang, Po-Sen, et al. "Learning deep structured semantic models for web search using clickthrough data." Proceedings of the 22nd ACM international conference on Information & Knowledge Management. 2013.

　　[5] Hinton, Geoffrey, Oriol Vinyals, and Jeff Dean. "Distilling the knowledge in a neural network." arXiv preprint arXiv:1503.02531 (2015).

　　[6] Shu, Jun, et al. "Meta-weight-net: Learning an explicit mapping for sample weighting." arXiv preprint arXiv:1902.07379 (2019).

　　小蚂蚁智能化引擎技术业务部实习生招聘

　　关于我:

　　小蚂蚁智能化引擎技术业务部是根据互联网大数据和人工智能技术来支撑点小蚂蚁全部的业务流程,包含付款、微贷、个人征信、安全性风险控制、商业保险、智能营销等。大家着眼于用技术性促进包含金融服务业以内的全世界服务业的智能化升級,携手并肩合作方为顾客和中小企业出示普慧、翠绿色、可持续性的服务项目,为全球产生细微而幸福的更改。

　　大家的技术性为小蚂蚁亿财号、干万等级商户产生全球一流的智能化系统强烈推荐与检索感受,为智能化日常生活业务流程的升級与不断化提高出示至关重要的数据信息、优化算法、测算的支撑点。我们在协助蚂蚁金融各类业务流程迅猛发展的另外,看准全球一流的AI水准开展产品研发,行业包含自然语言理解解决、智能对话技术性、人工智能算法、语音识别技术等层面。

　　大家有着全球最规模性的金融业情景,有着全球一流的人才资源,包含IEEE fellow、MITTR35的顶尖技术专家,Google/YouTube/微软公司Bing/Uber/Netflix的杰出技术性留学生们,当地BAT的决战沙场精锐,世界各国各种各样互联网大数据比赛获巨奖的引领者,及其阿里巴巴星A-Star顶级应届生校招收这些。

　　大家的技术性优点

　　小蚂蚁智能化模块的关键技术包含人工智能技术、语义网、数据信息智能化、商业服务决策引擎(强烈推荐/检索/营销推广/广告宣传)、测算及技术性基础设施建设等行业,这种工作能力全方位围绕业务流程经营,安全性高效率地适用大量业务流程,服务项目超出十亿消费者和数百万小型经营人,并助推诸多合作方高效率地出示商品和服务项目。

　　人工智能技术:我们在人工智能技术行业不断资金投入深耕细作,尤其是在深度学习、自然语言理解解决、人机对换、共享资源智能化和时序图智能化等重要方位,产品研发总体目标是进一步提高智能化系统水准,另外减少AI运用的落地式门坎。小蚂蚁的各类AI技术性工作能力也遭受业内的多方面毫无疑问,数次得到领域的关键荣誉奖,如吴文俊人工智能技术科技进步一等奖,CCF科学技术奖科技创新非凡奖等。

　　商业服务决策引擎:根据剖析顾客及其店家的特点,依靠大量顾客和店家洞悉来绘图精确的用户画像,融合从数据信息到实体模型端到端一体化工程项目服务平台,打造出全自动特点发觉,全自动特征工程、实体模型主要参数调优和全自动实体模型训炼的工作能力,全方位驱动器搭建了小蚂蚁好几个业内领跑的商业服务决策支持系统,包含个性化推荐/检索/广告宣传、全域营销提高、智能投顾/索赔等。

　　加入团队,您将获得:

　　-一流的专业技能:技术性工作能力能够获得加快提高,将有很多做技术革新和提升的机遇,将具有在亿等级客户、干万等级商户的规模性实战演练自然环境下的数据信息、优化算法、工程项目运用工作经验

　　-极佳的办公环境:大家重视团队协作、对外开放、全透明的办公环境,使大家的职工能获得优秀的考试成绩。

　　-宽阔的成长空间:大家出示各种各样具趣味性的每日任务、学习培训机遇、职业生涯发展路面及其升职发展趋势的机遇

　　招聘职位

　　数据工程师:深度学习、自然语言理解解决、人工智能算法、运筹帷幄提升、优化算法工程项目

　　技术工程师:技术工程师(C /Java)、移动端开发技术工程师、数据信息技术工程师、基本服务平台技术工程师

　　面向对象编程:2021.11-2022.10期内应届生

　　工作中地址:杭州市、上海市

　　招骋电子邮箱:simeng.wsm@antgroup.com

相关阅读：