转载

Airbnb支付平台如何进行异常检测

对于全球的房主和客人来说,Airbnb非常希望房客都可以通过他们自己熟悉的支付方式、本地币种来支付房费;房主也可以通过喜欢的货币、方便的途径收取房租。为了实现此目的,Airbnb支付团队构建了一个一流的支付平台来保证支付安全和易用性。

Airbnb为全球190个国家提供服务,支持多种货币类型。大部分情况下,支付系统会成功支付,但有时会出现暂歇性故障,比如,某些货币不能处理或者支付渠道不可访问。为了能够尽可能快的捕捉到这些故障信息,公司的数据团队开发了一个实时的异常检测系统来甄别这些问题。这个异常检测系统可以很好的帮助产品团队定位问题,也让数据分析师能腾出更多的时间来做其它工作,比如,新的付费方式或者产品上线的A/B 测试、定价或者价格预测和构建机器学习模型来做个性化推荐。为了让大家看到这个异常检测工具的使用,这里通过一些模拟数据集来展示模型是如何工作的。假设一个运行在2020年夏天的电商网站,提供三件商品:监视器、键盘和鼠标,并且两个供应商:Lima和Hackberry。

动机

异常探测系统的主要功能是从时序数据中发现异常数据。简单的情况可以通过整体的直观图表一眼看出来,但大部分情况需要“解密”在这些图表趋势背后的数据。拿下面这个监控器进货的数据举列,如图1

Airbnb支付平台如何进行异常检测

图1

从图1中看到监控器的总体进货量相当的正常。然后分别分析下两个供货商Lima和Hackberry的数据,见图2

Airbnb支付平台如何进行异常检测

图2

从图2可以看出,Lima是电商主要监控器的供应商,但是在2020年8月18号运输出现问题持续大概3天。Airbnb异常检测系统自动检测出此问题并反馈给二级供应商Hackberry。这里可以看出从整体层面数据根本发现不了此问题,但是从另外一个维度却能清晰的检测出问题。

模型

简单的回归模型

最直观的想法是把天数作为哑变量跑一遍普通的最小二乘回归。模型的公式如下:

Airbnb支付平台如何进行异常检测

其中y是跟踪的总量,t是时间变量,I_day_i 是指示变量,代表今天是这周的第i天,e是误差项。这个回归模型简单并能鉴别前面遇到的问题 ,但是也有其缺点:

  • 增长预测是线性的,一遇到指数式就失效了;
  • 模型有个极强的假设前提:适用于按周的季节性时序数据,不能处理其它模式的季节数据集;
  • 哑变量较多,模型需要更大的样本量才能得到好的结果。

即使能够观察到追踪指标的模式,但不易于扩展变化。Airbnb工程师采用自动的方法避免误差,并让这种技术运用到支付以外的场景。

快速傅里叶变换模型(FFT)

对时序数据集构建一个基于趋势和季节的模型。模型数学公式如下:

Airbnb支付平台如何进行异常检测

其中,Y是度量标准,S是季节变量,T代表趋势,e是误差项。例如,以前面的简单回归模型对比,这里的S代表所有指示变量的和,T等同于at + b。

在这部分,展示新模型如何检测趋势和季节性。基于上面的经验,这次采取两款产品:键盘和鼠标。下图3展示两种产品的销售数据:

Airbnb支付平台如何进行异常检测

图3

从上图3可以看出,键盘是在2016年9月开始售卖,并成为主打商品。2017年8开始引进鼠标。后面将对趋势和季节进行建模,试图发现偏离平均值的异常数据。

季节效应

为了解决季节性效应,这里采用快速傅立叶变换FFT。在简单的线性回归模型中,前提假设是时序数据是按周季节性变化的。从上面的趋势图可以看出鼠标的销售并不是按周季节性变化的,如果胡乱的假设会造成模型误判。而快速傅立叶变化FFT擅长基于历史时序数据总量来进行季节性检测。对时序数据集应用FFT之后,得到下面的图4

Airbnb支付平台如何进行异常检测

图4

图4中season_day周期性余弦值。在快速傅立叶变换中,一般只选择峰值的周期代表季节性,其它周期当作噪音(具体为什么这么选择可以看FFT原理资料)。在这个列子里,键盘的FFT结果有7和3.5两个采样点是大峰值,在45和60两个采样点有小峰值。而对于鼠标来讲,在采样点7时有个大峰值,35、60和80有相对小的峰值。把两种商品的FFT结果合并生成季节性图,如图5

Airbnb支付平台如何进行异常检测

图5

从图5上可看出,键盘的产品季节性增长,主要是按周季节性的。而鼠标有按周的季节性趋势和40天一个周期的季节性。

趋势分析

这里采用滚动中值(rolling median)来作为时序数据集的趋势。使用这种算法的前提假设是苏阿短时间内的增长变化不显著。比如,对某天来讲,采用其之前的7天的滚动中值作为当天的趋势水平。用中值代替平均值使得算法检测异常数据的结果更加稳定,举个列子,对于某一两天来说销量突然增长10% ,如果使用中值则看不出来有什么变化,而采取平均值的话就对趋势有很明显的变化。在这种情况下,采用14天的中值作为趋势,如图6

Airbnb支付平台如何进行异常检测

图6

误差项

在得到季节效应和趋势后,可以评估误差项了。通过误差项可以发现时序数据集里的异常点,这里用原始数据减去季节效应和趋势得到误差项,然后绘图如下:

Airbnb支付平台如何进行异常检测

图7

从图x发现,误差项里有一些毛刺,这就说明了时序数据集中出现异常点。根据实际情况定出所能容忍的负相关度,即选择偏离中心点0多少个标准方差(参考《概率论与数理统计教程》)。这里选择偏离4个标准方差来获得一个合理的阈值警报,结果如图8

Airbnb支付平台如何进行异常检测

图8

从上图可以看出,Airbnb的预警系统非常棒,检测出误差项的大部分毛刺。注意到,其实有些点在人肉眼看来是正常的,但实际是异常数据也被检测出来了。

经过Airbnb内部测试发现这个模型异常数据检测的功能准确。

作者介绍:侠天,专注于大数据、机器学习和数学相关的内容,并有个人公众号:bigdata_ny分享相关技术文章。

感谢黄玲艳对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ,@丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入InfoQ读者交流群 Airbnb支付平台如何进行异常检测 (已满),InfoQ读者交流群(#2) Airbnb支付平台如何进行异常检测 )。

原文  http://www.infoq.com/cn/news/2016/03/Airbnb-FFT-anomaly-detection
正文到此结束
Loading...