spark 计算,spark求平均值

　　关于求解中位数，我们知道在计算机编程语言中直接有中位数处理函数（均值),比如在计算机编程语言中求解一个中位数，代码很简单。

　　Python计算中位数

　　将数组作为npnums=[1.1，2.2，3.3，4.4，5.5，6.6]均值导入

　　中位数

　　np。中位数(数字)在储备中没有直接提供相关的意思是函数，但官方提供了两个UDAF，percentile和percentile_approx。

　　我们看下官方是怎么说的

　　双百分位(BIGINT列，p)返回

　　组中的列（不适用于浮点类型)。p必须

　　介于0和一之间。注：真实百分位数只能针对以下情况计算

　　整数值。如果您的输入是非整数，请使用百分位数_大约.

　　arraypercentile(BIGINT col，array(p1[，p2]…))返回精确的

　　组中某列的百分位数p1、p2、…(不适用

　　浮点类型)。个人信息管理必须介于0和一之间。注意：一个真实的

　　只能为整数值计算百分位数。使用

　　百分位数_近似值如果您的输入是非整数。

　　双百分位数_近似值(DOUBLE col，p [，B])得出近似值

　　中数值列（包括浮点类型)的百分比

　　这个团体B参数控制近似精度

　　内存成本。更高的值会产生更好的近似值

　　默认值为10,000。当山口中不同值的数量为

　　小于b，这给出了一个精确的百分位值。

　　arraypercentile _ approx(DOUBLE col，array(p1[，p2]…) [，B])与

　　但接受并返回百分比值数组

　　一个人的。

　　请注意，官方文档上说了一句话：NOTE: A true percentile can only be computed for integer values. UsePERCENTILE_APPROX if your input is non-integral.

　　也就是说，真正的中位数只能用百分位来计算，输入需要为整数类型，使用percentile_approx(输入为浮点型)计算得到的并不是真正的中位数，也就是所说的近似中位数，经过大量数据验证，有时候这个近似中位数和真正的中位数差别还是很大的。

　　如何对有小数的数据求取中位数呢？

　　可以把小数转换为整数，然后再求取中位数（如先乘10000）

　　sparksql中也是如此求取中位数的，赶快去试一试吧！

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。