关闭
尊敬的极客用户,您好!
感谢您一直关注并使用极客头条,为了给您带来良好的体验效果及性能,极客头条将于2018年04月27日关闭,您可以在 我的博客 中继续使用发布文章功能并看到已经发布成功的文章。
返回 登录
0

MaxCompute - ODPS重装上阵 第三弹 - 复杂类型

摘要: MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。

点此查看原文

MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。

MaxCompute基于ODPS2.0新一代的SQL引擎,显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出MaxCompute(ODPS2.0)重装上阵系列文章

第一弹 - 善用MaxCompute编译器的错误和警告
第二弹 - 新的基本数据类型与内建函数
第三弹 - 复杂类型
第四弹 - CTE,VALUES,SEMIJOIN

上次向您介绍了 新的基本数据类型与内建函数,这次向您介绍复杂数据类型

原ODPS也支持两种复杂类型,ARRAY, MAP,但是有些场景下还是不够用

场景1
我的项目里,生成的一个中间表,为了优化性能,里面有一列最好是个数组,因为如果把数组打散,每行上存一个元素,会因为其他列的重复导致数据量爆炸。首先想从上游表中生成这个数组,搜索半天文档,发现唯一的方式是把源数据列先转STRING,再用wm_concat聚合,再用split函数打散成ARRAY,这样原来类型信息丢了,不过STRING似乎也能用,好,继续。后面的运算有个地方需要取数组最后一个元素,试图用数组下标配合size函数,my_array[size(my_array)], 发现报告错误,下标必须是常量,可是我的数组不是定长的,看看有没有函数能反转数组呢?没有!最后不得不放弃使用数组。。。
场景2
我的任务是为每个广告生成一个曲线,代表随着广告商的出价由低到高,预计的impression, click次数的曲线。最自然的表达是有个数据结构,里面存着出价,impression次数,click次数。可是ODPS不支持这样的用法,只好encode成一个字符串,每次操作先编码,再解码。好麻烦,效率也很差,可是没有办法。。。
MaxCompute采用基于ODPS2.0的SQL引擎,大幅度改进了复杂类型并提供了配套的内建函数,基本解决了上述问题。

复杂类型的扩充
此文中采用MaxCompute Studio作展示 ( MaxCompute从2.8.0.2版本开始支持复杂类型,如果您的版本不够新,请升级到最新版本 )。

首先,安装MaxCompute Studio,导入测试MaxCompute项目,创建工程,建立一个新的MaxCompute脚本文件, 如下

图片描述

运行后,可以在MaxCompute Studio的Project Explorer中找到新创建的表,察看表的详细信息,并预览数据,如下图
图片描述

可以看到MaxCompute支持ARRAY, MAP, STRUCT类型,并且可以任意嵌套使用。

MaxCompute Studio支持含新类型表数据的导入导出,可参考此ATA文章

MaxCompute支持的复杂类型见下表
图片描述
复杂类型构造与操作函数

图片描述
图片描述
在UDF中使用复杂类型
原ODPS不支持在UDF中访问任何复杂类型。MaxCompute Java UDF支持所有复杂类型,Python UDF也会在不久的将来支持。

JAVA UDF中复杂类型的表示方法
ODPS的UDF分为三大类:UDF,UDAF,UDTF,其中:

1.UDAF和UDTF通过@Resolve annotation来指定sinature,在MaxCompute 2.0上线后,用户将可以在Resolve annotation中。如 @Resolve(“array,struct

@Resolve("struct<a:bigint>,string->string")
public class UdfArray extends UDF {
  public String evaluate(List<String> vals, Long len) {
    return vals.get(len.intValue());
  }

  public String evaluate(Map<String,String> map, String key) {
    return map.get(key);
  }

  public String evaluate(Struct struct, String key) {
    return struct.getFieldValue("a") + key;
  }
}

用户可以直接将复杂类型传入UDF中:

create function my_index as 'UdfArray' using 'myjar.jar';
select id, my_index(array('red', 'yellow', 'green'), colorOrdinal) as color_name from colors;

小节
MaxCompute丰富了复杂类型的支持,可以更好的适应各种应用场景。MaxCompute仍将在兼容性,表达能力等多方面持续改进类型系统。从本系列的下一篇起,开始介绍MaxCompute在SQL语言其他方面的改进!

评论