返回 登录
0

【CCTC 2017】大数据核心技术与应用实战峰会:HBase、Spark技术实践探索,金融、银行、语音分析多领域大数据应用场景分享

【CSDN现场报道】2017年5月18-19日,CSDN主办的中国云计算技术大会(CCTC)在北京朝阳门悠唐皇冠假日酒店盛装启航。本次会议践行“云先行,智未来”的主题,在Keynote环节之外精心策划了微服务、人工智能、云核心三大论坛及Spark、Container、区块链、大数据四大技术峰会,众多技术社区骨干、典型行业案例代表齐聚京师,解读本年度国内外云计算技术发展最新趋势,深度剖析云计算与大数据核心技术和架构,聚焦云计算技术在金融、电商、制造、能源等垂直领域的深度实践和应用,全程高能不断档,干货满满精彩纷呈。

大会第二天下午,数据核心技术与应用实战峰会在Apache HAWQ创始人常雷的主持下正式开始。

图片描述

Apache HAWQ创始人常雷

北邮计算机系副教授熊永平:INFINIDATA——基于Spark的统一数据管理与数据探索平台

图片描述

北邮计算机系副教授熊永平

北邮计算机系副教授熊永平在《INFINIDATA:基于Spark的统一数据管理与数据探索平台》主题演讲中表示企业数据应用中,最常见的数据处理需求包括即席查询SQL、复杂检索、全表扫描、交互式探索。MPP数据仓库、大数据平台是现在的两大类解决方案,但由于价格高、使用难度大等原因,都很难很好地满足企业的需要。在他看来,大数据平台最好看起来像数据库一样,管理方便,使用简单;利用最新的大数据计算技术获得高性能和扩展能力、不需要掌握各种底层组件……为了满足这些需求,INFINIDATA平台应运而生。

接下来,他对INFINIDATA进行了详细解读。它具有一体化的数据管理;易用强大的计算流程管理;提供标准高性的数据查询服务。在可视化领域,INFINIDATA也进行了研发探索,主要专注于行、列、值的相关分析、离散矩阵分析、OLAP分析、可视化分析。目前INFINIDATA在保险行业有很多典型应用,如清单查询、统计报表、客户清洗与画像等。

滴滴出行资深软件开发工程师李扬:HBase在滴滴出行的应用场景和最佳实践

图片描述

滴滴出行资深软件开发工程师李扬

滴滴出行资深软件开发工程师李扬在《HBase在滴滴出行的应用场景和最佳实践》主题演讲中表示作为高可靠性、高性能、面向列、可伸缩的分布式存储系统,HBase目前已应用于滴滴出行的在线业务、离线业务中。存放在HBase中的主要数据类型包括统计结果、报表数据,原始事实类数据,生产中间数据和结果数据,线上系统的备份数据。针对这四种数据,李扬分别例举出一个应用场景,如订单事件、司机乘客轨迹、ETA(预计到达时间)模型实时训练、监控工具。每个应用场景都解析了应用需求、实现过程等内容。

HBase天生不太适应多租户业务,为此滴滴出行在用户管理、项目管理、资源隔离、性能优化、成本控制等方面对HBase做了优化,推出了滴滴HBase用户和项目的管理方案。它通过DHS(Didi HBase Service)来管理项目;通过namespace,RS group等技术来分隔用户数据和权限;通过计算开销并计费的方法来管控资源分配。

金电联行首席技术官尚峰:数据驱动的大数据金融应用

图片描述

金电联行首席技术官尚峰

金电联行首席技术官尚峰的主题演讲主要围绕“大数据在金融领域有哪些应用趋势”、“ 大数据与金融结合,有哪些应用场景”、“实现大数据在金融的落地应用有哪些条件”三个问题展开。

经过分析,大数据可有很多典型的可应用点,但现实中因为知识、数据、人才、技术的瓶颈,数据应用落地面临着很多问题。至于如何应对、有所突破?尚峰提出了数据处理方式要由数据手工作坊型向智能数据工厂推进。智能数据工厂,采用“数据”与“专家经验”双驱动方式,依靠工业级生产方式,突破人力、知识等瓶颈,快速、高效、高质量地适应新的数据、适应新的业务。至于如何搭建智能数据工厂?他从架构设计、业务流程、技术流程等多角度进行了详细分析。

HanSight瀚思高级技术工程师张军:大数据安全分析在电子银行业的探索与实践

图片描述

HanSight瀚思高级技术工程师张军

HanSight瀚思高级技术工程师张军在《大数据安全分析在电子银行业的探索与实践》主题演讲中表示互联风的发展,使传统银行业获得了新的发展机遇,同时也面临着诸多挑战。更多业务开始由线下推向线上转移,银行成为不法分子的主要攻击目标之一,同时还有APT攻击、盗取和诈骗银行客户资金。《网络安全法》的出台正为电子银行业保驾护航。

伴随着安全数据越来越多,信息安全问题将转变为大数据分析问题,大规模的安全数据需要被有效地关联、分析和挖掘。具体到电子银行业,面对每天产生的大量访问及交易日志,需借助大数据分析构建用户画像,包括撞库行为画像及扫描行为画像。HanSight在电子银行业中的大数据安全分析领域有着深入的探索实践,并剖析了平台架构设计的诸多细节,如(1)实时分布式流处理平台基于实时大规模分布式处理系统Flink开发;(2)内置数据字典把各种Elasticsearch输入数据规整化等。

科大讯飞实时计算平台高级架构师刘君:讯飞语音云实时分析架构及实践

图片描述

科大讯飞实时计算平台高级架构师刘君

科大讯飞实时计算平台高级架构师刘君在《讯飞语音云实时分析架构及实践》主题演讲中表示讯飞语音云可提供语音识别,语音合成、人脸、声纹识别,语义理解,全双工带上下文的AIUI语音交互等主要能力。随着业务的发展,提出了更多的实时需求,讯飞语音云可对重要指标进行实时统计,对集群、服务的健康状况进行实时监控等功能。

接着刘君分享了语音云在实时分析领域的三大实践:BI&大屏、实时监控平台、云知道。实时监控平台,支持服务器基础指标监控告警、业务主动告警等多种告警类别,告警触发条件、报警时间、告警通知人员等都是可配置的。


更多精彩内容,请关注图文直播专题:CCTC 2017中国云计算技术大会Keynote视频直播,微博:@CSDN云计算,订阅 CSDN 官方微信公众号(ID:CSDNnews),即时获取大会动态。

评论