返回 登录
0

大数据技术发展过剩 通用化和个性化需求是最大挑战

大数据日益成为国家基础性战略资源,推动大数据发展,已成为从政府到民间、从行业组织到企业机构的社会共识。如何用好大数据,让大数据带来可量化的价值?是传统企业转型能否成功的重中考量因素。

9月11日至12日,T11 2017暨TalkingData智能数据峰会在北京举办,来自全球近5000位专家、学者、数据科学家、分析师和企业管理者等汇聚T11,探讨大数据与行业结合的技术趋势、场景应用、前沿案例。

奇点大学执行总裁Kian Gohar在主题为“指数级创新”的主题演讲中指出,书信息ji指数级增长时代已经来临:计算能力、人工智能、传感器、机器人、交互模式、大众化应用的聚合技术,为世界带来指数级飞跃,并改变每个行业。

TalkingData 首席执行官崔晓波在峰会中强调了——数据改变企业决策、数据改善人类生活。TalkingData今年将侧重赋能合作伙伴,同时注重AI等技术创新和实践,致力于用数据驱动商业。


活动第一天下午,CSDN记者就大数据技术趋势、场景应用等问题,与TalkingData的三位技术专家:CTO肖文峰、产品VP 闫辉、首席架构师 黄洋成进行了沟通。

大数据技术平台逊于数据源发展

大数据有很多种分类方式,一类是关于大数据技术的平台,另一类是关于数据源部分。平台方面,一般是有开源软件,做成型的类似于CDH版本的平台,还有在上面做一些相关的各种数据库,各种中间的管理平台这样的技术路线的公司。闫辉说:“技术平台这块发展性并不是特别大。”

另外一块域是关于数据的数据源部分,数据源以前大家会认为拥有数据量的,像TalkingData在线的互联网平台,聚集了一大堆的数据量。还有像电信这样的数据源,闫辉认为,这块的发展在这5年之内将非常快,数据最终变成了一种以服务的方式提供出去。

大数据技术发展过剩

TalkingData从去年开始跟进整个大数据的技术生态,2016年从底层开始往上整理,包括:数据工程、数据采集、加工处理、分析到形成决策。它们发现,大数据技术不是遇到瓶颈,而是某种程度有一点过剩,在任何一个细小的领域都能找到好几家包括商业的公司,包括:提供类似的技术开源公司,优化到存储的公司,有各种各样的公司在做这样的事情。肖文峰认为:“Hadoop公司去年是什么公司,今年依然是什么公司,没有突破性的革命。”各大公司业务更多集中在数据应用领域上,技术本质上并没有什么大的突破。

大数据技术落地主要是体现在两个方面

  • 实时性的提升,包括从各个方面去优化,保证这个洞察,可更快得到对数据的洞察。
  • 数据产品的平民化,包括之前提到的数据可视化的技术,还有别的智能化的技术,包括一些人工智能领域的功能,某种程度上都是为了降低技术使用的门槛,

大数据发展的最终目标是让业务用户直接操作数据。在决策上面,满足需求的前提条件是分析数据得到洞察,客户需要别人告知他未来发生什么,如何去应对。

数据分析仅是TalkingData的业务线

谈到和其他数据分析公司的差异化比较,闫辉表示,数据分析业务线只是其一条子产品线,TalkingData的主营产品是SmartDP(智能数据平台),通过整体的平台加上数据原材料一起在一个业务垂直域做贡献。“我没把技术沉的更深一点,而不是垂到一个简短的分析业务线,我们是以移动分析起家,但是我们不是一直停留在那个层面上。” 闫辉说。

通用化和个性化需求挑战

TalkingData一方面采集数据,另外一方面,把技术和数据应用到客户实际场景帮客户解决问题。TalkingData需要一方面降低客户使用成本,把这大数据服务通用化。另外一方面,需要根据客户自己的数据属性、质量的不同,提供个性化服务。

这是现在大数据行业所有技术公司和解决按公司面临的普遍问题,目前来讲很难看到一套技术方案解决所有的问题。” 肖文峰说。

如何解读客户数据

TalkingData经常会遇到客户数据质量匹配度不是特别高的问题。TalkingData需要了解客户到底需要什么样精度、质量的数据,不同数据质量,为此付出的成本也不一样。“公司要求其前端的咨询人还有售前人员对数据质量有清晰的了解,把客户的业务问题能够精准翻译成数据问题。”这是肖文峰对他们的要求。

此外,TalkingData的数据部门,需要很量化的够从完整性、及时性、准确性、一致性,评估出数据的质量。有了透明化的评估以后,后面的就能知道这个数据是什么样的质量状况,应该用在什么样的场景,适合用在什么样的场景。通过这两方面努力的结果,最终解决客户的问题。

客户数据孤岛问题如何解决?

TalkingData一直在研究解决数据孤岛问题,针对不同场景都有了一些探索。黄洋成通过两个方面介绍了TalkingData的解决方案:

数据保护方面,像隐私保护有一种叫差分隐私,苹果和谷歌都号称在用。TalkingData在有一些领域也会做尝试,通常来说,保证输出位置数据的同时需要尽量不泄露隐私,差分隐私这种技术就会应用到这上面。

数据质量方面,如果你脱离了需求去谈质量没办法谈,相同的数据需求不一样,你对他的质量评估还是不一样的,数据本身的真假对谁都是跟需求没有关系的。


后记

通过参加T11 2017大会,CSDN深切体会到了国内大数据社区和大数据生态的蓬勃发展。虽然是一个技术厂商主导的大会,但开放、合作、共赢的思想在各个演讲话题中传递。在这里,大数据并不是高高在上的技术理念,而是和企业切身业务相结合的服务产品,希望活动能促进更多的传统企业通过大数据技术完成信息化转型,CSDN将继续关注大数据技术领域的发展。

评论