返回 登录
0

针对IoT分析问题的开放方法论

阅读1452

关注大数据、IoT、智慧城市的数据科学家、英国牛津大学教授Ajit Jaokar认为,类似Ignite IoT这样的IoT方法论并未涉及到IoT分析的详情,他总结了一套构建IoT分析的方法论。

IoT分析(IoT数据科学)的方法论应涵盖数据科学的每一步的独特之处。例如:它不止于模型家族的选择,ANN、SVM、决策树等模型的选择只是许多选择中的一个,其他的选择包括:

  • 模型结构的选择 - 最优化方法(CV,Bootstrap等)
  • 模型参数优化算法的选择(联合梯度 vs. 共轭梯度)
  • 数据预处理(centring、reduction、functional reduction、对数变换等)
  • 如何处理丢失的数据(数据删除、归集等)
  • 如何检测和处理可疑数据(基于距离的异常检测、基于密度的异常检测等)
  • 如何选择相关的特征(过滤器、包装、嵌入式方法?)
  • 如何测量预测性能(均方误差、平均绝对误差、错误率、提升度、准确率/召回率等)

基于此,我们需要一个开放的、端到端的、Step by Step的方法论来解决IoT分析/IoT数据科学的问题。该方法论还将需要考虑IoT的独特性,例如:

  • 复杂事件处理(CEP),尤其是使用Apache Spark for CEP
  • 深度学习(因为我们把相机视为传感器)
  • 异常检测:一个典型的IoT分析场景有许多注意事项:什么是触发事件?有多少机器偏离计划?什么是瓶颈的根本原因?有没有影响系统性能的一些外部因素?怎么知道我应该相信IoT数据?是否有行动计划的建议?数据是如何可视化?数据是否有遗漏的元素?我们如何检测其他进程的故障?(异常检测部分改编自Vinay Mehendiratta博士的观点)

此外,物联网垂直领域还有特殊的注意事项:智能电网、智能城市、智能能源、汽车、智能工厂、手机、可穿戴和智能家居等。

原文链接:Creating an open methodology for Internet of Things (IoT) Analytics: Data science for Internet of Things

评论