刘帅成博士，旷世成都研究院，该院2018年成立，
新加坡国立大学毕业

目录：
1基于传统算法
2基于深度学习
3基于硬件

Image aligment methods图像对齐
应用：
图片拼接：不同视角拍的建筑拼成更大的一个画面，全景图
去噪，防抖
HDR不同曝光的同一场景，选取不同的曝光区域 拼接
多摄像头协同工作，一个是长焦，一个是广角。
视频防抖。

挑战：
1 重复特征：大厦窗口纹理很像，重复纹理
2 弱纹理，无纹理：白色的墙面，海面天空
3 大前景的干扰：有很多路人，视角偏一点，遮挡后面的景象就变化了
4 夜景，噪声的干扰
5 大视差：视角角度差别比较大时

工业界里不是关注什么场景里效果最好能有多好，而是关心实用中最坏情况匹配的多坏

传统算法

Homography

3*3的矩阵
限定：只能描述平面运动，或者相机绕光心的纯旋转运动
依赖特征点；

Meshflow

属于Mesh warps算法的一个分支。
给定两帧：t,t-1,
图像划分成小格子，算小格字中的特征点
一个好的特征点的分布应该是均匀的全覆盖在整个图片画面，（而不是SIFT这种会附着在梯度大的地方），在检测不到特征点的地方用另一个方程赋予它特征点，密集地区筛选一些
并且也可以解决图片中深度变化的地方

深度学习方法

Deep Homography

2016
Deep Image Homography Estimation(是supervised的)
训练方法：随机裁剪一个框，随机选四个点，自己放射变换一下，和原来的ground truth作为样本来训练。也就是自己合成两张图片
但是，真实场景中，其中人、汽车等两张图片会有变化。由下面文章解决
2018
Unsuprvised Deep Homography(Unsupervised)

缺：忽略了运动物体、视差的干扰。
2019
Content-Aware Unsupervised Deep Homography Estimation
提取feature ， mask

保证其中火车，汽车，喷泉在特征图中很少会有特征点了
![3
做了一个数据集：
远景，低纹理，低光照，小前景，大前景

手工标注了一些点，5000张左右
对比：

解决了对特征的依赖，和RANSAC挑战，但是对深度信息解决不好

Deep Meshflow

网格方法

基于硬件的图像对齐

陀螺仪
手机端三个方向提供加速度信息，得到运动信息

gtro采样率一般比较高，30fps视频得到每帧3到4个gyro或更高

优点：不需要看图像的内容
缺点：需要相机的内参；抓拍视频和陀螺仪二者时间差的准确计算（需要系统级别的权限）；
光学防抖有机械臂反向弥补（额外运动引入导致陀螺仪的计算会偏差）
只能描述相机的纯旋转

DSPM数据策略产品经理——阿里讲座

余帅兵

BI：Business intelligence商业智能分析团队
对数据进行深度分析以达到高可用

数据如何取用：
基础取数方法？ Excel,有没有固化的模板，定义数据范式，做一些集成化的思考

奥卡姆剃刀：化繁为简。更多的是看趋势，拐点，对比，相关性。
每种图标适配什么场景：条形图、柱状图等每种图都只能反映一两种特征。
DA：Data analysis
算法模型：1算法的核心目标