推荐序一
推荐序二
前　　言
第一部分　准备篇
引　言　从科幻电影谈起/2
第1章　自然人机交互技术漫谈/10
1.1　自然人机交互技术的发展/10
1.1.1　第六感设备：技术的组合创新/10
1.1.2　追影技术：摄像头也疯狂/12
1.1.3　虚拟现实：真实的体验场景/13
1.1.4　增强现实：真实与虚拟的叠加/14
1.1.5　多点触摸：信息就在指尖 /15
1.1.6　语音识别：从ViaVoice到Siri/16
1.1.7　眼球跟踪：从霍金的座椅谈起/17
1.1.8　人脸识别：Photo DNA/19
1.1.9　体感操作：达芬奇手术机器人/20
1.1.10　脑机界面：霍金座椅的升级版/20
1.2　“你就是控制器”—Kinect宣言/21
1.2.1　Kinect销售记录及命名来历/21
1.2.2　未来照进现实/22
第二部分　原理篇
第2章　揭开Kinect的神秘面纱—硬件设备解剖/26
2.1　两款Kinect传感器对比/26
2.2　Kinect传感器的硬件组成/28
2.2.1　Kinect的“心脏”—PS1080 SoC/30
2.2.2　Kinect的“三只眼”—投影机和两个摄像头/32
2.2.3　Kinect的“四只耳朵”—麦克风阵列/34
2.2.4　会摇摆的“相控雷达”—传动马达/35
2.2.5　姿态控制—三轴加速度计/36
2.2.6　USB接口及电源/37
2.2.7　Kinect风扇控制/38
2.3　Kinect相关技术规格/38
2.3.1　Kinect近景模式/39
2.3.2　Kinect放大镜/40
2.4　本章小结/40
第3章　Kinect工作原理大揭秘/41
3.1　Kinect for Xbox 360的产品设计/42
3.2　基于“管道”的系统架构/43
3.2.1　骨骼跟踪/45
3.2.2　动作识别/46
3.2.3　人脸识别/48
3.2.4　语音识别/49
3.3　Kinect眼里的三维世界/50
3.3.1　深度数据是Kinect的精髓/51
3.3.2　2D视觉与3D视觉/55
3.4　深度图像成像原理/56
3.4.1　ToF光学测距与结构光测量/56
3.4.2　Light Coding技术/57
3.4.3　激光散斑原理/58
3.4.4　光源标定/59
3.5　从深度图像到骨骼图/60
3.5.1　动静分离，识别人体/60
3.5.2　人体部位分类/62
3.5.3　从人体部位识别关节/63
3.5.4　会“机器学习”的“Kinect大脑”/65
3.5.5　骨骼跟踪的精度和效率/68
3.6　创建你的Avatar/70
3.6.1　“有骨有肉”/70
3.6.2　泊松方程噪声滤除/70
3.6.3　粗糙变平滑、缺陷自动补齐/71
3.7　本章小结/71
第三部分　基础篇
第4章　Kinect for Windows SDK导读/74
4.1　什么是Kinect SDK/74
4.1.1　Kinect SDK的发展历程/74
4.1.2　SDK v1.5的新特性/75
4.1.3　SDK v1.5尚未提供的API/76
4.1.4　从底层进行封装/76
4.2　Kinect for Windows体系架构/78
4.3　应用层API详解/80
4.3.1　Kinect的核心NUI API/80
4.3.2　Kinect Audio DMO/82
4.3.3　Windows Speech SDK/83
4.4　数据流概述/84
4.4.1　彩色图像数据/84
4.4.2　用户分割数据/85
4.4.3　深度图像数据/86
4.4.4　如何获取数据流/87
4.5　骨骼跟踪/89
4.5.1　骨骼信息检索/90
4.5.2　主动跟踪和被动跟踪/90
4.5.3　骨骼跟踪对象选择/91
4.6　NUI坐标转换/92
4.6.1　深度图像空间坐标/93
4.6.2　骨骼空间坐标/93
4.6.3　坐标变换/93
4.6.4　传感器阵列和倾斜补偿/95
4.6.5　地面测量/95
4.6.6　骨骼镜像/95
4.7　本章小结/96
第5章　Kinect用户交互设计的若干思考/97
5.1　Xbox 360 Kinect Hub界面和Metro风格/97
5.1.1　什么是Metro风格/97
5.1.2　Kinect Hub手势原型设计/98
5.1.3　“悬停选择”和“翻页控制”/99
5.2　体感游戏的优势及局限性/100
5.2.1　更多的自由度/101
5.2.2　关节点重叠的处理办法/102
5.2.3　情感因素和心理暗示/102
5.2.4　Kinect体感操作的局限性及对策/103
5.3　用户交互的趋势和新特性/104
5.3.1　Kinect使交互“柔软化”/105
5.3.2　用户交互设计也可能是一项专利/106
5.4　Kinect“体感操作”交互设计的七条军规/106
5.4.1　控制手势集符合人类自然手势/107
5.4.2　让用户的肢体移动幅度尽可能小/107
5.4.3　操作界面的对象采用Metro风格/109
5.4.4　“确认操作”保持简单、一致/109
5.4.5　手势操作尽可能在同一个平面内/110
5.4.6　从三维的视角去看交互设计/110
5.4.7　配有简单明了的手势说明/111
5.5　本章小结/112
第四部分　开发篇
第6章　开发前的准备工作/114
6.1　开发Kinect应用所需的技能/114
6.2　系统要求/115
6.3　下载和安装Kinect SDK/116
6.3.1　Kinect for Windows SDK v1.5/118
6.3.2　Developer Toolkit/118
6.3.3　Kinect快速开发工具箱/119
6.3.4　XNA开发环境/119
6.4　加载驱动、检验及测试/120
6.5　配置开发环境/122
6.6　要点和故障排除/122
6.7　本章小结/123
第7章　Hello，Kinect！/124
7.1　一行代码的“Hello, Kinect!”/124
7.1.1　创建WPF工程/124
7.1.2　添加KinectDiagnosticViewer控件/126
7.1.3　编写一行代码/127
7.1.4　编译运行/127
7.2　控制台界面HelloKinectMatrix/128
7.2.1　创建Console工程/128
7.2.2　编写代码/129
7.2.3　运行效果/130
7.3　KinectContrib快速工程模板/130
7.4　KinectWpfViewers工具控件/131
7.5　本章小结/132
第8章　Kinect开发循序渐进/133
8.1　一个简单的编程模型/133
8.1.1　初始化、启用Kinect设备/134
8.1.2　彩色图像流事件处理/136
8.1.3　深度数据捕获/138
8.1.4　骨骼跟踪/141
8.1.5　关闭Kinect设备/145
8.1.6　Kinect设备状态管理及异常处理/145
8.2　更专业的深度图/146
8.2.1　改进转换方法/146
8.2.2　事件处理/148
8.3　控制Kinect仰角/148
8.3.1　“你的塑身”游戏/149
8.3.2　垂直调整Kinect仰角/150
8.4　本章小结/151
第9章　Kinect深度数据测量技术及应用/152
9.1　什么是Kinect视角场/152
9.2　深度值与实际距离的对比/153
9.3　深度图像的直方图/155
9.3.1　直方图统计信息的价值/156
9.3.2　深度图像直方图的意义/158
9.4　Kinect深度数据测量的应用/159
9.4.1　近景模式：自动锁屏工具/159
9.4.2　Kinect视角场几何推导：测量人体身高/163
9.4.3　近距离探测：制作地形电子沙盘/169
9.5　本章小结/170
第五部分　实例篇
第10章　用Kinect表演“变脸”/172
10.1　在人的面部变换脸谱/172
10.2　代码实现/173
10.2.1　WPF工程、控件及初始化/173
10.2.2　骨骼跟踪/176
10.2.3　变脸及坐标变换/178
10.3　合理暂停骨骼跟踪/181
10.4　道具平滑跟随/181
10.5　调整幕布大小/183
10.6　练习作业/184
第11章　用Kinect唤起“红白机”的回忆/185
11.1　用身体控制马里奥/185
11.2　代码实现/185
11.2.1　WPF工程、控件及初始化/185
11.2.2　模拟键盘输入工具类/188
11.2.3　肢体语言映射到键盘事件/192
11.3　副产品：PPT演示“空手道”/193
11.4　练习作业/195
第12章　用Kinect玩PC版的《水果忍者》/197
12.1　空气鼠标设计思路/197
12.1.1　找到离Kinect最近的那个人/198
12.1.2　兼容左手习惯和右手习惯/199
12.1.3　从骨骼坐标系到鼠标坐标系/199
12.1.4　模拟鼠标工具类/200
12.1.5　让“空气鼠标”移动自如/202
12.1.6　模拟鼠标左键事件/203
12.2　在PC中用Kinect玩《水果忍者》/203
12.2.1　核心代码示例/203
12.2.2　如何双手挥刀/206
12.3　更多游戏：《割绳子》/206
12.4　练习作业/207
第13章　创建你的Kinect Hub Demo界面/208
13.1　Metro风格界面设计/208
13.2　使用Kinect骨骼跟踪/209
13.3　使用Coding4Fun Kinect Toolkit开发加速器/210
13.4　悬停选择/210
13.5　本章小结/213
第14章　用Kinect导播天气预报/214
14.1　天气预报是这样炼成的/214
14.1.1　绘制幕布，定义前景图片/214
14.1.2　对象定义及初始化/215
14.1.3　实现“画中画”效果/216
14.2　一些优化的话题/219
14.2.1　使用Using及时回收资源/219
14.2.2　使用WriteableBitmap优化图片显示性能/219
14.2.3　多线程和“轮询模型”/220
14.2.4　使用中值滤波边缘去噪/220
14.3　Kinect语音导播切换/221
14.3.1　引用Microsoft.Speech命名空间/221
14.3.2　音频数据流和语音识别引擎/221
14.3.3　语音识别事件/223
14.4　本章小结/224
第15章　基于Kinect的家庭监控系统/225
15.1　通过Kinect进行目标探测/225
15.2　使用计算机视觉库/226
15.2.1　Open CV程序库/226
15.2.2　Emgu CV引用/226
15.2.3　保存快照/227
15.2.4　录制视频/227
15.3　目标人体探测和影像录制/228
15.4　扩展功能和更多应用场景/231
15.5　本章小结/231
第16章　“Kinect牌”梦境录音笔/232
16.1　Kinect音频采集/232
16.1.1　使用音频数据流/232
16.1.2　“波束跟踪”信心值的另类用法/233
16.2　音频录制/233
16.2.1　WAV文件/233
16.2.2　WAVEFORMATEX结构体/234
16.2.3　梦境录音笔的实现/234
16.3　练习作业/240
第六部分　进阶篇
第17章　再谈姿态识别和手势识别/242
17.1　姿态和手势/242
17.2　动作与算法/243
17.2.1　如何设定动作集合/243
17.2.2　借鉴正则表达式和状态机/244
17.2.3　转换为几何三角问题/245
17.3　常见手势识别/245
17.3.1　挥手激活/245
17.3.2　悬停按钮/246
17.3.3　磁石悬停/247
17.3.4　划动手势/247
17.3.5　滑动解锁/248
17.3.6　推按钮/249
17.3.7　通用暂停/249
17.4　工具介绍/250
17.4.1　动作录制和识别GesturePak/250
17.4.2　手和手指的“空气多点触摸”/251
17.5　本章小结/253
第18章　Kinect在手术室的应用原型/254
18.1　原型设计/254
18.2　交互设计/255
18.2.1　“悬停选择”进行功能导航/255
18.2.2　“空气鼠标”的激活和隐藏/256
18.2.3　通过“划动”手势翻阅医学影像/257
18.2.4　放大、缩小医学影像病灶部位/257
18.2.5　“垂直摆动”翻阅病历/258
18.2.6　体感操作结合语音控制/258
18.3　体感操作的实现/259
18.3.1　基于SwipeGestureRecognizer/259
18.3.2　基于单个部位运动序列的轨迹分析匹配/262
18.3.3　基于多个部位姿态快照的状态机匹配/266
18.4　利用SDK v1.5的新特性/280
18.4.1　近景模式下的上半身骨骼跟踪/280
18.4.2　利用关节点朝向信息进行手势识别和三维操作/280
18.4.3　人脸识别用于手术登录验证/283
18.4.4　调试工具Kinect Studio/283
18.5　本章小结/284
第19章　Hello，Kinect 3D World! /285
19.1　点、面、云/285
19.1.1　像素和彩色图像帧/285
19.1.2　深度图像帧和点云/285
19.1.3　多Kinect设备的接入/286
19.2　Kinect体感应用开发工具简介/287
19.2.1　软件开发平台XNA/287
19.2.2　游戏引擎Unity 3D/288
19.2.3　3D场景重建工具ReconstructMe/289
19.3　本章小结/289
第七部分　展望篇
第20章　奇思妙想—Kinect效应/292
20.1　四旋翼飞行器的“导航雷达”/292
20.2　宠物看护机器人/292
20.3　空气吉他/293
20.4　倒车雷达系统/294
20.5　Kinect购物车/294
20.6　魔术道具/295
20.7　本章小结/295
第21章　Kinect企业级应用/296
21.1　思维导图/296
21.2　体感操作应用/297
21.2.1　手术室/297
21.2.2　体育运动竞技研究/297
21.2.3　动作捕捉、CG动画制作/298
21.2.4　虚拟试衣镜/298
21.2.5　课堂/299
21.2.6　虚拟汽车展厅/299
21.2.7　管理你的银行账户/300
21.2.8　聋哑人的同声翻译/300
21.3　深度数据应用/301
21.3.1　老年人监护/301
21.3.2　康复训练/301
21.3.3　家庭监控系统/302
21.3.4　道路交通稽查/302
21.3.5　冰川消融研究/303
21.3.6　给宇航员称体重/304
21.4　实物3D建模应用/304
21.4.1　实物3D数字化/304
21.4.2　文物3D模型“数字敦煌”计划/305
21.4.3　3D扫描和打印/306
21.5　机器人视觉与控制/306
21.5.1　地震搜救机器人/307
21.5.2　深海探测机器人/307
21.5.3　工程机械臂控制/307
21.6　本章小结/308
第22章　下一代人机交互技术/309
22.1　下一代Kinect技术若干猜想/309
22.2　未来惊鸿一瞥/310
第八部分　附录
附录A　Kinect SDK命名空间速查手册 /312
附录B　推荐阅读及网络资源/328
后记/338
参考资料/339