内容简介
《基于逼近论的多模态信息表示》从逼近论角度,由最基本的线性无关函数基(插值基、奇异值分解、主成分分析)出发,到正交函数基(傅里叶变换、小波基),再到一般通用逼近算子(人工神经网络),延伸至过完备基(压缩传感、稀疏表示),最后实现分层特征表示(深度学习)。通过基函数表示信息的思想贯穿始终,作者希望由此启发读者更进一步思考如何构造更好的表示方法实现多模态统一表示。
《基于逼近论的多模态信息表示》可供机器人、机器学习、信号处理、应用数学领域的研究人员和实践者阅读,同时也可作为计算机科学与技术领域相关人员的参考书。
内页插图
目录
前言
第1章 引言
1.1 背景与动机
1.1.1 什么是表示
1.1.2 表示与函数重构
1.1.3 基函数表示
1.1.4 框架表示
1.1.5 Riesz基表示
1.1.6 投影表示
1.1.7 伽辽金表示
1.1.8 词典表示
1.2 本书架构
1.3 小结
第2章 插值
2.1 引言
2.2 拉格朗日插值
2.2.1 拉格朗日插值误差
2.2.2 拉格朗日线性插值
2.2.3 拉格朗日二阶插值
2.3 牛顿插值
2.4 Hermite插值
2.5 样条插值
2.6 插值方法在数字图像处理中的应用
2.7 小结
第3章 奇异值分解和主成分分析
3.1.基本概念
3.1.1 内积空间
3.1.2 范数
3.1.3 正交基
3.1.4 特征值与奇异值
3.2 奇异值分解
3.3 主成分分析
3.4 应用
3.4.1 伪逆与最小二乘
3.4.2 数据表示与分析
3.4.3 线性判别分析
3.4.4 特征脸
3.4.5 潜在语义分析
3.5 小结
第4章 傅里叶变换与小波变换
4.1 函数与变换
4.2 傅里叶变换:时间遇到频率
4.2.1 连续傅里叶变换
4.2.2 离散傅里叶变换
4.2.3 通过傅里叶变换实现稀疏表示
4.2.4 傅里叶变换的应用
4.3 小波变换
4.3.1 多分辨率表示:嵌套网格逼近
4.3.2 连续小波变换
4.3.3 离散小波变换
4.3.4 小波变换实例
4.3.5 通过小波表示函数
4.3.6 小波应用
4.4 傅里叶变换与小波变换比较
4.5 小结
第5章 人工神经网络——通用逼近算子
5.1 引言
5.2 基本概念
5.2.1 网络架构
5.2.2 激活函数
5.3 简单神经元
5.4 单层神经元
5.5 多层感知器
5.5.1 多层感知器的激活函数
5.5.2 后向传播算法
5.5.3 多层感知器的表达与逼近能力
5.6 径向基神经网络
5.6.1 径向基网络与多层感知器比较
5.6.2 例子
5.7 小结
第6章 稀疏表示
6.1 为什么要用稀疏表示
6.2 问题转换
6.3 将问题转换为线性规划问题
6.4 稀疏表示的几何解释
6.5 贪婪算法
6.5.1 匹配追踪
6.5.2 正交匹配追踪
6.5.3 基追踪
6.5.4 松弛方法
6.6 小结
第7章 压缩传感
7.1 引言
7.2 理论基础与问题描述
7.2.1 稀疏性
7.2.2 压缩传感问题描述
7.3 测量矩阵与感知矩阵
7.3.1 有限等距性质
7.3.2 感知矩阵
7.3.3 相关性
7.4 问题求解与信号恢复
7.4.1 范数重构
7.4.2 范数重构
7.4.3 范数重构
7.5 重构算法
7.5.1 凸优化松弛方法
7.5.2 贪婪迭代算法
7.5.3 迭代阈值算法
7.5.4 组合算法与子线性算法
7.5.5 非凸优化算法
7.6 应用
7.6.1 数据压缩
7.6.2 校验编码
7.6.3 逆问题
7.6.4.数据与图像获取
7.7 小结
第8章 深度学习与特征学习
8.1 引言
8.2 深度框架
8.2.1 构造深度框架的动机
8.2.2 计算框架的深度和类型
8.2.3 逐层预训练
8.3 卷积神经网络
8.3.1 稀疏连接
8.3.2 加权共享
8.3.3 极大池化
8.3.4 完整模型:LeNet
8.4 深度置信网络
8.4.1 限制玻尔兹曼机
8.4.2 堆叠限制玻尔兹曼机构建深度置信网络
8.5 堆叠自动编码器
8.5.1 自动编码器神经网络
8.5.2 去噪自动编码器
8.5.3 堆叠自动编码器构造
8.5.4 稀疏自动编码器
8.6 深度学习相关软件包
8.7 小结
第9章 深度学习应用于自然语言处理:词向量
9.1 语言模型
9.2 One-Hot表示方法
9.3 词向量
9.4 词向量的训练
9.4.1 Yoshua Bengio语言模型
9.1.2 Ronan Collobert-Jason Weston方法
9.4.3 Andriy Mnih-Geoffrey Hinton方法(HLBL)
9.4.4 Tomas Mikolov循环神经网络方法
9.5 Google词向量工具包word2vec
参考文献
前言/序言
人脑是一个超乎寻常的、鲁棒的自适应信息处理器,能够从大量含有噪声且迥然各异的多源同步信息中整合出重要的知识。它通过对大量时空信息的处理,形成了对周围世界的统一表示。在这方面,即便是目前最好的人工智能系统也望尘莫及。如何建立像人脑一样能够自适应地处理多种不同信息源、不同数据类型和不同感知模态的系统,是人工智能面临的一个巨大挑战。近年来,信息与通信技术的飞速发展为这个问题的解决带来了曙光。
与此同时,从事人工智能的研究者也在设计算法完成一些传统意义上需要人类智能的任务。例如,最近,Google DeepMind公司设计的AlphaGo程序击败了韩国围棋冠军李世石和欧洲围棋冠军樊麾,引起了人们的极大关注。其中多种模态的信息如何统一表示和融合是一个关键问题。现在,我们有机会从数学中逼近论的角度来看,如何能够实现多模态信息的统一表示。
本书主要涉及多模态信息表示领域,列举这个领域的一些问题,给出目前已经得到的一些结果,同时也给出这个领域一些未来发展方向的思考,希望藉此能够给多模态信息表示领域的研究者和本书的读者带来一些启发。
活跃在这个领域的数学家可能会觉察到这个正在崛起的领域与调和分析、逼近论、矩阵分析等领域之间的密切联系。但是,这不是写作本书的最终目的。我们的兴趣和目标主要致力于这些研究成果的实际应用领域,尤其是机器人领域,基于基函数表示的思想主要体现在多模态信息(声音、图像、力信号等)表示。从这个基本点出发,可以发现很多有趣的应用。
从数学角度考虑,通过把函数映射到一个固定线性子空间,称为线性逼近,而如果函数被映射到非线性空间,则称为非线性逼近。从逼近论角度看,我们主要发现这些应用都可以通过一种特殊的数学模型来表示——基。如果配以合适的模型,可以用基函数来解决各种应用——如图像处理领域中去噪、恢复、分类、压缩、采样、解析与合成、检测、识别等。我们通过仔细考证发现,大量的基于基函数表示的方法被应用于多模态信息表示领域。
基函数表示既有深厚的理论基础,也有广泛的应用场景。这使得我们可以从理论到应用,全方位地展示其巨大威力。限于篇幅和作者的知识,本书不能涉及所有相关领域。本书涉及的领域包括基本的插值计算、主成分分析和奇异值分解、傅里叶变换和小波分析、人工神经网络、稀疏表示与压缩传感、深度学习与特征表示等。
我们假设读者已经有基本的高等数学、机器学习、人工神经网络和人工智能基础知识。这对于抓住和理解应用表面背后的数学思想非常有帮助。
基于逼近论的多模态信息表示 下载 mobi epub pdf txt 电子书 格式