欢迎,计算机科学与信息计算爱好者!

machine learning

scott 9个月前 (01-02) 62次浏览 0个评论 扫描二维码
文章目录[隐藏]

机器学习 (machine learning)
一种程序或系统,用于根据输入数据构建(训练)预测模型。这种系统会利用学到的模型根据从分布(训练该模型时使用的同一分布)中提取的新数据(以前从未见过的数据)进行实用的预测。机器学习还指与这些程序或系统相关的研究领域。

机器学习是⼈⼯智能的⼀个分⽀,是⼀门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析⼀些让计算机可以⾃动“学习”的算法。因为学习算法中涉及了⼤量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计⽅⾯,机器学习理论关注可以实现的,⾏之有效的学习算法。
链接Mitchell, T. (1997). Machine Learning. McGraw Hill.

Tom M. Mitchell更正式的定义了机器学习领域所研究的算法:假如存在学习任务T,并提供经验E,还会对电脑程序的表现进⾏评估,如果其在任务T上的表现P随着经验E的提供⽽进步,那么可以说该程序是从经验E中学习了任务T。
[描述来源: Mitchell, T. (1997). Machine Learning. McGraw Hill. ]
机器学习可以根据有⽆监督分为监督式学习(supervised learning)和⽆监督学习(unsupervised learning),在前者中计算机会得到训练数据和⽬标结果,学习⽬的是根据反馈学习能够将输⼊映射到输出的规则,当不是每⼀个输⼊都有⼀⼀对应的⽬标结果或⽬标结果的形式有限时,监督式学习⼜可以分为半监督学习(semi-supervised learning)、主动学习(active learning)、强化学习(reinforcement learning)。在⽆监督学习中,训练集没有⼈为标注的结果,计算机需要⾃⼰发现输
⼊数据中的结构规律。
另⼀种分类⽅法是根据学习任务的不同将其分为分类(classification),即训练⼀个模型根据已知样本的某些特征,判断⼀个新的样本属于哪种已知的样本类;回归(regression),即研究两个或多个变量间的相关关系;聚类(clustering),即将输⼊分成不同的组别或者更多的⼦集(subset),与分类学习不同的是聚类学习⼀半⼀般是⽆监督的;概率密度估计(density estimation)估计输⼊数据的分布;降维(dimensionality reduction),即将输⼊数据映射到维度更低的空间中从⽽降低学习任务的复杂度。
我们⽣活中的许多服务都有机器学习的算法的⽀持,如垃圾邮件的过滤是典型的分类学习,不少股票预测系统利⽤回归模型拟合时间序列,⼈脸识别等图像处理任务依赖于神经⽹络的快速发展等。
[描述来源:维基百科 URL:https://en.wikipedia.org/wiki/Machine_learning]

发展历史

描述

机器学习领域涉及⼤量不同的学科和算法,其兴起可以追溯⾄上世纪40年代。1943年,Warren McCulloch和Walter Pitt在发表的论⽂中描述了神经⽹络的计算模型,1949年,Hebb发明了赫布学习规则,奠定了神经⽹络的基⽯,这是最古⽼的也是最简单的神经元学习规则。不少我们今天仍⼴泛使⽤的算法和研究的问题都是在这⼀时段被提出的,如最近邻算法(KNN,T. Cover & P. Hart,1967),XOR问题(Minsky & Papert,1969)。Minsky还在1956年与约翰·⻨卡锡组织了达特茅斯会议(Dartmouth Summer Research Project on Artificial Intelligence),定义了⼈⼯智能的概念。但很快,计算机计算能⼒的不⾜导致训练模型极其困难,并且由于数据获取和表⽰的问题,基于统计的算法并不受欢迎,机器学习的热潮开始减退。今后⼀段时间的研究主要集中在基于逻辑的归纳学习系统等基于符号/知识的学习。
直到1980年左右,对于机器学习的热情才⼜逐渐兴起。 1975年Werbos发明的反向传播算法(backpropagation)⼤⼤减少了训练神经⽹络所需要的时间,推动了有关神经⽹络的研究,直⾄⽬前反向传播也是训练神经⽹络的重要算法。1986年Quinlan发明了⽤于决策树的ID3算法,决策树作为机器学习的⼀⼤⼦类,⽽ID3算法作为决策树的基础算法之⼀,也在当时从另⼀⽅向推动了机器学习的研究进展。
上世纪90年代后,我们今天所熟悉的机器学习流派逐渐开始形成。1990年Robert Schapire发表论⽂认为⼀组“弱学习者”的集合可以⽣成⼀个“强学习者”,直接引领并推动了Boosting算法在机器学习领域的使⽤和发展。1995年Corinna Cortes和Vapnik发表的论⽂提出了我们⽬前所⽤的⽀持向量机(SVM)模型形式,也是机器学习领域最重要的突破之⼀。2001年Breinman发表论⽂和Adele Cutler⼀同发展、推论出随机森林算法,并将“Random Forests”注册为他们的商标。21世纪⾄今是机器学习
领域发展的另⼀⾼峰,2007年前后,Hinton和Ruslan Salakhutdinov提出了⼀种在前馈神经⽹络中进⾏有效训练的算法,突破了过去由于训练多层神经⽹络困难⽽只使⽤⼀层隐含层(hidden layer)的问题,开启了深度学习(deep learning)复兴的时代。
⾄此,机器学习的发展逐渐到了我们⽬前所处的阶段,Hinton的学⽣——Yann LeCun——与斯坦福⼤学副教授吴恩达等学者是⽬前机器学习领域的领军⼈物,在⾃动驾驶、⾃然语⾔处理等领域都发表了许多成果。

主要事件

年份 事件 相关论⽂/Reference

1943
Warren McCulloch和Walter Pitt在发表的论⽂中描述了神经⽹络的计算模型
McCulloch W.; Walter P. (1943). A Logical Calculus of Ideas Immanent in Nervous Activity. Bulletin of Mathematical Biophysics. 5 (4): 115–133.

1949
Hebb发明了赫布学习规则
Hebb, Donald (1949). The Organization of Behavior. New York: Wiley.

1967
Cover和Hart提出了KNN算法
Cover T. ; Hart P. (1967). Nearest neighbor pattern classification. IEEE Transactions on Information Theory.
1(13): 21 – 27.

1969
Minsky和Papert提出了著名了xor问题
Minsky, M; Papert, S. (1969). Perceptron: an introduction to computational geometry. The MIT Press, Cambridge, expanded edition, 19(88), 2.

1975
Werbos发明的反向传播算法
Werbos, P.J. (1975). Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences.

1986
1986年Quinlan发明了⽤于决策树的ID3算法
Quinlan, J. R. (1986). Induction of Decision Trees. Mach. Learn. 1(1): 81–106

1990
Robert Schapire发表论⽂认为⼀组“弱学习者”的集合可以⽣成⼀个“强学习者”
Schapire R. E. (1990). The Strength of Weak Learnability. Machine Learning. Boston, MA: Kluwer Academic Publishers. 5 (2): 197–227.

1995
1995年Corinna Cortes和Vapnik发表的论⽂提出了我们⽬前所⽤的⽀持向量机(SVM)模型形式
Cortes C.; Vapnik V. N. (1995). Support-vector networks. Machine Learning. 20 (3): 273–297.

2001
2001年Breinman发表论⽂和Adele Cutler⼀同发展、推论出随机森林算法
Breiman L. (2001). Random Forests. Machine Learning. 45 (1): 5–32.

2007
Hinton和Ruslan Salakhutdinov发表了论⽂开启了深度学习(deep learning)的时代
Hinton G. E.(2007). Learning multiple layers of representation. Trends in Cognitive Sciences, 11:428–434.

发展分析

瓶颈

⽬前的机器学习模型在单⼀学习任务上⼏乎都可以取得很好的结果,但在多任务学习上的表现⼤⼤下降,这意味着我们离通⽤⼈⼯智能还有⼀段距离。另外即是神经⽹络是⿊箱模型的特征,使得不少学者担⼼神经⽹络的安全性。

未来发展⽅向

如果能够将模型的⼀部分⽤于新的任务,同时保证模型在旧任务的表现上不下降,那么我们在通往通⽤⼈⼯智能的道路上就有了关键性的突破。

上游技术

控制论 cybernetics
⼈⼯智能 AI (artificial intelligence)

下游技术

⼿术技术评估 surgical skills evaluation
即时定位与地图构建 SLAM (simultaneous localization and mapping)
Metric Learning
主题模型 topic model
张量处理器 TPU (tensor processing units)
增量学习 incremental learning
元学习 meta learning (learning to learn)
隐⻢尔可夫模型 HMM (hidden Markov models)
隐含狄利克雷分布 LDA (latent dirichlet allocation)
序列模式挖掘 sequential pattern mining
相关向量机 RVM (relevance vector machine)
先验算法 Apriori algorithm
维数灾难 curse of dimensionality
统计学习理论 statistical learning theory
统计模型 statistical models (probabilistic models)
提升算法 boosting
梯度消失问题 vanishing gradient problem
特征选择 feature selection
随机森林 random forest
说话⼈识别 speaker identification (speaker recognition)
树增强朴素⻉叶斯⽹络 TAN (tree augmented naive Bayes network)
⽣成模型 generative model
神经⽹络 neural network
深度学习 deep learning
深度强化学习 DRL (deep reinforcement learning)
强化学习 reinforcement learning
迁移学习 transfer learning
偏序规划 POP (partial-order planning)
判别模型 discriminative model
⻢尔可夫模型 Markov model
决策树学习 decision tree (decision rule learning)
聚类分析 clustering analysis
聚类 clustering
监督学习 supervised learning
计算学习理论 computational learning theory
集成学习 assemble learning
哈希学习 hash learning
归纳逻辑编程 ILP (inductive logic programming)
⾼斯混合模型 GMM (Gaussian mixture model)
感知器 perceptron
概率图模型 PGM (probability graphical model)
分类问题 classification problem
⾮监督学习 unsupervised learning
多线性PCA multilinear PCA
度量学习 metric learning
词袋模型 BoW model
层归⼀化 layer normalization
表征学习 feature learning (representation learning)
半监督学习 semi-supervised leaning
VC理论 VC theory (Vapnik-Chervonenkis theory)
相关资源

开发⼯具

TensorFlow
scikit-learn
Torch/PyTorch
Caffe/Caffe2
Splunk Machine Learning Toolkit

数据集

UCI Machine Learning Repository

教程期刊

Artificial Intelligence (journal)
IEEE Transactions on Evolutionary Computation
Machine Learning (journal)

活动及会议

ICML (International Conference on Machine Learning)
CVPR (IEEE Conference on Computer Vision and Pattern Recognition)


CSIT FUN , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:machine learning
喜欢 (0)
[985016145@qq.com]
分享 (0)
scott
关于作者:
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址