这本书为机器学习方面的经典书籍。


前言

模式识别在工程上有自己的起源,然而机器学习却起源于计算机科学。但是无论如何,这些活动都可以被认为是同一领域的两个方面。在过去的十年以来,它们都有了巨大的进步。尤其是贝叶斯方法(Bayesian method)从不被重视的方法变为了主流;同时在描述和应用概率模型时,概率图模型(graphical models)已经成为了普遍的框架。同样,通过近似推断算法(approximate inference algorithms)适用范围的增长(例如变化的贝叶斯(variatianal Bayes)和期望传播(expectationpropagation)),贝叶斯方法的实际适用性被大幅度的提高了。同样的,基于内核的新模型在算法与应用上也有了巨大的影响。

本书反映了这些最近的发展情况,同时对模式识别和机器学习领域做了全面的介绍。这本书的目标读者是高年级的本科生、一年级的PhD、研究者和从业者,并假设这些人预先都没有掌握模式识别和机器学习的知识。本书要求读者拥有多元微积分学和基础的线性代数知识,同时若熟悉一些概率知识的话,对于学习本书包含的那些独立的关于基础概率理论的介绍将会有帮助。

因为本书涵盖的范围很广,所以提供一个完整的参考文献列表是不可能的。尤其是本书没有试图提供一个准确的观点历史归因。相反,给予参考文献的目的是提供比本书所能提供的更多的细节,以帮助读者寻找继续学习这些学科的入口点。在某些情况下,这代表着大量的文献。由于这个原因,参考文献更多的是最新的教科书或者综述文章,而不是原始来源。

本书有大量的附加材料,包括讲课用的幻灯片和本书所使用的一整套图像。我们鼓励读者访问本书的网站了解最新信息:

http://research.microsoft.com/∼cmbishop/PRML

练习

在每章最后出现的练习题是本书的重要组成部分。每个练习题都是被仔细挑选的,用来巩固、加强和推广本书中出现的概念。每个练习题都依照难度范围分成了(★)到(★★★)。(★)表示非常简单的练习题,只需花几分钟时间来完成,(★★★)表示这个练习题会很难。

清楚这些习题答案的可获得范围是非常困难的。得到习题解答对自学者来说是非常有帮助的,然而一些课程教师却要求解答只能通过出版商获得,以便于题目可以在课堂上使用。为尝试解决这些矛盾的需求,那些帮助描述书中要点或者补足重要细节的练习题,它们的解答可以去本书的网站上以PDF文件的形式获得。这些练习题在网站中指出。而剩下的习题解答是课程教师通过联系出版商来获得(联系方式在本书网站中给出)。我们鼓励读者独立的完成练习题,只有在需要的时候才去求助于解答。

虽然本书主要讨论概念和原理,但在教学课程中,理想上学生们应该有机会用一些重要算法和合适的数据集来做一些实验。一本指南手册(Bishop and Nabney,2008)将会处理关于机器学习和模式识别的应用方面,一同的还有用Matlab软件实现的本书所讨论的大部分算法。

致谢

首先我要对Markus Svenśen表示真挚的感谢,他在准备本书所用图像以及用LATEX排版上做出了巨大的贡献。他的帮助是无法估价的。

我非常感谢微软研究院提供给了我高度促进的研究环境以及让我自由的来写这本书(本书所表达的是我自己的观点和见解,因此没有必要和微软及其附属机构的观点相同)。

在准备本书的最后阶段,Springer提供了非常有用的帮助,感谢委任的编辑John Kimmel专业性的支持,同时感谢JosePiliero帮助设计封面和文本格式,还有感谢MaryAnnBricker在生产阶段的大量贡献。封面设计的灵感来源于AntonioCriminisi的讨论。

还要感谢牛津大学出版社允许我引用早期的一本书《Neural Networks for Pattern Recognition》(Bishop,1995a)。Frank Rosenblatt的1号感知机的图像复制自Arvin Calspan先进技术中心。我还要感谢Asela Gunawardana在图13.1处做的光谱图,同时感谢BernhardSchölkopf允许我使用的他的PCA核心代码画出图12.17。

很多人帮助校对了本书的草稿,并提供了一些建议和意见,包括Shivani Agarwal, Ce̒dric Archambeau, Arik Azran,Andrew Blake, HakanCevikalp, Michael Fourman, Brendan Frey, Zoubin Ghahramani, Thore Graepel,Katherine Heller, Ralf Herbrich, Geoffrey Hinton, Adam Johansen, MatthewJohnson, Michael Jordan, Eva Kalyvianaki, Anitha Kannan, Julia Lasserre, DavidLiu, Tom Minka, Ian Nabney, Tonatiuh Pena, Yuan Qi, Sam Roweis,Balaji Sanjiya,Toby Sharp, Ana Costa e Silva, David Spiegelhalter, Jay Stokes, Tara Symeonides,Martin Szummer, Marshall Tappen, Ilkay Ulusoy, Chris Williams, John Winn, andAndrew Zisserman。

最后,我想感谢一下我的妻子Jenna,在我写这本书的几年中,她给了我很大的支持。

  Chris Bishop

2006年2月于剑桥