机器学习博士自救指南(严肃者慎入)_机器学习

关于如何攻读机器学习博士学位,这个嘛,主要是不要重蹈我的覆辙,哈哈。

你已经开始了博士的学习课程,恭喜恭喜。在这篇文章里,我们将讨论在攻读博士学位期间要做的事情,包括如何成功发表论文、如何应对评审、如何在会议上游刃有余等等。

首先,我要说一句,我不擅长攻读博士,我不是这方面的专家。我就快要拿到博士学位了,但我曾经做错了很多事情,绝不是一个成功的学者。但是,如果你也像我一样,在刚刚开始博士生涯时,并不知道该做什么,不知道如何选择研究主题,不知道如何撰写论文。那么,我或许可以给你提供点儿帮助。

我可以告诉你的是,我见过很多擅长此事(攻读博士)的人。因此,我可以告诉你这些人做对了什么,而我自己又做错了什么,以及我认为你应该学习的方面。

1 选择主题

在确定研究主题时,确保你的导师或者周围的师兄师姐们对这个主题有足够的经验。

当然,你的个人兴趣也很重要,毕竟你得待在自己挖的坑里好长一段时间。

最后,你得选择自己擅长或拥有足够专业知识的领域。

如果能够满足这三个条件,你的博士生涯将非常香。

不过,选择主题时,还需要考虑一些其它事项:

首先,拥有多少资源将决定你是否能够跨过某些研究领域的门槛。这里,我假设你的研究团队很普通,没有庞大的计算集群或大量资金,是的,我的建议就是针对非大型科技公司的相当普通的博士生。但是,如果你的团队很多金,坐拥成千上万的TPU,当我没说,当我不存在,训练你的大型语言模型去吧。

好了,回到正题,有两种基本方法可以选择研究主题。

第一个方法是选择当前该领域最热、最受关注的主题,没错,就是随大流。目前而言的话,这不一定是一个坏主意,我觉得泡沫破裂的时候也还没到,哈哈。

但是这种方式也有一些缺点。原因在于,在这样的领域种,会充斥着大量论文,不管水不水,同时也存在着激烈的竞争,竞争的压力不仅仅来自同行,还有来自大型公司的多金同行。但还有一个更重要的原因,就是这样的领域迟早会衰落。

如果你今天选择研究Transformer,那么很可能会在这个坑里挣扎三四年,而领域还在不断向前发展。

那么,如果不研究热门主题,该咋办?这就来到了另一种选择,即小众主题(niche topics),这也是我向大多数人推荐的主题。

机器学习博士自救指南(严肃者慎入)_机器学习_02

这类研究主题的优势在于周围没有太多竞争,你实际上可以在这个领域可以成为专家,并且无论做什么都可以做到最好。目前有哪些小众主题?比如bandits、优化、生物学启发神经网络、基于文本的博弈等等。

我是不说你就应该选择这些主题,而是说在这些小型社区,你可以进行持续地产出,不受炒作的影响。

2 应对审稿

好了,接下来是,如何发表论文?

现在,如果我不得不用一句话总结好论文的风格,那就是“写不能被拒绝的论文”,这可不像听起来那么简单。机器学习中的评审过程极大地鼓励了审稿人以尽可能快的速度,尽可能轻松的心情,来拒绝你的论文。

机器学习博士自救指南(严肃者慎入)_机器学习_03

所以,我们要做的是,不要给审稿人任何拒绝你的论文的理由。

撰写论文的最简单方法是按字面意义阅读论文。在你的小众领域内,收集文献,阅读,然后尝试模仿他们的写作风格,尝试模仿他们做实验的类型和方式,尝试模仿他们为其思想奠定理论基础的方式。

你的目标是撰写一篇审稿人不能轻易找茬的论文,审稿人是实现我们目标的最大障碍。

我就直说了,应对论文评审是攻读博士学位中最残酷的经历之一。审稿人很讨厌,他们总是没有时间,他们总是没有正确阅读论文,他们总是误解了,他们总是批评你没有对一些小众的数据集进行评估。我们总是被审稿人误解。

我可以告诉你的是,不要因不好的评审而灰心,不要对个别评审太认真,只需将论文重新提交下一个会议即可。

因此,保持你的理智,不要太过个性化。有许多著名的论文在初次投稿时就被拒绝了,并不是因为论文不好,而是因为审稿人很烂。

当你不再是菜鸟,段位变得越来越高时,你可能会活成你自己讨厌的人——审稿人。

3 成为审稿人

在审别人论文的时候,你才会发现,所有其他审稿人都糟透了,写的什么垃圾评审。好吧,你很可能禁不住诱惑也自甘堕落了。你在想,大家都审的那么烂,我那么努力干啥子,特别是当你好好地审论文也不会获得任何好处(除了一句谢谢)的时候。

当然,做一个好的审稿人真的非常非常困难。但是请努力,不仅是因为你不想同流合污,而且撰写出色的评审也可以帮助你真正地深入研究论文,真正看到其他论文的弱点,并且使你成为更好的作者、研究员和社区成员。

因此,为了你自己和社区,即使没有时间,即使其他人做的真的很烂,也请认真对待论文评审。

4 “认真”教学

读博士的另一件烦人的事很可能是教学。而且,你很可能没有什么动力去做好教学。毕竟,学生是“烦人”的生物,你越快地摆脱他们,你就越早可以开始写论文。

但是,我还是建议你认真对待教学,这不仅是因为这个世界依赖于下一代研究人员,还要考虑到你所教的人也许有一天会成为你的实验室成员,你将从他们的优秀能力中受益。因此,为了你自己和学生,请认真对待教学。

因此,除了需要做的事情(例如复习和教学)之外,你整天还要干什么?

我的答案是:

处理手头工作——撒尿——然后继续处理手头工作。

博士学位是头等重要的大事,是需要长期付出精力的一项工作。

在博士期间,你将被诱惑去做各种各样的事情。这有一个阅读小组、又有一个研讨会、一会儿还有一个演讲。

除非这些东西有特别的兴趣或者他们对你有特定的帮助,否则这将会是消磨时间,并不是说你不应该去参加它们,只是要考虑到它们对你的论文主题有没有什么实质性的帮助。

5 参加会议

现在你已经撰写了论文,并将其提交给同行评审。很幸运,你中稿了,并且可以参加会议了。

机器学习博士自救指南(严肃者慎入)_机器学习_04

会议本身、会议网站以及Twitter上的每个人都可能给你一种印象——人们发表有关他们的研究供其他人聆听和学习。

可是不容忽视的一点是,会议的演讲部分已经变得越来越无关紧要,尤其是现在这个时代,所有内容都已记录并可以流式传输,你只需在舒适的沙发上以2倍速看一下这些东西,就可以确保不会丢失任何东西。

这些讲座通常很简短,而且它们的讨论可能涉及至少六个月的研究。

参加会议最有趣的部分是那里的人,而且有趣的谈话往往发生在研讨会、小组讨论、tutorial中,试图找到讨论前沿研究的地方,而研讨会正是这样一个好地方,因为很多研究通常是最近才进行的、尚未完成,你在这里或许能收获很多不错的新idea,或者找到自己感兴趣的人。

机器学习博士自救指南(严肃者慎入)_机器学习_05

许多论文作者会面对面告诉你他们永远不会在论文上写下的东西,例如哪些实验跑不通、研究中的问题、论文的缺点、以及很多的bug和踩坑经验,在会场和人们聊天你会获得很多知识。

但是,做到这一点,你要保持开放大胆、张口说话、主动问好、走出第一步、积极地享受与人交流的过程。

我知道这对我们很多人来说都是很难的,但它确实有回报,它将使你的生活更加愉悦。

好吧,我接下来要谈的是实习,如果你要去另一家大学的公司实习,那完全取决于你的偏好。

6 实习

在不同的地方进行实习通常会给你带来不同的见解。

如果你在一家大公司实习,那可能是学术和产业环境的转变,你将可以使用更多的研究资源,并且可以进行一些不同类型的研究,最重要的是,你可以将会遇到不再是学者思维的一群人,那将是非常宝贵的体验。

机器学习博士自救指南(严肃者慎入)_机器学习_06

一旦你深陷学术界一段时间,结识一群只想打造出色产品的人群就会变得耳目一新,并让你真正了解到产品思维和目标导向。

7 合作

最后,我想谈谈合作的话题。如果你能找到一个对你有互补技能并且对同一领域感兴趣的人,那么一起工作并共同进行研究肯定会有所回报。

但是,仅当这些技能确实在同一领域能发挥作用时,才做这种事。与他人合作非常诱人,如果你能解决的话,对你有好处。但同样,一定要专注于你的特定领域,并真正将协作视为共同努力,以更快、更严格地完成研究,这是值得的。

机器学习博士自救指南(严肃者慎入)_机器学习_07

8 后记

好的,所以我现在讨论的方式,看起来像是博士学位令人厌烦且需要大量工作,而且你永远都做不到任何有趣的事情。尽管这是一个方面,并且这肯定会发生在人们身上,尤其是如果他们想快速完成工作,那么我敦促你也花一些时间来享受这段时间。

博士阶段是一段美好的时光,你将结识很多有趣的人,学习很多有趣的主题和思想,能够去很多有趣的地方。这些都是宝贵的体验。

因此,我的建议是,如果可以的话,不要一直忙绿工作,花半年或更长时间放轻松一点,enjoy your time,做好本职研究工作的你随时都可以找到工作的。

最后,我希望你从本文中至少学到了一些东西,祝福你在通往机器学习博士学位的道路上获得成功。

Cheers !

视频链接:

https://www.youtube.com/watch?v=rHQPBqMULXo&t=699s