当前位置:千优科技>行业资讯>详情

机器学习领域读博这段旅程的一些感悟

2021-01-13 22:01:16 浏览:334次 来源:互联网 编辑:leo 推荐:人工智能

2020年是非常具有挑战性的一年,就我个人而言,也是一个重要的里程碑——从Cornell大学获得计算机科学博士学位。这是一个六年的旅程,我作为机器学习研究人员的个人成长,从第一次被拒稿到识别出一个更广泛的研究前景,也发生在整个领域的快速增长和变化的背景下。

机器学习领域读博这段旅程的一些感悟

随着今年即将结束,我总结了一些我的思考以及从我的(机器学习)博士经历中学到的教训。我讨论的主题包括对未来的期望,在读博士期间常见的挑战(以及一些帮助挑战的策略),跟上论文发布的步伐,研究的社区性质并发展处一个研究愿景。我希望这些主题对指导博士和机器学习的研究有帮助!

对读博士的期望

在这篇文章的标题中,我将博士学位称为一段“旅程”,这是一个经常被低估的方面,尤其是那些刚从本科毕业的人(这也是我的经历)。典型的机器学习博士是相对非结构化的5-6年的时间,在这期间,不仅可以学习到如何做研究该领域的知识,你还能够开发出个人对特定问题的偏好。

这些不断变化的个人偏好将影响你决定从事的研究类型,甚至你博士之后选择的职业道路。但尤其是在读博士的初期,很难预测这些个人观点将如何演变。

就我而言,开始读博士时,我完全假定自己会留在工业界,读了一段时间后,我开始认真考虑学术界的问题,最后做出了一个非常艰难的决定:拒绝学术界的邀请,继续留在工业界。

所以进入博士阶段,有助于一步一步向前走,并专注于获得的经验(学习/研究/社区参与),而不是一个非常具体的期望结果(这很容易变化,也会添加不必要的压力。)

这个旅途中的一些常见的挑战

攻读博士学位是一个非常有益的经历,尤其是在机器学习方面,它提供了一个为理解基础科学和有影响力的技术部署做出贡献的机会。我非常感谢我的博士学位给了我很多机会去体验这两种体验!然而,博士学位的持续时间和非结构化也会使其具有挑战性。我的旅程肯定是有起有落的,在不同的时候,我挣扎于感觉到孤立,完全被卡住,甚至试图跟上快速进展的步伐而不知所措。回顾过去,通过与同龄人的讨论,我现在知道,不幸的是,这些低谷可能是相当普遍的。但因为这些经历是很多人共有的,所以也可以有一些策略来克服它们。下面我将讨论其中的一些经验和策略。

感觉完全被卡住

一个很常见的挑战就是感觉完全被卡住了,不管是在某个特定项目上还是在整个研究过程中。

如果你面临的挑战是一个具体的项目,你已经付出了很大的努力,但它仍然没有发挥作用,那么一些策略可能会有所帮助:

如果这种被困住的感觉源于更广泛的研究过程,那么我意识到的一个重要问题是,研究的成熟度往往很难衡量,尤其是在评估自己的时候!在读博士期间,我开始研究一些医疗保健应用,在学习该领域/撰写论文方面进展缓慢。这让我有一种停滞不前的感觉,并对研究进展的放缓感到有些沮丧。但是当我重新阅读一些我在读博士时第一次接触到的论文时,我能对它们的理解的深度和背景与之前截然不同。

研究成熟度的关键方面——理解结果的更广泛的背景,能够在不同领域之间形成联系,迅速缩小在你的子领域中的全新的关键贡献——无法立即转化为有形的产出(更多的论文)。但它们对于成为一个拥有丰富研究视野的独立研究人员至关重要——这可以说是博士学位的主要研究目标。如果你正在阅读论文,学习该领域的知识,并自己研究方向,(甚至可能是教学/指导)最有可能你在所有这些重要方面都取得了进展!

对跟上ML的进展感到不知所措

机器学习是一个充满活力、快节奏的领域。但另一方面,它会淹没在新论文、新预印本、新博客、新实现、新框架等的洪流中(有趣的统计:NeurIPS在过去的一年里有大约10000份提交和大约2k份被接受的论文——难怪我们会感到不知所措!)

我处理这件事的策略是:

记住以下几点也是有帮助的:(1)每个人都都对论文发表的速度感到不知所措,(2)许多论文可能依赖于相同的潜在观点,经常熟悉这个观点足以跟上这个领域。

感觉孤独

攻读博士学位的另一个常见挑战是与孤独感作斗争。在我读博士的头几年,一些项目要求我把注意力集中在非常狭窄、具体的问题上,这也是非常费力的,而且(感觉)是永无止境的。在那些时候,我很难不觉得自己与其他研究人员和更广泛的领域完全隔绝,我非常感谢我的博士导师的支持和指导,让我度过了这一难关。

更广泛地说,这种情况很常见,尤其是在攻读博士学位的早期阶段,你可能同时在学习如何从头到尾看待一个研究项目,同时与更广泛的研究领域/社区的背景和联系更少。与该领域/社区保持联系有助于确保你不会感到孤立。这可以包括:(i)与(高级)学生/博士后的合作,(ii)获得对你的工作进步的反馈——这可能来自你的顾问/实验室,但也可能是来自其他同行/导师,(iii)积极参与更广泛的社区,无论是通过简单地参加会议,指导或组织研讨会。

3个有用的个人的小技能

在讨论了博士阶段所面临的一些共同挑战以及帮助解决这些挑战的方法之后,本文的其余部分将概述一些对研究进展有益的考虑因素。

特别是,我将从三个我认为在整个博士生涯中非常有帮助的个人技能开始:主动性,专注力和毅力。这当然是基于我的个人经验!但对我来说,本科生,博士项目的一个关键区别是是否需要采取行动——这是否意味着阅读重要的相关论文,做快速初步的不同方法的可行性的研究,与同行做相关研究,甚至参加并积极参与会议。因为攻读博士学位的时间基本上都是非结构化的,所以是否富有成效很大程度上取决于你学习和进行研究的主动性。

另外两个我发现非常有用的技能是专注和毅力。在开始一个新的研究方向时,专注力非常有助于细读相关工作,提炼重点,从初步的探索中快速学习,确定主要的项目方向。另一方面,坚持不懈对于完成研究项目是非常有用的,(尤其是)在准备提交的论文中,经常有一长串的编辑/补充,在提交后,进一步编辑以回应同行评审和拒稿。要集中精力进行所有这些编辑是很难的(尤其是准备再次提交论文,还有更新、更有趣的项目正在进行时),但同行评审过程的可变性通常意味着值得坚持下去。

在论文和想法上做笔记

在我的PhD期间,有两个文档,一个是第一年开始的,一个是第三年开始的,我一直在更新。第一种是记录我读过的论文——每当我读到一篇新论文时,我就把它添加到文档中,并附上我的简短总结。文件现在已经超过50页了(这可能意味着我应该切换到Mendeley或Paperpile),这是一种非常有用的方式,让我可以快速地翻回我几年前读过的文件并获取要点。另一份文件记录研究思路。每次我有了有希望的新想法,我就把它记下来。随着时间的推移,这有助于我的研究方向和突出关键主题。

社区的重要性

我花了很长时间才意识到(机器学习)研究的一个重要特性,那就是研究从根本上来说是一项社区努力。我们要解决的问题是非常困难的,而进步依赖于你借鉴别人的想法,别人借鉴你的想法的循环。在探索研究方向时,这是一个需要牢记的关键因素。社区对什么感到兴奋,为什么?有缺点或差距吗?接下来的研究是否有自然的步骤?

花时间与社区中的同行讨论这些问题和其他问题,对于开发见多识广、相关性强的研究问题是至关重要的。如果你发现了一个令人兴奋的、对该领域感兴趣的新研究方向,围绕这个方向建立一个社区通常是有用的——这可以通过发起合作、传播关键的开放问题和组织研讨会来实现。

早在我读博士的时候,我就对理解现代深度学习系统展示的关键经验现象很感兴趣。但当时研究这个课题非常具有挑战性。该领域发展迅速,使任何类型的分析的焦点都成为一个移动的目标,并显著增加了围绕这个主题构建新社区的挑战。所以,发表我的第一篇深度学习分析论文相当困难,这绝对是一种坚持不懈的行为!但从那时起,见证这一令人兴奋的研究领域的发展并为其做出贡献是一件非常美妙的事情!

发展研究视野

虽然我前面所描述的,当开始读博士时,最好是把事情一步一个脚印的推进,注重体验,而不是一个具体的目标,从研究成熟的角度来看,博士要有一个明确的目标:让你的独立研究者,有丰富的研究的视野。

在目前的机器学习研究中,随着论文的泛滥,人们很容易对持续大量发论文需求感到压力。但是,虽然论文写作是一项重要的技能,我认为研究成熟度的关键测试是能够在你的领域有知识渊博的视角,这有助于识别关键的研究问题,并与总体主题——研究愿景联系起来。

拥有一个完善的研究视野是非常有动力的。打个比方,这有点像完成一个“数码绘画”工具包:你不再只是看到每个正方形像素的颜色,而是突然去欣赏整个画面。

那么,如何发展研究视野呢?

首先,从我的博士生涯来看,我认为如果没有几年的研究经验,就很难形成一个成熟的研究愿景。我记得在我读博士的头几年,我读过一些论文,看过一些资深研究人员的演讲,我很沮丧,因为我几乎不能识别/阐明有趣的研究问题。在那之后的几年里,我读过的所有论文、做过的项目、参加过的研讨会的综合效应,极大地提高了我在这方面的能力。(当然还有改进的空间!展望未来,随着我获得更多的背景和对更大的子领域的理解,这种能力将继续发展。)

更具体地说一下形成(更完善的)研究视野的阶段:它始于探索,我最初的几个项目让我接触到各种各样的东西,帮助我理解我发现的本质上有趣的东西。从那以后,自然就有了后续的项目要研究,最终也引出了一些应用/部署方面的相关问题。所有这些都开始汇聚在机器学习设计和部署中的人工智能交互这一广泛主题下,而且,正如研究愿景擅长做的那样,也激发了新的问题。(我非常感谢我的博士导师,在这一切中给予我的深刻见解、指导和鼓励!)

最后一点,我想强调的是,多年的经验确实具有复合效应。当你在研究的项目上工作时,就更容易识别出研究论文的突出思想,这为你的下一个项目给出个人观点和前途相关的思考,并使得这些未来的项目更容易被吸收,然后再回过来帮助确定新的有趣的研究方向,并最终合并形成更广泛的视野。

总结

总之,读博是很有成就感的。然而,这是一段旅程,有起有落,有个人发现,有(研究)视角的演变。我非常感谢我博士期间的丰富经历,希望这篇文章能对其他人有所帮助!

标签:机器学习技术人工智能

版权声明:文章由 www.e1000u.com 整理收集,来源于互联网或者用户投稿,如有侵权,请联系我们,我们会立即处理。如转载请保留本文链接:https://www.e1000u.com/article/10257.html