经产观察
IT资讯
IT产业动态
业界
网站运营
站长资讯
互联网
国际互联网新闻
国内互联网新闻
通信行业
通信设备
通信运营商
消费电子
数码
家电
网站运营

专访Yoshua Bengio:如何高效建立和运营一家机器学习实验室?

作者:habao 来源: 日期:2019-5-23 1:11:46 人气:

  人工智能和机器学习风靡全球,高校作为人才培养正在顶风而上,如何建立相关的实验室,“当家人”如何管理实验室才能最高效?关于这些问题,无论国内,还是国外的学者都在探索一条适合自己的道。本文选自Graham Taylor对Yoshua Bengio的专访,从他们的一问一答中,希望你能够获得一些经验和思考。

  Graham Taylor是CIFAR机器和大脑学习项目中的一名学者,也是圭尔夫大学工程学院的副教授。Yoshua Bengio是CIFAR机器学习项目的联合主任,同时也是大学计算机与运算系的教授,数据学习算法中心的研究。

  Yoshua Bengio (YB):在大学我曾经是唯一一个从事机器学习和神经网络研究的,我当时很有动力,对每一位学生都很负责。

  我利用了我在学校外的人际网络,一些是我博士后之前一起工作的同事。例如Geoff Hinton和其他在的人。和同领域的人交流是很重要的,因为我是学校里第一个研究这个领域的学者。

  YB:是的,在开始的七年里,我只用教授两门课。然后我当上了研究,就只负责一门课程。我认为一边承担教学重担一边建立实验室可能非常有挑战性。当我有了第二个孩子时,我开始后悔自己之前工作太拼命。我对于学校里的职位有点力不从心。现在往回看,我应该更好地平衡工作与生活。

  YB:没有,一个人也没有。可能我应该联系一些年长的教授,不一定是同领域的。如果我以前没那么害羞的话我会尝试获得更多反馈。我当时没有意识到这是可行的。新的教员应该扩展关系,建立联系。系里也鼓励大家那么做。资深教员们乐于做这些,虽然他们可能不会太主动 。

  YB:在我当教授的前十年里,我和Geoff Hinton有一些互动,虽然都是远程的。但是它们帮助了我把精力放在更重要的事情上。

  如果重来一次,我不会把注意力分散在不同方向,只顾当下的想法而长远的挑战。当你尝试立足的时候这很难,因为你会焦急地想发表更多论文来获得一些荣誉。但是你至少要花一些时间来专注于长期规划。如果你过度追逐荣誉和职位,很容易陷进去,从而错过一些重要的东西。我跟Geoff的讨论帮助了我意识到这点。

  GT:现在机器学习应用受到广泛关注,一些公司和合作者都带着项目来找你,你会认为这加剧分散了你的注意力吗?

  YB:每个人都有自己要走的。为了在某些领域变得擅长、取得突破,你必须成为一个专家。最好集中精力做一件事,然后变成这个学科界上最强的人。

  YB:在九十年代,工业界对神经网络和机器学习有很多兴趣。教育系统鼓励这样的跨界合作。为基础科学争取了很多资金。用项目中的资金资助长期的调查研究。这不是正规手段,但教育系统给基础研究提供的资金不足,无形中助长了这种事情的发生。我们应该赋予长期研究更多的价值,因为这将会带领我们看到更多AI领域的惊人进展。

  我开始的时候意识到,当你给类似自然科学和工程研究委员会(NSERC)写提议的时候,他们不太关心你是否会做提议上写的东西。他们只关心研究者几年后可以拿得上台面的东西。

  在研究中很难预测以后什么会火,所以灵活应变很重要。然而如果和一个公司签订协议帮他们做事的时候就不是这样了。因为你的主要目标变成让你的投资人满意。对于NSERC来说,关键就是做好的科研,发表,然后在研究道上保持灵活性。

  YB:帮助。早些时候我没有很多钱给我的博士后。选择博士后都是有足够知识量的,所以他们不用再花两年时间了解最新情况,可以帮助管理一些比较大的团队。

  我们做PhD的时候没有学习怎么管理和带领团队。一件对我有益的事情是,认识到学生中那些与生俱来的领导力。有一些博士生他们乐意并且善于管理。所以有时候他们不仅仅带一个学生,有些人经常好几个学生。

  YB:我的一个原则是找那些有机器学习相关的数学或者物理背景的人,这些人学习能力很强大。所以如果你想招一个两到三年的博士后,这些人是值得招的。他们不会在Google Brain之类的地方找到工作,因为他们还没有展现自己的机器学习能力。这种赌博通常对我来说很奏效。

  YB:如果他们来机器学习实验室并参与研究发表,会极大地提高他们在行业里的价值。如果这是之后他们想从事的,从博士后开始会容易得到更好的机会和待遇。

  当然这也看人。有些博士生不用当博士后就能取得很好的机会,对吧?在这种情况下,影响因素就会变成“你想要选择学术道吗”,因为不是人们唯一在乎的。如果是这样,那么做博士后就是一个好的选择:去学习学者是怎么工作的,参与到管理角色甚至是资金筹集中。

  产业不是一个同质性的东西。在基础研究实验室工作和在一个没有那么的地方工作有很大区别,你会成为一个为其他研究者工作的熟练技术员,或者为有很多开发任务的应用研究工作。产业中有很多不同种的工作,很少会是博士后会青睐的那种。

  GT:但是产业中的工作人数却似乎在增长。例如Google Brain,Deepmind,FAIR,你同意这种观点么?

  YB:取决于教授,和管理人员的经验。我一开始有三个人,现在有一个很大的团队。但是这都不可能是一步到位的。所以我渐渐学会了如何管理更多的人,建立基础设施,取得资助。

  你可以根据自己的速度拓展。有些人超过五六个学生就会觉得不舒服,那也没问题。当然当你有更多学生的时候你会发表更多文章,但是也意味着你在每个学生身上花的时间更少了,可能回报也会少一些。

  团队合作非常重要,或者说是不要用项目把每个学生分割开来,要保持灵活性来激发新的合作。这样他们跟教授就不会是一对一的关系,他们也会是大关系网中的一部分。

  YB:没错,这对大家都有利,如果信息反馈所依的那个人经常不在,会让团队感觉不安,但如果他们还可以依赖另外十位同事,这将给他们创造一个更丰富的沟通网。

  YB:物理上的亲近:学生要在实验室呆着,别在家工作。让他们能够地在你所的范围之外,与其他教授进行合作,开展新项目。尽量减少不同教授门下的学生之间的隐碍。让小组变大,学生可以无碍地与其他教师进行讨论。可以定期组织活动,如阅读小组,研讨会和外出拓展。

  GT:最近我跟个在美国工作的人聊了下共同监管,他告诉我,在美国,监管者的第一个主题是如何分配资金,但这种现象在还未出现。

  YB:这里的学生费用比美国低很多,这是个重要因素,对吧?但也许它也是一种文化重要的是不去考虑资金,优先考虑合作,且不设定期望值,跟资金和合作相关的另一因素是:我对预设协议没有信心。

  换句话说,如果我们事先达成正式协议了,你我共同监督学生,他们也在此规则下看站工作,那么台作将无从谈起。

  实际上是因为我们有共同的利益,我们定期交流,然后合作才水到渠成,对吧? 能抓住某些想法,是值得鼓励的。预设的协议关系,可能会运作的很好,但也可能像个车笼,住A和B的特定项目和他们之间的关系。而其实或许A和C之间的关系更和谐。

  比方说,在主实验室中,我们有一个不成文的概念,即有这么一个资金库,你可以与任何你想要的人合作并从中得到资助。

  YB:我的资金是共享的,但这并非是固有模型,只是说资深教授通常更容易获得资金,所以我自己申请了资金。合同也是如此。一天的工作结束,如果不需要为钱发愁,那么玩乐和探索将会主导我们的行为。星期四左眼跳

  GT:这一点比较重要,特别是对员来说,他们会考虑其他人未涉及领域的未来发展方向,或者在现有教师和高级会员的领域,是否还可以进行这种合作。

  YB:首先,这不仅仅研究,也是种宣传。去参加研讨会和会议,去参观其他实验室,主动些,不用等别人来邀请。你可以说“嘿,我来这儿做场怎么样?”然后整个领域的人都认识你了,如果你要走拨款的正规渠道,就会涉及到这些。

  这对招聘和教学都意义重大,教学的作用之一是你得让学生了解你,特别是你目已的研究生成者本科毕业组,可以聊些都关心的事,打好关系,这样你也清楚学生的优点,试着劝他们来你的实验室工作。

  我手下有些来自本科院校或其他地方的暑期实习生,通过这种方式,你可以了解一个人是否具有研究潜力。这比仅通过一次面试来招聘要保险些,毕寬你要跟这个人签5年合同的,不是吗? 去年这里有700个应用程序,今年可能会有1000个,再加上引进的几十个。所以你必须很有条理。

  YB:判断不了,只能在过了几年后才。通常情况是双方的期待值不匹配,这一点必须谨慎,要跟企业楚,学术人员可以做的是什么,重要的是,让他们明白学术不是廉价劳力,他们不生产产品,而是通过了不起的创意实现业务转型。所以企业要明白,这是投资的一部分,企业内部人员需要将算法和原型转变为产品,否则合作注定会失败,这意味着公司需要付出更高成本,避开不谈很容易,但你必须这么做。

   文章来源于850游戏博贝棋牌

关键词:如何学习运营