曾惨遭谷歌、特斯拉淘汰,辗转8个月,他是如何成为一名顶尖AI工程师?

  • 时间:
  • 浏览:139
  • 来源:世界杯买球盘口网址app

出品 | CSDN(ID:CSDNnews)

克日,一位在美国事情的俄罗斯小伙子,分享了已往自己 8 个月的求职履历,从物理专业结业后,就职于一家债务催收公司做数据与传统推荐系统工程。在自己开始对深度学习和盘算机视觉领域发生兴趣后,便想转投于此领域,可是由于自身在专业知识配景、技术与履历的不足与欠缺,让他在求职中到处碰钉子。

为了更好的弥足这些缺陷,期间他到场了许多 Kaggle 竞赛,也获得过很好的名次,甚至在一次竞赛事件中,在俄罗斯引起了一些关注度,可是正如他所说,这些都入不了 Google、DeepMind 这些知名企业与机构的高眼,与特斯拉也是失之交臂。可是,在这艰难与煎熬的 8个月时间里,他没有放弃,最终他喜提 Lyft 公司的 Offer。今天,我们就一起往返顾一下,Vladimir Iglovikov 对这段过往的叙述,也希望给那些在 2020 年,面临着同样烦恼与难题的小同伴们,一些思考与气力。

(泉源:Vladimir Iglovikov 小我私家博客)

2017 年,我想开启一段新的旅程

2017年1月,我在为TrueAccord公司打工,这是一家位于旧金山的债务催收平台公司。我的职责就是使用时间序列和表格数据构建传统的推荐系统。彼时,互联网上开始充斥一些形貌前沿技术——甚至可以胜过人类的深度学习模型的博客文章和论文,我的兴趣很快转移到了这个激感人心的新领域。

虽然我确实有一些深度学习方面的知识,但实践履历很是有限。在读研究生时,我很少有时机可以应用机械学习模型,但幸运的是我发现了Kaggle,使得我能够磨炼深度学习的专业知识。最终,我获得了Kaggle Master头衔,并在“超声神经支解”挑战赛中荣获金牌。这是Kaggle社区广泛运用深度学习架构UNet的首次挑战赛,也是在支解任务中将软Dice用做损失函数的首次挑战。

2017年之前,Kagge主要专注于举行表格数据类的竞赛,胜出方案往往涉及xgboost和其他经典机械学习算法的堆叠,很少有深度学习算法能取代这类技术。

到2017年,一切都发生了变化。深度学习越发趋向成熟,而且从学术界转向实际工业。Kaggle竞赛紧跟潮水,与成像相关的竞赛也更为普遍。

我很喜欢自己在TrueAccord公司的事情,但我更想获得一个深度学习相关的职位。然而我的技术库和知识配景,不足以我在谁人当下就能乐成转型:

我是物理专业的,而不是盘算机科学专业

我只有一年左右的事情履历

我的简历中没有任何与机械学习相关的论文

我的事情中不包罗任何盘算机视觉方面的项目

我在深度学习方面的知识很有限

基本上来说,我的情况和其他任何想要转变自己事情偏向的人别无二致。

因此,我不得不像其他人一样,想措施处置惩罚自己的逆境。方法很简朴:去面试。如果通过就乐成,不行的话就再多学些不相识的内容,然后重复前一步骤。希望在于,在有限次的迭代中获得乐成,就会幸运地获得期望的职位。

在此期间,我继续提高自己在深度学习方面的技术;阅读论文和博客文章,固然另有继续到场深度学习的竞赛。

从 Kaggle 竞赛到屡试屡败的面试

2017 年 3 月,我的努力开始收效,在与朋侪 Sergey Mushinsky 互助的 Dstl卫星图像特征检测挑战赛中,我们获得了第493名,两人共计获得2万美元的奖金。在这之后,我在二进制图像支解和多光谱图像方面的技术逐渐娴熟,相关文章和代码可以查阅:

论文地址:

https://arxiv.org/abs/1706.06169

我将奖金用于购置了第二个 GPU,之后我发现 Keras 在多 GPU 设置下不能很好地运行,然后我切换到 PyTorch,它仍是我如今深度学习框架的选择。然而乐成并非一蹴而就,与此同时我挂掉了 Descartes Labs的现局面试,另有其他几家。我知道自己还得继续努力,提高技术。

那阵子某个时间,我还收到了 NVidia 的面试邀请,也没过。所遇到的问题在于,我对 2D工具检测器的事情原理相识有限。幸运的是,DSTL 开启了“宁静通道”:在航空影像挑战赛中对交通工具举行检测和分类,重点就是2D检测。他们决议不用Kaggle托管,而是使用自建平台。

角逐有一条重要规则:“每小我私家都能到场,但需要持有护照并居住在少数几个国家或地域才气领取奖金。”我居住在旧金山,也在美国纳税,但由于我的国籍是俄罗斯的,是没有资格获得奖金的。这个不幸的事实我是知道的,但这个角逐仍然为工具检测器提供了名贵的实践履历,最后,在我的努力之下,我在角逐中获得了第二名。

数据科学的希望很大水平取决于广泛的国际社汇合作,我在 FB 和 Twitter 上表达了自己的看法,认为 DSTL 的规则与这些理念南辕北辙,但随着角逐灰尘落定,我也将之抛诸脑后,并继续自己的生活。但不知何以,这件事被往事重提了,还被俄罗斯新闻选中。不久之后我在俄罗斯的主要新闻媒体和电视频道的首页上都看到了自己的脸。

英国国防技术科学实验室为英国秘密情报局开发 AI 算法工具,而一位俄罗斯公民由于国籍被拒绝领奖,这是个好故事,俄罗斯媒体很快就发现了这一点。由于我不适应对着镜头接受采访,便拒绝了与记者对谈。但无济于事,他们将我的小我私家资料图片放在配景屏幕上,然后请来相关主题的“专家”揭晓卓识。

相关视频

https://www.youtube.com/watch?v=M7wpH4xwBIQ&feature=youtu.be

记者甚至联系了我怙恃——他们对机械学习、角逐和一切故事一无所知。我母亲告诉他们,怙恃是重要因素,但低估学校西席的影响可不明智。这种导向奏效了,记者们将问题带到了我的高中。

俄罗斯顶尖的科技公司之一 Mail Ru Group 决议使用这一时机做做公关,他们提议给我 1.5 万美元,相当于角逐的二等奖。我喜欢这个点子,但不以为公正——我明知角逐规则,并默认同意了自己没资格拿奖。

不外,我也很兴奋能在简历中增补一个奖项:荣获英国秘密情报局开发AI算法的奖项。我想到了一个更好的解决措施:我热爱理论物理学,也知道这个学科很难获得足够的资金,因此我要求将资金转给支持基础科学的俄罗斯基金会。

最后,皆大欢喜。Mail Ru Group 公司和我获得了正面的公关效果,俄罗斯基础科学获得了 1.5 万美元的资金,DSTL 也有念头对机械学习竞赛的规则制定三思后行。

这个故事引发了俄罗斯读者的关注,但在数日后烟消云散。在英文媒体中,只有一篇相关博客文章,也许这是最好的。

三个月求职依旧未果,与特斯拉的擦肩而过

很快从 3 月到了 6 月,我还没找到一份盘算机视觉相关的事情。

我列表上的下一家公司是特斯拉,由于我在 Kaggle 上获得的结果,招聘方联系了我,这事并不常见。我过了笔试、技术筛查和现局面试,下一步就是配景观察并由 Elon Musk 批准我的申请。但我败在这一步上了,招聘方告诉我,是因为我违反保密协议在一个论坛上谈论了面试历程。

简直是这样,我在 ods.ai 的一个频道上提到了自己在面特斯拉,但没有分享任何面试中的问题,不外理论上来说他们是对的,我记得特斯拉的保密协议相当严格,甚至克制高层谈论面试历程。

这次被拒让我很失落,能与 Andrei Karpathy 互助令人兴奋。甚至到了现在,已过了几年,我还是为自己造成的这种不良局势感应愧疚。希望未来能有时机为自己的行为致歉。

接下来是另一个竞赛——Planet:从太空相识亚马逊森林的Kaggle竞赛。这个问题太简朴了,不值得花太多时间在上面,只是小数据集的多标签分类而已。效果,我和另外6人一组,作为一个团队在一周内训练了480个分类网络,并将其堆叠,最终在938个团队中获得第7名。

竞赛的组织方是一家名叫 Planet Labs的公司,他们有一个深度学习的工程师职位开放招聘,我问了一下并应邀到场了面试,效果失败了,对方反馈我缺乏深入的深度学习知识。

八月中旬,在 7 个月的求职后,我开始不再像最初那样态度努力、信心满满了。我刚开始准备 Lyft 的面试,但心里认为,这一次最终会像其他数次那样以失败了结。

7 个月,求职失败,我用新的方法主动出击

我坐在床前,用一杯白兰地麻木自己的伤心,与此同时收到另一份拒信:

最近有一位谷歌员工推荐您担任Google Brain(美国)的研究科学家一职,经由对您配景和履历的仔细审查,我们决议暂时不再继续处置惩罚您的申请。

我开始失望,但我有种想法。每个倒霉境况,都有一些特殊举动可以解决。大多拒信都在简历筛选阶段,效果我没有时机展示自己的技术能力。为了制止这类问题,我决议在简历中增加深度学习的揭晓履历。

我联系了麻省理工学院的博士后 Alexey Shvets,并提出建议:

查找下一个具有竞赛的深度学习集会。

训练模型、建立提交内容,并获得提名(我认为如果人们花费数年研究某个问题,那么想要与他们公正正当竞争很是难题)。

为该学术数据集撰写一个预印本或者论文,形貌我们的解决方案。

他同意了,我们搜索了近期合适的集会,正巧三周内就会举行 MICCAI,其中有举行名为“内窥镜视觉挑战赛”的研讨会,有一些盘算机视觉竞赛,停止时间是 8 天后。

我们选择了第一个竞赛 GIANA。该问题有三个子挑战,在剩下的 8 个晚上,我调整了在 Kaggle 竞赛中使用过的系统,重构代码并训练了新模型。Alexey 撰写了方法形貌陈诉,我们坚信自己能泛起在榜单上,因此我并未真正多花时间在这些问题上。之后我们将提交的内容和陈诉发送给组织方,我认为这是我们小小冒险的终点。事实并非如此,Alexey 发现这个研讨会还举行了另一项角逐,叫做“机械人仪器支解”,共分三项子挑战,还延期了停止时间,4 天后竣事。他问我是否想要实验一下这些子挑战,我同意了,将自己关了 4 个晚上之后,我完成了代码、模型和预测。

这个竞赛另有个警告:必须有一名团队成员亲身到场MICCAI大会,并展示效果。最终效果仅会在大会上宣布。正好,我也从没去过魁北克甚至加拿大,因此我很乐于前往。

研讨会的日子到了,我在研讨会上见到了一大群由热衷医学影像的专家所组成的庞大社区,他们似乎相互相识。我谁也不认识,也没措施破冰,虽然我一直在学习深度学习和盘算机视觉,但对医学成像的所有细节对我还是新领域。

第一个竞赛的演示开始了,来自差别大学的团队纷纷先容了自己的解决方案,很难判断其优秀水平,但很显然他们都投入了大量精神。轮到我了,我站在讲台上,告诉听众们我并不是这个领域的专家,只是通过深度学习训练来应对这次竞赛,并为浪费他们的时间致歉,还展示了两张幻灯片。

组织方宣布了却果:

第一个子挑战——我们获得第一。

第二个子挑战——我们获得第三。

第三个子挑战——我们获得第一。

而且大赛全部结果的第一名。

(泉源:Vladimir Iglovikov 小我私家博客)

在第二个竞赛中,就是停止日期延后 4 天的那场,差别的团队展示了自己的解决方案,我们划分获得了:第一,第二,第一,整体第一 的结果。

至今我都记得这一刻,我站在现场,组织方正在准备支票和礼物。Alexey 和我获告捷利,脱颖而出,但我又不禁对这有些谬妄的效果感应沮丧。“为什么会这样?对于医学影像领域毫无相识的家伙在两个挑战中都获得了第一名?那些靠从事医学影像事情为生的人使用的模型差得多吗?”

我询问听众们:“你们知道我在那里事情吗?”除了一个查过我LinkedIn的组织者之外,没人知道。我告诉他们,我在 TrueAccord 公司事情,而且没有在事情中训练深度学习模型。我叹息自己无法挣脱这种情况,因为 Google Brain 和 Deepmind 的人力资源部甚至都不看我的简历。

在那场热情洋溢的演讲之后,观众席中有 Deepmind 康健团队的成员在中场时截住了我,问我是否有兴趣到场他们团队研究工程师职位的面试。

我相信这是有史以来首次,一个收债公司的人赢了医学影像角逐的冠军。

历经 8 个月后,好消息传来

不久之后,我接受了现在事情的公司 Lyft 的 offer,入职前我还到场了 Kaggle 的 Carvana Image Masking 竞赛,在 GIANA 中的方法让我吊在了榜单的最后 20% 位置上。新的想法不停发生,最终由 Vladimir Iglovikov、Alexander Buslaev 和 Artem Sanakoyeu 组成的团队拿到了 735 支团队的头名,代码和博客文章可以检察这里。

https://medium.com/kaggle-blog/carvana-image-masking-challenge-1st-place-winners-interview-78fcc5c887a8

那次竞赛是第一个社区纷纷开始在 UNet 类型的架构中使用预训练编辑器的大竞赛,现在已经成为规范了,有许多精彩的库供你选择,使用差别的预训练编码器来获得种种差别的支解网络。但在那时,这个想法还比力新,这个竞赛中我和Alexey提出了 TernausNet,但我们只是为了好玩才写的,却令人惊讶地成了我被引用最多的作品。

结论

八个月里,我在自己感兴趣的领域找到了一份精彩的事情,那段时间很是痛苦。当你实验新事物时,会犯错误,每次失败会感受自己很蠢,会不时对自己失去信心。但请记着,你正在学习新知识,而且所迈出的每一步都将使你越发靠近自己的目的。

已往的几年里,我在 Google 学术的小我私家资料中又增添了一些深度学习的论文。

https://towardsdatascience.com/how-i-found-my-current-job-3fb22e511a1f

【End】

热 文推 荐

小网站的容器化(上)

你点的每个“在看”,我都认真当成了喜欢