12个现实世界中的机器学习真相

  • 时间:
  • 浏览:0

缓存层次形态你也不固定的,你还要在这些 前提下工作,网络开销会让分布式训练调慢,在向量中都里都上能 塞入这麼多内容,等等。

与购物时的价格冲击例如于,工作饱含无“努力冲击”。大多数经验丰富的研究人员和工程师都经历过“努力冲击”,要么是你要大伙儿 低估了处理大型数据集的工程间题,要么是你要大伙儿 低估了正在与之搏斗的领域的繁杂性,要么是你要大伙儿 低估了对手。大多数论文让读者读起来着实事情很简单,而忽略了这手中是经过了几百万次失败才有的成功。你要,论文不是研究,也不 做研究的结果。你要这些 意味,你永远你要通过阅读论文来体验做研究的过程。

推测:这麼多人,有点儿是 ML 的新手,被花哨的模型名称冲昏了头脑,迫不及待地你要尝试它们,你要写关于它们的博客帖子,等等。我着实这就像一个多多多 初学写作的人。大伙儿 认为使用华丽的词语会使大伙儿 的写作更好,但经验会告诉大伙儿 你要 的。

9. 你永远不是是准备严重不足

你要问,科学研究和工程研究有什么区别?George A. Hazelrigg 在他的“HONING YOUR PROPOSAL WRITING SKILLS”中写道:

7. 你老会 要在你要 事情上做权衡

角落案例和长尾失败模式将困扰你。值得庆幸的是,对于你要 非关键的 ML 部署来说,这并不是什么大间题。最坏的具体情况下,它会成为两根搞笑的推文。你要,你要在医疗保健或你要 高风险具体情况下工作,ML 部署将你要成为一场噩梦。

生活中的每件事不是这麼,现实世界中的机器学习也是这麼。唉,大伙儿 的会议回顾了大伙儿 对“新颖性”的嗜好,产生了不你要的 arxi -spam,其中饱含了血块原先就不还要占据 的垃圾。除非做“科学”都都都上能 鼓励宣传什么是有效的,而不是什么是新的,你你要不认为这些 具体情况会改变。

你要 科学家会学习怎么上能 制定研究计划。很少有工程师是博士级别的工程师。让大伙儿 先试着理解科学研究和工程研究之间的区别。对我来说,区别很明显。科学家力图了解大自然的本质,以了解其根本的本质。为了做到这些 点,科学家通常剥离无关的影响,深入到一个多多多 非常狭窄的自然元素。这也不 大伙儿 所说的自然法则:能量和质量是一样的,每一个多多多 作用力都一个多多多多 大小相等、方向相反的反作用力,依此类推。有你要 自然法则,它们随时随地都适用。工程师遵循自然法则。大伙儿 别无选泽。大伙儿 的目标是设计出在自然允许的范围内工作的东西。要做到这些 点,大伙儿 还要都都都上能 预测系统的行为。你要 工程师们面临的一个多多多 大间题是,大伙儿 怎么上能 理解和预测一个多多多 系统的行为,在这些 系统中,所有的自然法则在任何你要都适用于任何地方。这是一个多多多 整合的间题,它就像找到一开始英语 的规律一样困难。每时每刻把所有的自然规律都考虑进去是不你要的。你要,工程师还要找到办法来选泽什么定律是重要的,什么都上能 忽略,以及怎么上能 近似什么在时间和空间上不是点儿要的定律。工程师不仅仅是预测未来。大伙儿 做出的决定偏离 是基于大伙儿 的预测,你要大伙儿 知道被委托人的预测不你要既准确又选泽。理解和应用数学不是点儿要。这包括概率论、决策理论、博弈论、最优化、控制理论和你要 数学在工程决策环境中的应用。这也是一个多多多 合理的工程研究领域。

原文发布时间:2019-12-31

本文作者:Delip

本文来自阿里云云栖号媒体商务合作伙伴“AI公园”,了解相关信息都上能 关注“AI公园”

对于既不构建生产 ML 模型也不 维护它们的人来说,机器学习中的你要 东西是永远无法删剪理解的。再多的课件,再多的 mooc,再多的 Kaggling,都无法你要为此做好准备。这麼什么都上能 替代部署模型、观察用户与模型的交互、处理代码/模型分解等等。

0. 你都一个多多多多 科学家

11. 每一个多多多 旧的想法不是以不同的名字和不同的形式被再次提出,不管它不是有效

推论:除非迫不得已,你要并不处理间题。

一个多多多 研究生或大型的超参数扫描器都上能 在一个多多多 巨大的数据中心中都上能 找到一组超参数,都上能 让非常繁杂的模型工作得很好,甚至产生优秀的结果。但这麼人在现实世界中调试这麼大的模型。我在帮助公司管理大伙儿 的 ML 团队时发现了一个多多多 秘密 — 大多数人谁能谁能告诉我/不关心超参数调优。

云栖号:https://www.aliyun.com/#module-yedOfott8

第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策!

5. 老会 有你要将多个独立的间题聚合成一个多多多 繁杂的相互依赖的处理方案,在大多数具体情况下,这是一个多多多 坏主意

当你在现实世界中工作时,有十几个 事实有了你还要面对的,这也是本文的主要内容。但这些 开场白是必不可少的。你要在现实世界中做 ML 研究,你是工程师而不是科学家。

端到端学习在理论上听起来是一个多多多 好主意,你要对于大多数部署场景,分段优化的管道架构将继续占据 。这并不意味大伙儿 将删剪这麼端到端系统(语音识别和机器翻译有很好的端到端生产价值处理方案),但在大多数具体情况下,具有可观察的调试路径将胜过你要 选泽。

速度 vs 内存,电池寿命 vs 准确性,公平性 vs 准确性,易于实现 vs 可维护性,……

2. 无论你怎么上能 努力,无论你的优先级是什么,你不是能提高光速

作为 ML 的研究人员和实践者,你还要考虑你拥有的数据的正确模型,而不是了你拥有的模型的正确数据集(就像你要 研究论文一样)。你要原先问过“这些 模型的正确数据集是什么”,这麼你并不是在现实世界中。到底什么是真实的世界?在现实世界中,你对要处理的数据是这麼选泽的。在这里,数据定义了间题,而不是相反。有时,在现实世界中,ML 实践者创建了一个多多多 被委托人的世界作为大伙儿 的建模游乐场,从而假装大伙儿 是“科学家”,例如于“创造发明”本身用于做 NLP 的语言,你要通过繁杂假设来创建封闭的环境来强化学习。什么研究得出了有趣的结果,但它们的范围仅限于它们所来自的世界,即使研究人员喜欢在论文中把它们当作适用于现实世界的东西来兜售。在现实世界中,输入的分布更有你要占据 变化,长尾的“curve balls”不知从何而来,你并不老会 有答案。

这都上能 和第 8 点结合起来,事实上任何远程调用的成功的模型你要这麼适当的计划,都你要你要自身的成功而崩溃。

12. 达到完美不是你要这麼什么都上能 补充的,也不 你要这麼什么都上能 去掉 的

10. 一个多多多 尺码不你要适合该人 ,你的模型会老会 犯令人尴尬的错误,尽管你的出发点是好的

Schimdhuber 你要提出了一个多多多 更大的观点。这麼人听他的,像他一样,大伙儿 把旧酒重新装进 去新酒瓶盖,被迫重复错误的历史。

云栖号:https://www.aliyun.com/#module-yedOfott8

第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策!

6. 把一个多多多 间题转移到别处,甚至是忽略它,都比处理它要容易得多

例如于,在语音方面,声学建模是困难的,但有了你要让网络在处理不同间题(例如于语音识别)的办法中找出什么细节。在 NLP 中,这麼进行正确的解析。但值得庆幸的是,对于 99%的现实任务,大伙儿 都上能 不进行解析。

3. 只要有足够的推力,猪就能飞得很高,然而,这本身是一个多多多 好主意

上个月,我在一个多多多 亲密的大伙儿 聚会上做了一个多多多 非正式的演讲,我把这些 题目记下来。这篇文章主也不 写给什么使用机器学习来构造东西的人,而不是什么研究机器学习的人,尽管后一组人会很好地倾听什么真理并反省大伙儿 的工作。

4. 生活中的你要 事情,除非亲身经历过,你要永远后该被删剪欣赏或理解

着实这听起来很简单,但我很惊讶有十几个 人,不管是新手还是有经验的人,都被你要 听起来很花哨的名字吸引住了,你要你要你要 东西来自 DeepMind、OpenAI、斯坦福大学、麻省理工学院等等。你要的模型着实都里里不利于在它们的环境和资源约束下处理大伙儿 的数据集和,这麼现实世界将无情地拒绝它。arXiv 上的你要 结果都里都上能 在少数数据集上工作,你要都里都上能 在都里都上能 谷歌基础设施支持的百兆级 gpu 上工作。帮社区一个多多多 忙,并不再发布什么一般性的结果了。它还都都上能 工作。这也是为什么我么我会 会 大伙儿 今天不考虑在这麼卷积神经网络的计算机视觉中做任何事情,你要为什么我么我会 会 大伙儿 很容易在序列模型中使用注意力的意味。它还要都都上能 工作。

1. 还都里都上能 工作

是的,着实大伙儿 的 title 是“科学家”,包括大伙儿 所有拥有博士学位的人,以及涉足这些 行业的学者。你要,机器学习(以及被委托人工智能应用领域,如 NLP、视觉、语音……)是一门工程研究学科(与科学研究相对)。

8. 一切都比你想象的繁杂