普通程序员如何正确学习人工智能方向的知识?
“互联网+”已经发展的差不多了，应有尽有，空间不大，下个浪潮会不会是“AI+”?那么作为一个普通程序员，如何提前向人工智能(AI)靠拢?
知乎用户回答知乎用户
1556人赞同了该回答
说说我学习深度学习的经历吧，从开始学习到现在大概有4个月，只能算新手，刚好可以回答新手问题。
先说编程：自认会用C++， 熟悉Python
英语水平：中等，能很快读懂英文科学文献
最开始对人工智能/深度学习感兴趣是因为想用它试一试自然语言生成，后来想到一个物理方面的题目，预计可以用深度学习技术解决，开始接触深度神经网络。记录一下学习历程，
1. 安装 Tensorflow(google 开源的深度学习程序)， 尝试里面最简单的例子MNIST 获得激励。
2. 之后尝试通过读书(看视频)理解最简单的全连接神经网络
先搜索找到答案：为什么要Go Deep?
(1)神经网络中输入层，隐藏层，输出层之间矩阵乘积的维度变化。
(2)Weight， Bias 这些是什么，改变它们有什么结果。
(3)激励函数是什么，有什么作用，有哪些常用的激励函数
(4)误差如何向后传递，网络如何通过最小化误差函数更新，有哪些常用的优化方法
以上这些在一本交互式电子书中可以找到答案：
Neural networks and deep learning
(5) 如何对权重正规化，L1, L2, BatchNormalization, (这些在以后真正应用的时候再看)
Deep Learning chapter 7 for L1, L2 regulation.
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift (2015) original paper for BN
why does batch normalization help? Quora
Note for BN in Chinese
Implementing Batch Normalization in Tensorflow from R2RT
Layer normalization (2016) Replace Batch Normalization in RNN
Why Does Unsupervised Pre-training Help Deep Learning?
Summary and discussion on pre training
3. 选择一种比较比较底层的神经网络开源库，tensorflow 或 theano,
(1) 读官方文档 https://www.tensorflow.org/versions/r0.11/tutorials/index.html
(2) 看周莫凡的网络教程 https://www.youtube.com/user/MorvanZhou
(3) 重复敲代码，重复实现例子程序
4. 开始理解各种不同神经网络架构所能处理的问题
(1) CNN 图像识别，图像处理，语音处理
(2) RNN，LSTM 自然语言理解与生成
(3) 增强学习，玩游戏 ：)
5. 尝试各种开源的有意思的神经网络项目，新手可以从下面这个列表开始
(1)Andrej Karpathy blog char-rnn, Deep Reinforcement Learning: Pong from Pixels
(2) Neural Style In tensorflow.
6. 如果能**，注册 *******, ******** 账号，follow 那些文章中经常出现的大牛的名字。他们每天提供很多新动向及最新技术，很多时候有很 Fancy的应用。试试从这个大牛follow的人开始follow
https://*******.com/karpathy
当你对这些都很熟悉的时候，开始阅读艰深的文献：
1. CNN 的原始文献
2. RNN 和 LSTM 的原始文献
3. Reinforcement Learning 的原始文献
4. Google DeepMind 发表在 Nature 上的几篇经典
最后推荐一个高级点的库： Keras Documentation
虽然这个库还在发展阶段，里面仍有不少bug，但前途不可限量，可以很容易实现你之前读文章时候见到的那些复杂的构架。作为例子，这里有个教程：
Deep learning book in ipython-notebook and Keras Many example code in Keras.
这些学习历程中遇到的资料都记录在了我的个人note里，希望大家共勉：
http://web-docs.gsi.de/~lpang/
最后强调一个最最重要的事情：要有自己的想法，有将这种新技术用到自己项目中的强烈愿望，从开始就要Coding，不断尝试才能不断进步。
(看了很多其他的回答，在这里想补充一段)
说实话，作为一个其他行业(物理，工程，化学，医学，农业，卫星地图识别，网络安全领域，社会科学)的普通程序员，在本行业有比较深的理论和实验背景，能接触到海量数据(无论是传感器数据，互联网数据还是蒙特卡洛模拟数据)，想做处一些创新***叉性的工作，这一轮人工智能的风绝对是要跟的。
作为一个计算机专业的人，可能觉得机器学习，人工智能，深度学习已经炒的过热了。但是对于其他领域，可能大部分人还没有想到把最基本的机器学习算法如：PCA，SVM，k-means...运用到本行业积累的大数据上, 更不要说最近的深度学习。
作为其他行业的普通程序员(除了数学与理论物理)，我们不要指望从理论上彻底解决深度学习现存的问题。我们的优势不在这里，我们的优势是计算机专业的人所没有的专业知识，行业大数据。我们需要做的是把机器学习，深度神经网络当作工具，知道它们能做什么，如何去做。参考Andrew Ng 的机器学习笔记，
Machine Learning - complete course notes
举几个简单的例子：
1. 使用深度学习中生成风格化图片的技术，制备具有特定功能的抗癌药物
The cornucopia of meaningful leads: Applying deep adversarial autoencoders for new molecule development in oncology
2. 使用反常探测，寻找网络攻击 Cyber-attacks prediction
3. 对于国家来说，更加聪明的互联网关键词过滤
4. 自动探测卫星地图上道路，建筑，车辆，河流。。。
5. 环境科学中寻找雾霾与众多可能因素的非线性关联
我们用卷积神经网络来区分量子色动力学相变是crossover还是一阶相变。(1年之后回来修改)回答这个问题的时候，文章刚刚写好，最近文章已经在《自然-通讯》Nature Communications 杂志发表，网上公开链接是 An equation-of-state-meter of quantum chromodynamics transition from deep learning ， 希望能给坚持在这个方向，做 AI + X 交叉学科应用的同学带来精神上的激励。
talk: http://starmeetings.physics.ucla.edu/sites/default/files/pang.pdf
编辑于 2021-01-23 13:55:10
子实
有趣的灵魂满街都是，完美的肉体万中无一
6449人赞同了该回答
本人码农，从六月开始正式接触机器学习(其实五年前的本科毕设就是在生物信息领域应用神经网络的项目，但是非常浅薄)，深吸一口气，先要声明“人之患在好为人师”，我用的步骤只是适合我，下面的内容仅供参考。
第一步：复习线性代数。(学渣的线代忘了好多-_-||)
懒得看书就直接用了著名的——麻省理工公开课：线性代数，深入浅出效果拔群，以后会用到的SVD、希尔伯特空间等都有介绍;
广告：边看边总结了一套笔记 GitHub - zlotus/notes-linear-algebra: 线性代数笔记。
第二步：入门机器学习算法。
还是因为比较懒，也就直接用了著名的——斯坦福大学公开课 ：机器学习课程，吴恩达教授的老版cs229的视频，讲的非常细(算法的目标->数学推演->伪代码)。这套教程唯一的缺点在于没有介绍最近大火的神经网络，但其实这也算是优点，让我明白了算法都有各自的应用领域，并不是所有问题都需要用神经网络来解决;
多说一点，这个课程里详细介绍的内容有：一般线性模型、高斯系列模型、SVM理论及实现、聚类算法以及EM算法的各种相关应用、PCA/ICA、学习理论、马尔可夫系列模型。课堂笔记在：CS 229: Machine Learning (Course handouts)，同样非常详细。
广告：边看边总结了一套笔记 GitHub - zlotus/notes-LSJU-machine-learning: 机器学习笔记
第三步：尝试用代码实现算法。
依然因为比较懒，继续直接使用了著名的——机器学习 | Coursera ，还是吴恩达教授的课程，只不过这个是极简版的cs229，几乎就是教怎么在matlab里快速实现一个模型(这套教程里有神经网络基本概念及实现)。这套课程的缺点是难度比较低，推导过程非常简略，但是这也是它的优点——让我专注于把理论转化成代码。
广告：作业参考 GitHub - zlotus/Coursera_Machine_Learning_Exercises: Machine Learning by Andrew Ng from Coursera
第四步：自己实现功能完整的模型——进行中。
还是因为比较懒，搜到了cs231n的课程视频 CS231n Winter 2016 - YouTube ，李飞飞教授的课，主讲还有Andrej Karpathy和Justin Johnson，主要介绍卷积神经网络在图像识别/机器视觉领域的应用(前面神经网络的代码没写够?这门课包你嗨到爆~到处都是从零手写~)。这门课程的作业就更贴心了，直接用Jupyter Notebook布置的，可以本地运行并自己检查错误。主要使用Python以及Python系列的科学计算库(Scipy/Numpy/Matplotlib)。课堂笔记的翻译可以参考 智能单元 - 知乎专栏，主要由知友杜客翻译，写的非常好~
在多说一点，这门课对程序员来说比较走心，因为这个不像上一步中用matlab实现的作业那样偏向算法和模型，这门课用Python实现的模型同时注重软件工程，包括常见的封装layer的forward/backward、自定义组合layer、如何将layer组成网络、如何在网络中集成batch-normalization及dropout等功能、如何在复杂模型下做梯度检查等等;最后一个作业中还有手动实现RNN及其**LSTM、编写有助于调试的CNN可视化功能、Google的DeepDream等等。(做完作业基本就可以看懂现在流行的各种图片风格变换程序了，如 cysmith/neural-style-tf)另外，这门课的作业实现非常推崇computational graph，不知道是不是我的幻觉……要注意的是讲师A.K的语速奇快无比，好在YouTube有自动生成解说词的功能，准确率还不错，可以当字幕看。
广告：作业参考 GitHub - zlotus/cs231n: CS231n Convolutional Neural Networks for Visual Recognition (winter 2016) (我的在作业的notebook上加了一些推导演算哦~可以用来参考:D)
因为最近手头有论文要撕，时间比较紧，第四步做完就先告一段落。后面打算做继续业界传奇Geoffrey Hinton教授的Neural Networks for Machine Learning | Coursera，再看看NLP的课程 Stanford University CS224d: Deep Learning for Natural Language Processing，先把基础补完，然后在东瞅瞅西逛逛看看有什么好玩的……
PS：一直没提诸如TensorFlow之类的神器，早就装了一个(可以直接在conda中为Tensorflow新建一个env，然后再装上Jupyter、sklearn等常用的库，把这些在学习和实践ML时所用到的库都放在一个环境下管理，会方便很多)，然而一直没时间学习使用，还是打算先忍着把基础部分看完，抖M总是喜欢把最好的留在最后一个人偷偷享受2333333(手动奸笑
PS**2：关于用到的系统性知识，主要有：
线性代数，非常重要，模型计算全靠它~一定要复习扎实，如果平常不用可能忘的比较多;
高数+概率，这俩只要掌握基础就行了，比如积分和求导、各种分布、参数估计等等。(评论中有知友提到概率与数理统计的重要性，我举四肢赞成，因为cs229中几乎所有算法的推演都是从参数估计及其在概率模型中的意义起手的，参数的更新规则具有概率上的可解释性。对于算法的设计和改进工作，概统是核心课程，没有之一。答主这里想要说的是，当拿到现成的算法时，仅需要概率基础知识就能看懂，然后需要比较多的线代知识才能让模型高效的跑起来。比如最近做卷积的作业， 我手写的比作业里给出的带各种trick的fast函数慢几个数量级，作业还安慰我不要在意效率，岂可修!)
需要用到的编程知识也就是Matlab和Numpy了吧，Matlab是可以现学现卖的;至于Python，就看题主想用来做什么了，如果就是用来做机器学习，完全可以一天入门，如果想要做更多好玩的事，一天不行那就两天。(贴一个Python/Numpy的简要教程：Python Numpy Tutorial，是cs231n的课堂福利。)
我感觉机器学习的先修就这么点，记得Adobe的冯东大神也说过机器学习简直是21世界的黑科技——因为理论非常简单但是效果惊人的好。
====
既然提到好玩的，墙裂推荐 Kaggle: Your Home for Data Science ，引用维基上的介绍：
Kaggle是一个数据建模和数据分析竞赛平台。企业和研究者可在其上发布数据，统计学者和数据挖掘专家可在其上进行竞赛以产生最好的模型。这一众包模式依赖于这一事实，即有众多策略可以用于解决几乎所有预测建模的问题，而研究者不可能在一开始就了解什么方法对于特定问题是最为有效的。Kaggle的目标则是试图通过众包的形式来解决这一难题，进而使数据科学成为一场运动。
编辑于 2016/12/5 15:09:11
知乎用户
1226人赞同了该回答
排名较高的几个回答有一些问题：1.起点较高，不适合题主所问的普通程序员;2.资源很多，但是没有主次之分，全部学习的话时间久，难度曲线也高低不平;3.缺乏对AI领域的介绍，AI并不仅仅是机器学习。本人也算是一名普通程序员，也刚转入AI领域，因此结合自身经验，想回答这个问题。我的回答有以下特色：较为简单，介绍学习资源不多，但有主次之分。
一. 本文的目的
本文的目的是给出一个简单的，平滑的，易于实现的学习方法，帮助“普通”程序员踏入AI领域这个门。这里，我对普通程序员的定义是：拥有大学本科知识;平时工作较忙;自己能获取的数据有限。因此，本文更像是一篇 “from the scratch” 的AI入门教程。
二. AI领域的特点
AI，也就是人工智能，并不仅仅包括机器学习。曾经，符号与逻辑被认为是人工智能实现的关键，而如今则是基于统计的机器学习占据了主导地位。最近火热的深度学习正是机器学习中的一个子项。目前可以说，学习AI主要的是学习机器学习。但是，人工智能并不等同于机器学习，这点在进入这个领域时一定要认识清楚。关于AI领域的发展历史介绍推荐看周老师写的《机器学习简介》。下面一个问题是：AI的门好跨么?其实很不好跨。我们以机器学习为例。在学习过程中，你会面对大量复杂的公式，在实际项目中会面对数据的缺乏，以及艰辛的调参等。如果仅仅是因为觉得这个方向未来会“火”的话，那么这些困难会容易让人放弃。考虑到普通程序员的特点，而要学习如此困难的学科，是否就是没有门路的?答案是否定的。只要制定合适的学习方法即可。
三. 学习方法
学习方法的设定简单说就是回答以下几个问题：我要学的是什么?我怎样学习?我如何去学习?这三个问题概括说就是：学习目标，学习方针与学习计划。学习目标比较清楚，就是踏入AI领域这个门。这个目标不大，因此实现起来也较为容易。“过大的目标时就是为了你日后放弃它时找到了足够的理由”。学习方针可以总结为 “兴趣为先，践学结合”。简单说就是先培养兴趣，然后学习中把实践穿**来，螺旋式提高。这种方式学习效果好，而且不容易让人放弃。有了学习方针以后，就可以制定学习计划，也称为学习路线。下面就是学习路线的介绍。
四. 学习路线
我推荐的学习路线是这样的，如下图：
这个学习路线是这样设计的：首先了解这个领域，建立起全面的视野，培养起充足的兴趣，然后开始学习机器学习的基础，这里选择一门由浅入深的课程来学习，课程最好有足够的实验能够进行实战。基础打下后，对机器学习已经有了充足的了解，可以用机器学习来解决一个实际的问题。这时还是可以把机器学习方法当作一个黑盒子来处理的。实战经验积累以后，可以考虑继续进行学习。这时候有两个选择，深度学习或者继续机器学习。深度学习是目前最火热的机器学习方向，其中一些方法已经跟传统的机器学习不太一样，因此可以单独学习。除了深度学习以外，机器学习还包括统计学习，集成学习等实用方法。如果条件足够，可以同时学习两者，一些规律对两者是共通的。学习完后，你已经具备了较强的知识储备，可以进入较难的实战。这时候有两个选择，工业界的可以选择看开源项目，以改代码为目的来读代码;学术界的可以看特定领域的论文，为解决问题而想发论文。无论哪者，都需要知识过硬，以及较强的编码能力，因此很能考察和锻炼水平。经过这个阶段以后，可以说是踏入AI领域的门了。“师傅领进门，修行在个人”。之后的路就要自己走了。
下面是关于每个阶段的具体介绍：
0. 领域了解：在学习任何一门知识之前，首先第一步就是了解这个知识是什么?它能做什么事?它的价值在什么地方?如果不理解这些的话，那么学习本身就是一个没有方向的舟，不知道驶向何处，也极易有沉船的风险。了解这些问题后，你才能培养出兴趣，兴趣是最好的引**，学习的动力与持久力才能让你应付接下来的若干个阶段。关于机器学习是什么，能做什么，它与深度学习以及人工智能的关系，可以看我写的博客 从机器学习谈起。
1. 准备工作：如果你离校过久，或者觉得基础不牢，最好事先做一下准备复习工作。“工欲善其事，必先利其器”。以下的准备工作不多，但足以应付后面阶段的学习。
数学：复习以下基本知识。线性代数：矩阵乘法;高数：求导;概率论：条件与后验概率。其他的一些知识可以在后面的学习的过程中按需再补;
英文：常备一个在线英文词典，例如爱词霸，能够不吃力的看一些英文的资料网页;
**：可以随时随地上Google，这是一个很重要的工具。不是说百度查的不能看，而是很多情况下Google搜出来的资料比百度搜的几十页的资料还管用，尤其是在查英文关键字时。节省时间可是很重要的学习效率提升;
2. 机器学习：机器学习的第一门课程首推Andrew Ng的机器学习 (Machine Learning - Stanford University | Coursera)。这门课程有以下特点：难度适中，同时有足够的实战例子，非常适合第一次学习的人。在 @子实 的回答下首推了cs229 (斯坦福大学公开课 ：机器学习课程) 这门课程，但我这里不推荐，为什么，原因有以下：
时间：cs229 的时间太早，一些知识已经跟不上当今的发展，目前最为火热的神经网络一笔带过。而Cousera上神经网络可是用了两个课时去讲的!而且非常详细;
教学：Ng在cs229 时候的教学稍显青涩，可能是面对网络教学的原因。有很多问题其实他都没有讲清楚，而且下面的人的提问其实也很烦躁，你往往不关心那些人的问题。这点在Coursera上就明显得到了改善，你会发现Ng的教学水平大幅度改善了，他会对你循循善诱，推心置腹，由浅入深的教学，在碰到你不明白的单词术语时也会叫你不要担心，更重要的，推导与图表不要太完善，非常细致清晰，这点真是强力推荐;
字幕：cs229 的字幕质量比Coursera上的差了一截。Coursera上中文字幕翻译经过了多人把关，质量很有保证;
作业：cs229 没有作业，虽然你可以做一些，但不会有人看。这点远不如Coursera上每周有deadline的那种作业，而且每期作业提交上去都有打分。更重要的是，每期作业都有实际的例子，让你手把手练习，而且能看到自己的成果，成就感满满!
3. 实践做项目：学习完了基础课程，你对机器学习就有了初步了解。现在使用它们是没有问题的，你可以把机器学习算法当作黑盒子，放进去数据，就会有结果。在实战中你更需要去关心如何获取数据，以及怎么调参等。如果有时间，自己动手做一个简单的实践项目是最好的。这里需要选择一个应用方向，是图像(计算机视觉)，音频(语音识别)，还是文本(自然语言处理)。这里推荐选择图像领域，这里面的开源项目较多，入门也较简单，可以使用OpenCV做开发，里面已经实现好了神经网络，SVM等机器学习算法。项目做好后，可以开源到到 Github 上面，然后不断完善它。实战项目做完后，你可以继续进一步深入学习，这时候有两个选择，深度学习和继续机器学习;
4. 深度学习：深度学习是目前最火热的研究方向。有以下特点：知识更新快，较为零碎，没有系统讲解的书。因此学习的资源也相对零散，下面是一些资源介绍。其中不推荐的部分并不代表不好，而是在这个初学阶段不合适：
推荐，UFLDL： 很详尽的推导，有翻译，且翻译质量很高;
推荐，Deep learning (paper)：论文，高屋建瓴，一览众山小;
推荐，Neural networks and deep learning：由浅入深;
推荐，Recurrent Neural Networks： RNN推导初步学习的最佳教程;
不推荐，Neural Networks for Machine Learning - University of Toronto | Coursera：太难;
不推荐，Deep Learning (book)：面面俱到，但缺乏深入;
不推荐，CS231n：翻译与字幕问题;
5. 继续机器学习：传统的机器学习有如下特点，知识系统化，有相对经典的书。其中统计学习(代表SVM)与集成学习(代表adaboost)是在实践中使用非常多的技术。下面是相关资源：
推荐，机器学习：如果是在以前，机器学习方面的经典教材首推PRML，但现在周老师的书出来以后，就不再是这样了。首先推荐读周老师的书。这本书有一个特点，那就是再难的道理也能用浅显精炼的语言表达出来。正如周老师的名言：“体现你水平的地方是把难的东西讲容易了，而不是把容易的东西讲难，想把一个东西讲难实在太简单”;
不推荐，Pattern Recognition And Machine Learning：当前阶段不推荐。PRML是以贝叶斯的观点看待很多机器学习方法，这也是它的一大特色。但对于初学者来说，这种观点其实并无必要。而且此书没有中文翻译，当前阶段硬啃很容易放弃;
6.开源项目：当知识储备较为充足时，学习可以再次转入实践阶段。这时候的实践仍然可以分两步走，学习经典的开源项目或者发表高质量的论文。开源项目的学习应该以尽量以优化为目的，单纯为读代码而学习效果往往不太好。好的开源项目都可以在Github 里搜索。这里以深度学习为例。深度学习的开源优秀库有很多，例如torch，theano等等，这里列举其中的两个：
推荐，DeepLearnToolbox：较早的一个深度学习库，用matlab语言撰写，较为适合从刚学习的课程转入学习
推荐，tensorflow：Google的开源库，时至今日，已经有40000多个star，非常惊人。
7.会议论文：一般较好的课程都会推荐你一些论文。一些著名的技术与方法往往诞生于一些重要的会议。因此，看往年的会议论文是深入学习的方法。在这个阶段，如果是在校学生，可以选择某个课题，以发论文为目的来学习研究。一般来说，论文是工作的产物。有时候一篇基于实验的论文往往需要你写很多代码，利用一些开源项目。因此开源项目的学习与读会议论文的工作两者之间是有相关的。两者可以同时进行学习。关于在哪里看论文，可以看一下CCF推荐排名，了解一下这个领域里有哪些优秀的会议。下面介绍两个图像与机器学习领域的著名顶级会议：
CVPR：与另两个会议ICCV和ECCV合称计算机视觉领域的三大会。
Conference on Neural Information Processing Systems：简称NIPS，许多重要的工作发表在这上面，例如关于CNN的一篇重要论文就是发表在上面。
8.自由学习：到这里了，可以说是进入这个门了。下面可以依据兴趣来自由学习。前阶段不推荐的学习资源也可随意学习，下面是点评。
cs229 (斯坦福大学公开课 ：机器学习课程)：Ng写的讲义很不错，其中关于SVM的推导部分很清晰，想学习SVM推荐;
Neural networks (Neural Networks for Machine Learning - University of Toronto | Coursera )：大牛的视角跟人就是不一样，看看Hinton对神经网络是怎么看的，往往会让你有种原来如此的感悟。其实看这门课程也等同于读论文，因为几乎每节课的参考资料里都有论文要你读;
cs231n (CS231n: Convolutional Neural Networks for Visual Recognition)：最新的知识，还有详细的作业。国内应该有团队对字幕进行了翻译，可以找找;
PRML (Pattern Recognition And Machine Learning)：作为一门经典的机器学习书籍，是很有阅读必要的，会让你对机器学习拥有一个其他的观察视角。
五. 总结
本文的目的是帮助对AI领域了解不深，但又想进入的同学踏入这个门。这里只说踏入，是因为这个领域的专精实在非常困难，需要数年的积累与努力。在进行领域学习前，充分认识自己的特点，制定合适的学习方法是十分重要的。首先得对这个领域进行充分了解，培养兴趣。在学习时，保持着循序渐进的学习方针，不要猛进的学习过难资源;结合着学习与实践相辅的策略，不要只读只看，实际动手才有成就感。学习某个资源时要有充分的目的，不是为了学开源项目而看代码，而是为了写开源项目而看;不是为了发论文而写论文，而是为了做事情而写论文。如果一个学习资源对你过难，并不代表一定是你的问题，可能是学习资源的演讲或撰写人的问题。能把难的问题讲简单的人才是真正有水平的人。所以，一定要学习优质资源，而不是不分青红皂白的学习。最后，牢记以兴趣来学习。学习的时间很长，过程也很艰难，而只有兴趣才是让你持之以恒，攻克难关的最佳助力。