想学习人工智能吗？

黑客和程序员学习人工智能的免费课程

 用 exlidraw 制作

那么，你想学习人工智能吗？但您不知道如何或从哪里开始？

早在 2020 年，我就在互联网上撰写了前 20 名免费数据科学、机器学习和人工智能 MOOC。但我意识到，做很多课程并不是正确的方法。

为了摆脱教程地狱并真正学习，你必须亲自动手，从头开始编写算法，实现论文，并使用人工智能做一些有趣的副项目来解决问题。

本文试图设计一个遵循这一理念的免费课程。我正在研究其中一些课程，所以如果您想一起学习，请通过 Twitter 或 Linkedin 联系！

另外，如果您觉得有什么遗漏，欢迎留言！

但首先，一些关于课程的注释和一些学习建议。

 自上而下的方法

本课程遵循自上而下的方法——首先是代码，然后是理论。

我出于需要而喜欢学习。因此，如果我必须弄清楚某件事、要解决的问题或要制作的原型，我会广泛获取所需的信息、研究、理解它，然后采取行动。

例如，我的目标是成为一名从基础层面理解 LLMs 的 AI 工程师，其中包括具备从头开始编写 Transformer 代码以及在 GPU 上微调 LLMs 等技能。我现在不能这样做，因为我的知识存在空白，我的目标是填补这些空白。

它也以 NLP 为重点；如果您正在寻找其他人工智能专业，例如计算机视觉或强化学习，请在下面发表评论或在 Twitter 或 Linkedin 上私信我。我会给你一些建议。

在我向你提供一堆链接之前，我希望在我开始学习任何东西之前有人告诉我两件重要的事情。

 在公共场所学习

有很多东西需要学习，而且你永远学不完，尤其是在人工智能方面，当每周都会发布新的革命性论文和想法时。

你可能犯的最大错误就是私下学习。如果你这样做，你就不会为自己创造任何机会。除了能够说你完成了某件事之外，你没有任何东西可以展示。

更重要的是你如何利用这些信息，如何将其转化为与公众分享的知识，以及从这些信息中得出了哪些新颖的想法和解决方案。

所以，你应该在公共场合学习。

这意味着要有创造的习惯。

 这可能意味着：

  • 撰写博客和教程
  • 参加黑客马拉松并与他人合作
  • 在 Discord 社区中提问和回答问题
  • 从事您热衷的副业项目
  • 发布有关您新发现的有趣事物的推文

谈到推特，

 使用推特

如果您关注正确的人并正确使用它，Twitter 就是当今任何人都可以使用的最高价值的社交平台。

跟随谁？请参阅 Suhail 的 AI 列表。

如何使用推特？阅读 Near 的《如何成功使用 Twitter》。

Twitter 上的 DM 人。要真诚、简短，并提出具体的要求。 Sriram Krishnan 撰写的关于如何撰写冷电子邮件的指南也适用于 DM。

如何发推文？阅读 Jason 的推文剖析，他是 Instructor 的创建者，几个月内粉丝数从 0 增长到 1.4 万。

如果您正在阅读本文，请在 Twitter 上关注我！

私信我告诉我你在做什么！我总是乐于在很酷的项目上进行合作。

现在让我们开始吧。

 目录

  •  数学
  • 工具 ∘ Python ∘ PyTorch
  • 机器学习 ∘ 从头开始编写 ∘ 竞争 ∘ 做副业 ∘ 部署它们 ∘ 补充
  • 深度学习 ∘ Fast.ai ∘ 多做竞赛 ∘ 实现论文 ∘ 计算机视觉 ∘ NLP
  • 大型语言模型 ∘ 观看神经网络：从零到英雄 ∘ 免费 LLM 训练营 ∘ 使用 LLMs 进行构建 ∘ 参加黑客马拉松 ∘ 阅读论文 ∘ 从头开始编写 Transformer。 ∘ 一些不错的博客 ∘ 观看 Umar Jamil ∘ 了解如何运行开源模型。 ∘ 快速工程 ∘ 微调 LLMs ∘ RAG
  •  如何保持更新
  • 您可能会发现有用的其他课程/清单

 数学

 达尔·E

机器学习在很大程度上依赖于数学的三大支柱：线性代数、微积分、概率和统计学。每个都在使算法有效运行方面发挥着独特的作用。

  • 线性代数：用于数据表示和操作的数学工具包，其中矩阵和向量构成算法解释和处理信息的语言
  • 微积分：机器学习优化的引擎，使算法能够通过理解梯度和变化率来学习和改进。
  • 概率与统计：不确定性下决策的基础，允许算法预测结果并通过随机性和可变性模型从数据中学习。

这是从程序员角度来看的关于 ML 数学的精彩系列：通过权重和偏差进行机器学习的数学（代码）

如果您想要采用代码优先的方法来学习线性代数，请观看 fast.ai 的创建者制作的计算线性代数（视频、代码）。

在课程旁边阅读《Python 应用机器学习的线性代数简介》。

如果你想要更传统的东西，可以看看伦敦帝国理工学院的讲座——线性代数和多元微积分。

观看 3Blue1Brown 的《线性代数精华》和《微积分精华》。

观看 StatQuest 的统计基础知识了解统计数据

 补充

  • 书籍：机器学习数学
  • 论文：深度学习所需的矩阵微积分

 工具

 达尔·E

Python

初学者从这里开始：实用 Python 编程。

如果您已经熟悉 Python，请执行此高级 Python 掌握

它们都是 Python Cookbook 的作者 David Beazley 的精彩课程。

之后，观看詹姆斯·鲍威尔的一些演讲

阅读 Python 设计模式。

 补充

  • 书籍：Fluent Python，第二版（代码）
  • 播客：真正的 Python 和谈论 Python

 火炬

 视频

  • PyTorch 教程，作者：Aladdin Persson

 官方的

 实践

 补充

  • 书籍：深度学习 PyTorch 编程

 机器学习

 达尔·E

阅读 100 页的机器学习书籍。

 从头开始编写

当你阅读时，从头开始编写算法。

查看下面的存储库

如果您想要挑战，请按照本课程从头开始编写 PyTorch。

  • MiniTorch：机器学习工程 DIY 课程（视频、代码）

 竞争

在比赛中应用您所学到的知识。

  • 参加 bitgrit 和 Kaggle 等平台上的 ML 竞赛；在这篇文章中找到更多内容。
  • 查看过去的获胜解决方案并研究它们

 做副业项目

阅读 Vicki Boykis 的《将机器学习运用到生产中》

她还写了她在构建 Viberary（一种书籍语义搜索）时所学到的知识。

获取数据集并构建模型（即使用 Earthaccess 获取 NASA 地球数据）。

使用 Streamlit 创建 UI 并在 Twitter 上分享。

 部署它们

获取生产中的模型。跟踪您的实验。了解如何监控模型。亲身体验数据和模型漂移。

这里有一些优秀的资源

 补充

 深度学习

如果你想要自上而下，请从 fast.ai 开始。

 快速人工智能

  • fast.ai（第 1 部分、第 2 部分）+ W&B 研究小组

喜欢 fast.ai？查看全栈深度学习。

如果您想要更全面的传统课程，请查看 François Fleuret 的 UNIGE 14x050 — 深度学习。

如果您在某些时候需要接触理论，这些都是很棒的书。

  • 深入研究深度学习（包含 PyTorch、NumPy/MXNet、JAX 和 TensorFlow 中的代码示例）
  • 深度学习 作者：Ian Goodfellow、Yoshua Bengio 和 Aaron Courville
  • 神经网络和深度学习
  • 了解深度学习（通过动手笔记本）

在手机上阅读《深度学习小书》，而不是滚动 Twitter。

在您的神经网络收敛时阅读这些内容。

 多参加一些比赛

  • PlantTraits2024 — FGVC11 | Kaggle（计算机视觉）

 实施文件

查看 labml.ai 带注释的 PyTorch 论文实现

Papers with Code 是一个很好的资源；这是 BERT 在他们的网站上的解释。

以下是深度学习专业领域的一些资源

 计算机视觉

很多人推荐 CS231n：计算机视觉深度学习。这很有挑战性，但如果你能克服它，那就值得了。

NLP

斯坦福大学的另一门精彩课程，CS 224N |深度学习自然语言处理

学习拥抱脸：拥抱脸NLP课程

好文章和细分

 补充

 大型语言模型

首先，观看 Andrej 的 [1 小时演讲] 大型语言模型简介。

然后是五个公式中的大型语言模型，作者：Alexander Rush — 康奈尔科技

观看神经网络：从零到英雄

它从从头开始解释和编码反向传播开始，到从头开始编写 GPT 结束。

神经网络：从零到英雄作者：Andrej Karpathy

您还可以在 60 Lines of NumPy | 中查看 GPT杰·莫迪，当你在做的时候。

 免费LLM训练营

由 Full Stack Deep Learning 免费发布的付费 LLM 训练营。

它教授即时工程、LLMOps、LLMs 的 UX，以及如何在一小时内启动 LLM 应用程序。

现在您已经渴望在本次训练营之后进行构建了，

 使用 LLMs 构建

想要使用 LLMs 构建应用程序吗？

观看 Andrew Ng 的《使用大型语言模型进行应用程序开发》

阅读 Huyen Chip 的构建 LLM 生产申请

以及构建基于 LLM 的系统和产品的模式，作者：Eugene Yan

请参阅 OpenAI Cookbook 了解食谱。

使用 Vercel AI 模板开始使用。

参加黑客马拉松

lablab.ai 每周都会举办新的人工智能黑客马拉松。如果你想组队请告诉我！

如果您想更深入地了解理论并了解一切是如何运作的：

 阅读论文

Sebastian Raschka 撰写的一篇关于理解大型语言模型的精彩文章，其中列出了一些您应该阅读的论文。

他最近还发表了另一篇文章，其中包含您应该在 2024 年 1 月阅读的论文，其中涉及米斯特拉尔模型。

关注他的子堆栈 Ahead of AI。

从头开始编写变形金刚。

阅读 Transformer 系列 2.0 版 | Lil’Log 的概述。

选择最适合您的格式并从头开始实施。

 纸

 博客

  • 从头开始创建 Transformer — 第一部分：注意力机制（第 2 部分）（代码）
  • 从头开始理解和编码大型语言模型的自注意力机制 作者：Sebastian Raschka 博士
  • 从零开始的变形金刚

 视频

您现在可以从头开始编写变压器代码。但还有更多。

观看这些斯坦福 CS25 — Transformers United 视频。

 一些不错的博客

 观看奥马尔·贾米尔

他有精彩的深入视频解释论文。他还向您展示了代码。

还有一些与 LLMs 相关的链接并不详尽。请参阅LLM教学大纲，了解LLMs的更全面的教学大纲。

了解如何运行开源模型。

使用 ollama：在本地启动并运行 Llama 2、Mistral 和其他大型语言模型

他们最近发布了 Python 和 JavaScript 库

 及时工程

阅读提示工程 |莉尔洛格

ChatGPT 为开发人员提供提示工程，作者：Ise Fulford (OpenAI) 和 Andrew Ng

DeepLearning.ai 还提供其他可以免费报名的短期课程。

 微调LLMs

阅读 Hugging Face 微调指南。

一本好的指南：微调 — GenAI 指南

 看看蝾螈。

这是一篇好文章：使用直接偏好优化微调 Mistral-7b 模型 |作者：马克西姆·拉博纳

RAG

Anyscale 的一篇精彩文章：构建基于 RAG 的 LLM 生产应用程序

Aman Chadha 对检索增强生成的全面概述

 如何保持更新

时事通讯 + 播客 + Twitter 的组合

如需论文，您可以关注 AK (@_akhaliq)

对于播客，我发现最好的是 Swyx 和 Alessio 的 Latent Space

 加入他们的不和谐。

他们还有一份时事通讯 Smol Talk，总结了所有重大的人工智能分歧。

我喜欢的其他一些时事通讯是：

 更多内容请参见本文。

您可能会发现有用的其他课程/清单。

我的清单并不详尽，但如果您仍然想找到更多，这里有一些。

我花了足够的时间来编写和组织这篇文章，但它的回报却是递减的。是时候学习和构建了。

希望这对您的 AI 之旅有所帮助！

如果您已经读到这里，请不要忘记联系或发表评论:)

请务必关注 bitgrit 数据科学出版物以保持更新！

想与其他数据科学家讨论数据科学和人工智能的最新发展吗？加入我们的不和谐服务器！

请关注下方的 Bitgrit，了解研讨会和即将举行的比赛的最新动态！

不和谐 |网站 |推特 |领英 | Instagram |脸书 | YouTube