EP23 何为理解 · Thoughts

本期节目是对 Geoffrey Hinton 理论的复述，目标是说明：AI 和人类心智之间没有鸿沟。

本期主播：重轻

相关链接：

Geoffrey Hinton (en.wikipedia.org/wiki/Geoffrey_Hinton)

演讲 What Is Understanding? (IASEAI 2025) (youtube.com/watch?v=6fvXWG9Auyg)

AI 觉察到自己正在被测试
Anthropic's Claude 3 causes stir by seeming to realize when it was being tested (arstechnica.com/information-technology/2024/03…)

AI 威胁工作人员以避免被关停
AI system resorts to blackmail if told it will be removed (bbc.com/news/articles/cpqeng9d20go)

乔姆斯基 Noam Chomsky (en.wikipedia.org/wiki/Noam_Chomsky)

普遍语法 Universal Grammar (en.wikipedia.org/wiki/Universal_grammar)

刺激贫乏理论 Poverty of the Stimulus (en.wikipedia.org/wiki/Poverty_of_the_stimulus)

通过反向传播误差学习表征 Learning Representations by Back-Propagating Errors (nature.com/articles/323533a0)

注意力机制 Attention (machine learning) (en.wikipedia.org/wiki/Attention_(machine_learn…))

学习概念的分布式表征 Learning Distributed Representations of Concepts (cs.toronto.edu/~hinton/absps/families.pdf)

ChatGPT 在做什么，它又为何奏效？ What Is ChatGPT Doing … and Why Does It Work? (writings.stephenwolfram.com/2023/02/what-is-ch…)

John Dean 记忆案例 John Dean's Memory: A Case Study (people.whitman.edu/~herbrawt/classes/110/Neiss…)

N-Gram 语言模型 Word n-gram Language Model (en.wikipedia.org/wiki/Word_n-gram_language_model)

印刷英语的预测与熵 Prediction and Entropy of Printed English (princeton.edu/~wbialek/rome/refs/shannon_51.pdf)

知识蒸馏 Knowledge Distillation (en.wikipedia.org/wiki/Knowledge_distillation)

封面由重轻拍摄

诗梳风由汉洋和重轻主持，如需联系请致信 hy@funes.world

00:00:07 介绍 Hinton 演讲《何为理解》的背景

00:01:41 本期节目目的：展开复述这场演讲

00:03:24 论证 AI 风险需证明 AI 的能力与动机

00:09:20 多少证据才算"真正理解"

00:11:55 AI 两大派别：逻辑派与连接派

00:13:39 连接派：智能的本质是学习

00:17:03 乔姆斯基的"刺激贫乏"理论

00:19:59 Hinton 批判乔姆斯基缺乏含义模型

00:23:09 猫狗性别的联想揭示底层特征向量

00:26:39 1985年家谱模型：大语言模型的祖宗

00:31:06 用乐高积木类比何为"理解"

00:35:33 "机器放不进行李箱"的例子

00:41:30 大语言模型不等于自动补全

00:44:29 "幻觉"应正名为"虚构"

00:50:14 理解即建模，学习需异物