连接主义模型是一种计算范式,通过由简单的、并行工作的单元组成的网络来模拟认知过程,这些单元之间的连接由加权边表示。
形式上,连接主义模型可以描述为有向图 \( G = (V, E) \),其中节点为 \( V \),加权边为 \( E \subseteq V \times V \),每个节点具有激活函数 \( f: \mathbb{R} \rightarrow \mathbb{R} \)。
状态更新通常通过以下方式进行
\[ a_j(t+1) = f\left( \sum_i w_{ij} a_i(t) + b_j \right) \]
其中 \( a_j(t) \) 是节点 \( j \) 在时间 \( t \) 的激活值,\( w_{ij} \) 是从节点 \( i \) 到 \( j \) 的连接权重,\( b_j \) 是偏置项。
学习基于诸如梯度下降的优化方法,以最小化训练数据上的误差度量。
连接主义模型构成了许多现代神经网络的基础,是理解分布式信息处理的核心。
定义:
“连接主义模型是计算结构,通过加权连接的网络化并行单元来表示认知功能,其中知识编码在连接权重中以分布式形式存在。”
来源:
Rumelhart, D. E., McClelland, J. L., & PDP Research Group (1986). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. MIT Press.