GPT-3（Generative Pre-trained Transformer 3）采用了Transformer架构，而Transformer中的多头注意力机制是其中一个核心组件。多头注意力机制可以让模型同时关注输入的不同部分，从而提高了模型对输入的理解能力。那么为什么GPT-3选择了96个多头呢？这主要涉及到模型性能和计算资源的平衡。

1. **模型性能：** 更多的注意力头意味着模型可以更充分地捕捉输入序列中不同位置的相关信息，这有助于提高模型对输入的理解和表征能力。通过使用更多的注意力头，模型可以更好地学习语言的结构和语义关系，从而提高生成和理解文本的能力。

2. **计算资源：** 使用更多的注意力头也意味着需要更多的计算资源来处理和学习这些头之间的关系。GPT-3作为一个庞大的神经网络模型，需要大量的计算资源来训练和推断。因此，在选择注意力头的数量时，需要权衡模型性能和计算资源之间的关系。

总的来说，GPT-3选择了96个多头注意力，是为了在充分提高模型性能的基础上，尽量平衡计算资源的利用。这种设置使得GPT-3在处理自然语言任务时表现出色，但也需要相当大的计算能力来支持。

在神经网络中，"feed back" 通常指的是反馈信号或反馈路径，它在神经网络中扮演着重要的作用。具体来说，反馈信号可以有多种作用，包括但不限于以下几点：

1. 训练中的反馈：在监督学习中，反馈信号被用于训练神经网络。通过比较模型的预测输出和实际标签之间的差异，可以计算出误差，并将误差信号通过反向传播算法反馈给网络的各层，从而更新网络的权重和参数，以使模型的预测逼近实际标签。这种反馈信号在训练过程中起着至关重要的作用，帮助网络不断调整自身以提高性能。

2. 动态系统中的反馈：在一些动态系统中，反馈信号可以用来调节系统的行为，使系统能够对外部环境的变化做出适时的响应。在神经网络中，反馈机制也可以用来调节网络的状态，使网络能够更好地适应输入数据的动态变化。

3. 循环神经网络中的反馈：在循环神经网络（RNN）中，反馈信号被用于将网络的先前输出作为下一个时间步的输入，从而使网络能够对序列数据进行建模。这种循环的反馈机制使得 RNN 能够具有记忆能力，能够处理具有时序关系的数据。

总的来说，反馈信号在神经网络中扮演着至关重要的作用，它可以用于训练网络、调节网络的状态以适应动态环境，以及实现网络对序列数据的建模能力。