OpenAI在训练 GPT-3 模型时使用了分布式计算框架，这个框架的名字是 "Mesh TensorFlow"。Mesh TensorFlow 是由 OpenAI 开发的用于分布式机器学习训练的框架，它专门针对大规模模型的训练进行了优化，能够有效地利用多个计算节点的资源，实现对大型模型的高效训练。Mesh TensorFlow 提供了一种灵活、高效的方式来实现分布式机器学习，能够有效地处理大规模模型和大规模数据集的训练任务。

Mesh TensorFlow是一种用于分布式机器学习的框架，由OpenAI开发。它旨在简化大规模机器学习模型的训练过程，特别是针对包含大量参数的深度学习模型。

Mesh TensorFlow提供了一种灵活的编程模型，可以方便地在分布式环境中定义和训练复杂的神经网络模型。它支持在多个GPU和多个计算节点上进行并行计算，能够有效地利用分布式计算资源。

通过Mesh TensorFlow，用户可以轻松地定义复杂的模型结构，并利用分布式计算资源进行模型训练。它提供了高级的抽象接口，简化了分布式计算环境下的模型并行化和参数同步等复杂性问题，使得用户能够更专注于模型设计和训练算法的开发。

在OpenAI的工作中，Mesh TensorFlow被用于训练大规模的语言模型，如GPT-3，以及其他复杂的深度学习模型。它在分布式计算环境下的高效性能使得训练大规模模型变得更加可行和高效。

Mesh TensorFlow和PyTorch都是用于机器学习和深度学习的框架，它们各自有着不同的特点和适用场景。下面是它们的一些比较：

1. 编程风格：

- PyTorch采用动态计算图的方式，更加灵活，让用户可以像编写Python代码一样自然地定义和执行计算图。

- Mesh TensorFlow则更偏向于静态计算图，需要显式地定义计算图，这使得在一些情况下更容易进行优化和分布式计算。

2. 分布式训练：

- Mesh TensorFlow专注于分布式机器学习，在多个GPU和多个计算节点上进行并行计算，能够有效地利用分布式计算资源。

- PyTorch也支持分布式训练，但在一些方面可能没有Mesh TensorFlow那么直接和强大。

3. 社区和生态系统：

- PyTorch拥有庞大的用户社区和丰富的生态系统，有大量的开源项目、教程和文档，使得学习和使用PyTorch更加容易。

- 相对而言，Mesh TensorFlow相对较新，其社区和生态系统可能没有PyTorch那么成熟。

4. 应用场景：

- 如果你更倾向于动态计算图、易用性和丰富的生态系统，以及在单个节点上进行训练和实验，那么PyTorch可能更适合你。

- 如果你需要进行大规模的分布式训练，特别是对于大规模模型的训练，那么Mesh TensorFlow可能更适合。

总的来说，选择使用哪个框架取决于你的具体需求和偏好。如果你更关注动态计算图和易用性，可能更倾向于PyTorch；如果你需要进行大规模的分布式训练，那么Mesh TensorFlow可能更适合你。

截止到我所知的时间，OpenAI并没有将Mesh TensorFlow完全开源。Mesh TensorFlow是由OpenAI团队开发的用于分布式机器学习的框架，它在OpenAI内部被用于训练大规模的深度学习模型，如语言模型GPT-3等。

OpenAI一直在推动人工智能的研究和发展，并且积极参与开源社区，例如通过开源GPT模型的一部分以及其他研究项目。然而，关于Mesh TensorFlow的开源情况，截止到我所知的时间，OpenAI并没有公开宣布将Mesh TensorFlow完全开源。

请注意，以上信息可能已经过时，建议您查阅最新的消息和官方公告以获取关于Mesh TensorFlow开源情况的最新信息。