最近微软的一份论文引起了广泛关注，该论文爆料了 GPT-3.5 的参数规模仅为 20B，这与之前公开宣布的 GPT-3 的 175B 相去甚远。这一消息让大家纷纷感到惊讶，ChatGPT 的性能是否能够与如此小的参数规模相匹配呢？这一发现引发了大规模的讨论和猜测，令人瞩目。

微软的这篇论文不仅带来了关于 GPT-3.5 参数规模的重大揭示，还提出了一个参数仅有 75M 的小规模模型——CodeFusion。这一模型主要用于代码生成任务，具有令人印象深刻的性能。尽管参数相对较小，CodeFusion 在 top-1 准确率方面能够与那些庞大的模型相媲美，例如 350M-175B 模型。这为小型模型的潜力提供了强有力的证据。

CodeFusion 的模型架构经过了两个关键阶段的训练：无监督预训练和有监督微调。在无监督预训练阶段，CodeFusion 利用未标记的代码片段来训练降噪器和解码器，同时使用可训练的嵌入层 L 将代码嵌入到连续空间中。在有监督微调阶段，CodeFusion 使用文本-代码对数据进行微调，调整编码器、降噪器和解码器，以提高性能。此外，CodeFusion 还借鉴了关于文本生成的研究成果，将解码器的隐藏表示 D 融入模型，以进一步改进性能。这个模型还引入了噪声，以确保生成的代码片段符合预期标准。

尽管微软的论文揭示了 GPT-3.5 的参数规模，但一些问题仍然未解。例如，GPT-4 和 GPT-3.5 之间的技术联系以及它们是专家集成模型还是通用模型的问题仍待进一步研究。此外，GPT-3.5 的参数规模是如何实现的，是通过更大模型的蒸馏还是更多数据的训练，这些问题需要进一步的开源研究才能揭开谜团。

总之，微软的论文不仅揭示了 GPT-3.5 的真实参数规模，还展示了小型模型在代码生成任务中的潜力。这一发现将进一步推动自然语言处理领域的研究和创新。