ChatGPT的功能与技术

ChatGPT的背后离不开大模型、大数据、大算力，其技术底座使用的是微调后的GPT-3.5系列模型，有着多达1750亿个模型参数，OpenAI主要使用的公共爬虫数据集有着超过万亿单词的人类语言数据集。GPT-3.5在微软Azure AI超算基础设施上进行训练，总算力消耗约3640PF-days(即每秒一千万亿次计算，运行3640个整日)。

结合ChatGPT的底层技术逻辑，有媒体曾列出了中短期内ChatGPT的潜在产业化方向：归纳性的文字类工作、代码开发相关工作、图像生成领域、智能客服类工作。

ChatGPT受到关注的重要原因是引入新技术RLHF，RLHF解决了生成模型的一个核心问题，即如何让人工智能模型的产出和人类的常识、认知、需求、价值观保持一致。ChatGPT是AIGC技术进展的成果。该模型能够促进利用人工智能进行内容创作、提升内容生产效率与丰富度。

ChatGPT的使用上还有局限性，模型仍有优化空间。ChatGPT模型的能力上限是由奖励模型决定，该模型需要巨量的语料来拟合真实世界，对标注员的工作量以及综合素质要求较高。ChatGPT可能会出现创造不存在的知识，或者主观猜测提问者的意图等问题，模型的优化将是一个持续的过程。若AI技术迭代不及预期，NLP模型优化受限，则相关产业发展进度会受到影响。此外，ChatGPT盈利模式尚处于探索阶段，后续商业化落地进展有待观察。