ChatGPT的技术基础分析*
钱力,刘熠,张智雄,李雪思,谢靖,许钦亚,黎洋,管铮懿,李西雨,文森

An Analysis on the Basic Technologies of ChatGPT
Qian Li,Liu Yi,Zhang Zhixiong,Li Xuesi,Xie Jing,Xu Qinya,Li Yang,Guan Zhengyi,Li Xiyu,Wen Sen
表1 GPT-n的基础预训练数据(单位:GB)[10]
Table 1 The Basic Pre-Training Data for GPT-n (Unit:GB)
模型 维基百科 书籍 期刊 Reddit链接 CommonCrawl
GPT-1 / 4.6 / / /
GPT-2 / / / 40 /
GPT-3 11.4 21 101 50 570