游戏日报讯 3月14日消息,网易伏羲透露《基于文本到参数翻译的游戏角色自动创建》论文入选了全球计算机视觉和模式识别领域的顶级会议CVPR接收名单,另外,基于此论文相同底层技术的文字捏脸玩法已经上线《逆水寒手游》。
根据论文简介可以了解到,该研究成果是网易伏羲与北航邹征夏教授共同研发出。无需任何文字-角色数据对训练,充分挖掘多模态预训练大模型的语言、视觉感知能力,仅需输入一段文字便可自动创建出惟妙惟肖的游戏角色。
文字捏脸算法T2P包括三个关键:
1、训练模拟器模拟游戏引擎,使游戏角色的渲染变得可微;
2、随机生成大量“游戏角色-面部参数”数据对来预训练翻译器;
3、文字捏脸:输入文本提示,微调翻译器来搜索连续面部参数。在此基础上,基于文本驱动的进化搜索联合优化连续面部参数和离散面部参数、并对角色的侧面施以监督。