导语:Meta发布了备受瞩目的Llama3开源大模型,领先于其他同类产品。此次开源预计将促进AI模型和应用生态的发展,未来还有更多令人期待的催化事件将陆续推出。与此同时,我们还可以关注一下AI产业链中的龙头企业,看谁能成为市场的领先者。
事件:4月19日凌晨,Meta发布了市场关注已久的Llama3开源大模型,并宣布基于Llama3模型的Meta AI助手现已覆盖 Instagram、WhatsApp、Facebook等全系应用并单独开启网站。本次Llama3开源了8B和70B两个版本,分别为8B和70B参数规模量级下的最佳模型,跑分分别领先于Gemma7B、Mistral7B一级GeminiPro1.5、Claude3 Sonnet,此外,Llama3目前还有400B版本正在训练中,跑分接近当下最强水平的GPT4Turbo和Claude3 Opus。
本次Llama3的研发相比前代有多个关键改进:①Llama3使用具有128K token词汇表的tokenizer,更有效地对语言进行编码,提高模型性能;②研究团队在8B和70B大小的模型上采用了分组查询注意力,提高推理效率;③在8192个token序列上训练模型,使用掩码确保自注意力不会跨越文档边界;④在预训练数据上,使用超过15T的 token 进行了预训练,等于前代的7倍多,并包含4倍多的代码,因此Llama3也拥有包括增强的推理和代码能力;⑤通过使用自定义训练库、Meta的超级集群和生产集群预训练等改进使得Llama3训练效率比前代提高约3倍。
我们认为,本次Llama3性能领先,同时在开源生态下,前代Llama2相当于GPT3.5水平,此次Llama3开源或将有望拉动整个AI生态的水平提升至GPT4水平,或将进一步推动和催化AI模型和应用生态发展。此外,后续值得期待的催化还包括,Llama3 400B发布、OpenAI GPT4.5、5和Sora发布等等。建议持续关注AI应用各细分行业。如果市场风格切换,传媒AI应用仍将是锋利的矛。
AI相关产业链
—微软Openai代理线:紫天科技、云赛智联、中科金财、易点云等
—AI影像:华策影视、慈文传媒、光线传媒、博纳影视、中国电影、上海电影、捷成股份、视觉中国等A股,美图公司、柠萌影视等港股。
—AI音乐:紫天科技、盛天网络、昆仑万维、腾讯音乐等
—AI阅读:中文在线、掌阅科技等A股,阅文集团等港股。
—AI营销:引力传媒、视觉中国、易点天下、蓝色光标、天地在线、因赛集团等。
—AI教育:南方传媒、皖新传媒、世纪天鸿等。
—AI游戏:恺英网络、神州泰岳、完美世界、三七互娱、巨人网络、紫天科技、游族网络、掌趣科技、昆仑万维、世纪华通、盛天网络、吉比特、姚记科技、电魂网络等A股,腾讯、网易、心动等港股。
—数据资源:中原传媒、中南传媒、凤凰传媒、新华文轩、浙版传媒、山东出版、中文传媒、时代出版等。
暂无评论内容