我们正在发布我们的大型语言模型 Grok-1 的基本模型权重和网络架构。Grok-1 是一个 3140 亿参数的专家混合模型，由 xAI 从头开始训练。
这是 2023 年 10 月结束的 Grok-1 预训练阶段的原始基础模型检查点。这意味着该模型不会针对任何特定应用（例如对话）进行微调。
我们将在 Apache 2.0 许可下发布权重和架构。
要开始使用该模型，请按照github.com中的说明进行操作。
型号详细信息
- 基础模型在大量文本数据上训练，未针对任何特定任务进行微调。
- 314B 参数 Mixture-of-Experts 模型，其中 25% 的权重在给定令牌上处于活动状态。
- 2023 年 10 月，xAI 使用 JAX 和 Rust 之上的自定义训练堆栈从头开始训练。
相关标签
数据评估
关于
Grok-1 特别声明
本站 自媒体维基提供的 Grok-1都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由 自媒体维基实际控制，在 2024年3月18日 下午9:24收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除， 自媒体维基不承担任何责任。
打不开?
- 建议用手机浏览器打开。微信/QQ可能屏蔽了该网站，首先保证网址是从浏览器/手机浏览器打开的，因为微信/QQ会屏蔽一些站。
- 建议使用不会屏蔽网址的浏览器。如果浏览器提示该网站违规，并非真的违规，而是浏览器厂商屏蔽了这个站。推荐原生态不会屏蔽网站的浏览器，苹果可以用自带的浏览器；安卓可以看以下推荐：
 |
 |
 |
 |
- 通常打不开都是因为网络问题。大型网站会针对三大运营商(电信、移动、联通)进行优化，小网站经常会遇到一些运营商问题打不开。一劳永逸的话，我们推荐使用加速器（将自己的网络切换成更稳定的运营商，比如电信）。部分境外网站需要魔法上网，比如ChatGPT和谷歌等。
- 以上三点均能解决99.99%网站打不开的问题。如有疑问，可在线留言，着急的话也可以加QQ社群，在群里@群主或管理员处理。
相关导航
暂无评论...
自媒体导航，集各行业所需优选网址、资讯、工具于一体的导航，简约优雅的设计风格，全面的前端用户功能，简单的模块化配置，欢迎您的体验！
