
deepseek
DeepSeek 是一家创新型科技公司,成立于2023年7月17日,使用数据蒸馏技术,得到更为精炼、有用的数据。由知名私募巨头幻方量化孕育而生,专注于开发先进的大语言模型(LLM)和相关技术。
ColossalChat是由Colossal-Al推出的免费开源版ChatGPT聊天机器人替代品,目前其GitHub项目已斩获26K星标
作为当今领先的开源大型人工智能模型解决方案,Colossal A是第一个基于LLaMA预训练模型开源完整RLHF机制的公司,该机制包括监督数据收集、监督微调、奖励模型训练和强化学习微调,并共享ColossalChat一一与最初的ChatGPT技术解决方案非常相似的开源项目。
该开源项目包括以下内容
Demo演示:一个交互式演示,无需注册或加入等待名单即可在线试用训练代码: 开源完整的RLHF训练代码,包括70亿和130亿的模型。
数据集:开源104K中英文双语数据集
推理:仅需要4GB GPU内存便可进行70亿参数模型的4-bit量化推理
模型权重: 在单个服务器上只需少量计算能力即可实现快速复制。