学习大模型训练的显存管理与混合精度
在上一篇中,我们学习了参数是怎么被一步步更新的:前向传播算出损失,反向传播沿计算图把梯度传回每个参数,最后 AdamW 用一阶、二阶矩估计对参数做更新。当时我们的注意力都在计算过程上,有一个问题被有意
言栖资讯收录 94642 篇 AI、开发与建站文章(中文),按发布时间排序,支持搜索与按语言筛选。
在上一篇中,我们学习了参数是怎么被一步步更新的:前向传播算出损失,反向传播沿计算图把梯度传回每个参数,最后 AdamW 用一阶、二阶矩估计对参数做更新。当时我们的注意力都在计算过程上,有一个问题被有意
关注我的朋友, 都知道我喜欢薅羊毛🐑 今天偶然发现QClaw页面显示送1000积分, 分享给大家 https://qclaw.qq.com 第一步, 打开QClaw https://qclaw.qq.
去年给一个日活百万的支付系统做性能优化时,我发现一个诡异的现象:某个核心接口的99线突然从200ms飙升到2s,但CPU和内存监控却毫无异常。最后定位到一个里的lambda表达式——看起来人畜无害的语
Cerebras 发布官方技术博客,以开源的 Kimi K3(约 3T 参数)为例,拆解万亿参
Google DeepMind 三位研究者发现 PyTorch、JAX、TensorFlow 沿用的 softmax/交叉熵标准
🌰栗子前端技术周刊第 151 期 (2026.10.19 - 2026.10.25):浏览前端一周最新消息,学习国内外优秀文章,让我们保持对前端的好奇心。 📰 技术资讯 ViteConf 2026:上
蚂蚁广见团队发布统一 OCR 基础模型家族 PolyOCR(2B/9B 通用 + 2.7B 多语言专用
Flutter 周末紧急发布了 Flutter 3.47.8 和 Dart 3.13.7 版本,因为最近印度老哥的骚操作被人扫出来, eMudhra 的 CA 证书密钥泄露,而泄漏的原因是因为它的证书
前面盘完接口、性能、APP、UI、安全五篇传统工具,群里果然有人来问,那 AI 呢,测大模型用什么,测 Agent 用什么。 问得正是时候。



《欧洲卡车模拟2》“冰岛”DLC将于11月11日发售。据悉,这项地图扩展将带来一条环冰岛的旅游风景线,连接一系列迷人的城市和偏远的定居点,它们都坐落在一个冰与火交织的世界里。雄伟的山脉、无尽的平原、险峻的悬崖、火山口、咆哮的河流和倾流而下的瀑布,这些都由我们的地图设计师精心重现。 开发者表示,这是一项绝无仅有的 DLC…
9月12日至13日,金砖国家领导人第十八次会晤在印度新德里举行。习近平主席在第一阶段会议上发表重要讲话,提出金砖国家要做“四大先锋”的重要主张。在国际力量对比深刻调整、新一轮科技革命和产业变革加速突破的时代背景下,“四大先锋”的重要主张释放出怎样的信号?发展阶段、资源禀赋差异较大的金砖国家应如何深化务实合作?开源人工智…
产业协作是促进东西部协调发展、实现区域优势互补的重要抓手。把东部的资金、企业和市场引到西部,只是第一步。东部地区的要素能否真正嵌入当地产业链、带动经营主体成长、形成可持续利益联结,更值得关注和探索。鲁甘协作立足甘肃特色农业资源禀赋,以全产业链培育为抓手,补短板、建园区、延链条,走出了一条产业造血、科技支撑、市场带动、机…