Skip to content

Commit

Permalink
✨ feat: update 2024-04-07 section
Browse files Browse the repository at this point in the history
  • Loading branch information
Jiacheng787 committed Apr 6, 2024
1 parent df185a4 commit 193da89
Showing 1 changed file with 2 additions and 0 deletions.
2 changes: 2 additions & 0 deletions blogs/2024/2024-04-07/index.md
Original file line number Diff line number Diff line change
Expand Up @@ -11,6 +11,8 @@ tags: []

## 🌟 AI 相关

[《CMAT: 与GPT3.5相媲美的1.8B Agent模型和框架》](https://mp.weixin.qq.com/s/srCgwrjlggVlSwtOzU6iQw)。本文主要介绍了一种与 GPT3.5 性能相匹那的1.8B Agent 模型和框架。提出了 TinyAgent 模型和多代理合作调整 (CMAT) 框架,通过环境反馈驱动的权重调整,增强了语言代理的能力。尤其突出了 TinyAgent-7B模型,虽然参数量不多,但是其性能达到了与 GPT-3.5 相当的水平,显示出大型语言模型在精效方面的巨大进步。同时,文章还详解了 CMAT 框架的运行机制和优势,利用高质量数据集进行训练和 LoRA 方法进行优化,显著提升了模型的性能和应用创新。

[《谷歌更新Transformer架构,更节省计算资源!50%性能提升》](https://mp.weixin.qq.com/s/Xqnv2L9X4KRkfpTaw7B0SA)。Google更新了Transformer架构,发布了Mixture-of-Depths(MoD),它通过动态分配计算资源来跳过不必要的计算,大幅提高了模型的训练效率和推理速度。论文展示了使用MoD的模型在减少每次向前传播所需的FLOPs的同时,步进速度可提高50%。这种方法不仅节约了资源,更在提升性能方面展现出巨大潜力,特别是在大模型的训练和推理中,使得计算资源的分配更为精确和高效。这项研究由DeepMind和麦吉尔大学共同开展,主要贡献者是David Raposo和Adam Santoro。

[《人工智能机器学习算法总结--1.线性回归算法(单变量及多变量)》](https://mp.weixin.qq.com/s/XMrbHWIUDELs8NqOEqR-aA)。本文作者深入介绍了线性回归算法的原理和步骤,从数据准备、模型假设、模型建立、模型评估到预测,涵盖单变量和多变量线性回归。详述了如何通过特征缩放、增加假设函数中的截距项、以及梯度下降法等技术来优化回归模型。同时,探讨了代价函数的计算和模型参数的优化过程,包括正规方程和梯度下降法的对比以及正则化的应用,以提高模型泛化能力,防止过拟合。
Expand Down

0 comments on commit 193da89

Please sign in to comment.