如何画不同数据的损失？

[WGS-note]

Reminder

• I have read the README and searched the existing issues.

System Info

我看到了一个 channel loss 的概念，描述如下：

channel loss：不同数据 channel 各自的 loss。也就是说假设 1 个 batch 有 100 条数据：40条 en，30 条 cn， 20条 code， 10 条 domain，那么就绘制四条不同 channel 的 loss 曲线和一条总的 total loss 曲线。

Reproduction

我觉得这是一个不错的思路，不光单独的看一个总损失，通过各个领域数据的损失可以看模型对它们的拟合程度，从而去重点优化。

Expected behavior

我不清楚要如何修改。

Others

No response

[yingweima2022]

好问题。

[Alwin4Zhang]

刚看到channel loss就过来搜搜，发现还没实现

[delingha]

Reminder

• I have read the README and searched the existing issues.

System Info

我看到了一个 channel loss 的概念，描述如下：

channel loss：不同数据 channel 各自的 loss。也就是说假设 1 个 batch 有 100 条数据：40条 en，30 条 cn， 20条 code， 10 条 domain，那么就绘制四条不同 channel 的 loss 曲线和一条总的 total loss 曲线。

Reproduction

我觉得这是一个不错的思路，不光单独的看一个总损失，通过各个领域数据的损失可以看模型对它们的拟合程度，从而去重点优化。

Expected behavior

我不清楚要如何修改。

Others

No response

简单的做法可以把不同channel eval数据分为不同dataset，改动data/loader.py中eval_dataset为一个字典形式

[WGS-note]

谢谢回复大家的回复，我fork了lamafactory已实现完：https://github.com/WGS-note/LLaMA-Factory @delingha @Alwin4Zhang @yingweima2022 @fenglui

[Abigail61]

请问支持使用wandb进行记录吗？

[Alwin4Zhang]

🐂 bee

[Alwin4Zhang]

谢谢回复大家的回复，我fork了lamafactory已实现完：https://github.com/WGS-note/LLaMA-Factory @delingha @Alwin4Zhang @yingweima2022 @fenglui

话说，能更新一下llama factory底层的代码不？ 目前我看还是不支持liger kernel，然后fa的版本支持的也比较低