Feature/support qwenvl glm4-v phi3-v(conflict resolving)

[marko1616]

What does this PR do?

Fixes #4375

Before submitting

• Did you read the contributor guideline?
• Did you write any new necessary tests?

[marko1616]

终于还差一个image的padding处理就能做好训练支持了。

[marko1616]

@hiyouga 改的比较多捏，有空帮忙看看这个实现思路行不行。谢谢。

[marko1616]

成功跑了训练。

[BUAADreamer]

暂时先不要引入更多模型，把现有的三个模型完善好，控制diff🤗 @marko1616

[marko1616]

暂时先不要引入更多模型，把现有的三个模型完善好，控制diff🤗 @marko1616

oaky，现在确实在测试别的训练模式。

[marko1616]

TODO

• Remove unique compute loss for latest glm4v.
• Do more test to phi3v.
• Move visual_inputs_type to template.
• preprocess_unsupervised_dataset support.
• pairwise_datase support.
• feedback(KTO) support.
• DPO test.
• Eval test.
• Vllm support(If can).

[marko1616]

你说的这个版本应该是可以运行的。glm4v没有使用任何新特性好像。如果遇到问题欢迎随时报告。 Get Outlook for Android<https://aka.ms/AAb9ysg>

…

________________________________ From: Coding Steven ***@***.***> Sent: Thursday, July 11, 2024 11:37:17 AM To: hiyouga/LLaMA-Factory ***@***.***> Cc: marko1616 ***@***.***>; Mention ***@***.***> Subject: Re: [hiyouga/LLaMA-Factory] Feature/support qwenvl glm4-v phi3-v(tested) (PR #4377) glm4v官方的demo要求的transformer版本低于您的transformer版本要求,导致无法兼容，我现在是4.40.2，请问下您的版本？ ― Reply to this email directly, view it on GitHub<#4377 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AKZ2M5MWLAEZCHBEZBIAKUDZLX4W3AVCNFSM6AAAAABJSALHYGVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDEMRRHE2TGMZQGA>. You are receiving this because you were mentioned.Message ID: ***@***.***>

[chocoded]

在sft训练时，eval步骤出现问题：
File ".../TuningFactory/src/llmtuner/train/sft/workflow.py", line 98, in run_sft
metrics = trainer.evaluate(metric_key_prefix="eval", **gen_kwargs)

...

File ".../glm-4v-9b/modeling_chatglm.py", line 1035, in forward
full_attention_mask = self.get_masks(inputs_embeds, past_key_values, padding_mask=attention_mask)

File ".../glm-4v-9b/modeling_chatglm.py", line 835, in get_masks
full_attention_mask = full_attention_mask * padding_mask.unsqueeze(1)
RuntimeError: The size of tensor a (1623) must match the size of tensor b (24) at non-singleton dimension 2

input_ids:
[151331, 151333, 151336, 198, 151339, 151329, 151340, 98598, 98992, 100555, 101052, 101939, 11314, 151337, 198, 111000, 127102, 98993, 114571, 98362, 104343, 1773, 151329]

inputs:
[gMASK] <|user|>
<|begin_of_image|> <|endoftext|> <|end_of_image|> 图中的狗是什么品种？ <|assistant|>
图中是一只拉布拉多犬。 <|endoftext|>

可能的原因：

...
data_collator = DataCollatorForSeq2Seq(
        tokenizer=tokenizer,
        pad_to_multiple_of=8 if tokenizer.padding_side == "right" else None,  # for shift short attention
        label_pad_token_id=IGNORE_INDEX if data_args.ignore_pad_token_for_loss else tokenizer.pad_token_id,
)
...

在 sft/workflow.py 文件 59 行处设置了 pad_to_multiple_of=8，如果 attention_mask 长度不为 8 的倍数，则末尾需要用 0 填充，在 modeling_chatglm.py 第 1035 行处需要计算 full_attention_mask，eval 时不会在之前步骤重新计算 attention_mask，导致 inputs_embeds 和 attention_mask 长度不匹配，从而出现错误。

可能的修复：
在 glm4v 模型中，设置 pad_to_multiple_of=1，即不做填充，这也是我看到的 ms-swift 的做法。

[marko1616]

v-9b/modeling_chatglm.py", line 1035, in forward full_attention_mask = self.get_masks(inputs_embeds, past_key_values, padding_mask=attention_mask)

File ".../glm-4v-9b/modeling_chatglm.py", line 835, in get_masks full_attention_mask = full_attention_mask * padding_mask.unsqueeze(1) RuntimeError: The size of tensor a (1623) must match the size of tensor b (24) at non-singleton dimension 2

input_ids: [151331, 151333, 151336, 198, 151339, 151329, 151340, 98598, 98992, 100555, 101052, 101939, 11314, 151337, 198, 111000,

真的非常感谢你指出了这个问题与详细的分析，我会更加仔细的查看对应的功能实现，并尽快给出可用的commit。

[chocoded]

补充：
glm4v 模型在无监督的情况下 train 的步骤会出现问题，原因是 _encode_unsupervised_example 中 encode 过程没有保证 input_ids 和 labels 长度对齐，在 modeling_chatglm.py 中 1216 行处计算 loss 时会报错。

[marko1616]

补充： glm4v 模型在无监督的情况下 train 的步骤会出现问题，原因是 _encode_unsupervised_example 中 encode 过程没有保证 input_ids 和 labels 长度对齐，在 modeling_chatglm.py 中 1216 行处计算 loss 时会报错。

方便加个聊天方式交流一下吗？（非常感谢你完成了这些测试，我今天就会进行修正）

[chocoded]

方便加个聊天方式交流一下吗？（非常感谢你完成了这些测试，我今天就会进行修正）

行，我的qq是227154737

[marko1616]

方便加个聊天方式交流一下吗？（非常感谢你完成了这些测试，我今天就会进行修正）

行，我的qq是227154737

OK加了