是否有针对llama3.1 tool use的微调模版

[Imbernoulli]

llama3.1有自己的chat template，是否有适配？

[Imbernoulli]

_register_template(
    name="llama3",
    format_user=StringFormatter(
        slots=[
            (
                "<|start_header_id|>user<|end_header_id|>\n\n{{content}}<|eot_id|>"
                "<|start_header_id|>assistant<|end_header_id|>\n\n"
            )
        ]
    ),
    format_system=StringFormatter(slots=["<|start_header_id|>system<|end_header_id|>\n\n{{content}}<|eot_id|>"]),
    format_observation=StringFormatter(
        slots=[
            (
                "<|start_header_id|>tool<|end_header_id|>\n\n{{content}}<|eot_id|>"
                "<|start_header_id|>assistant<|end_header_id|>\n\n"
            )
        ]
    ),
    format_prefix=EmptyFormatter(slots=[{"bos_token"}]),
    stop_words=["<|eot_id|>"],
    replace_eos=True,
)

以及tool description为什么没有在这里看到放在哪里了？

[Imbernoulli]

因为推理和训练的格式和prompt想保持一致，因此想搞明白这个是怎么弄的。

[hiyouga]

目前还没有支持 3.1 的 tool use 模版，之后会添加一下。工具逻辑主要在 data.tool_utils 部分

[Imbernoulli]

那如果我不按照llama3.1的特定模版来的话，应该把工具描述放在哪里呢？直接放在Sharegpt Format的tools字段下吗？

…

On Sep 9, 2024, at 14:19, hoshi-hiyouga ***@***.***> wrote: 目前还没有支持 3.1 的 tool use 模版，之后会添加一下。工具逻辑主要在 data.tool_utils 部分 — Reply to this email directly, view it on GitHub <#5390 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/BBFKNF4QSNZ3NSFU3PAQAG3ZVU4XDAVCNFSM6AAAAABN267DI6VHI2DSMVQWIX3LMV43URDJONRXK43TNFXW4Q3PNVWWK3TUHMYTANJYGY4TONQ>. You are receiving this because you authored the thread.

[hiyouga]

参考

LLaMA-Factory/data/dataset_info.json

Lines 11 to 18 in 90d6df6

	"glaive_toolcall_en_demo": {
	"file_name": "glaive_toolcall_en_demo.json",
	"formatting": "sharegpt",
	"columns": {
	"messages": "conversations",
	"tools": "tools"
	}
	},

[Imbernoulli]

好的谢谢。那如果我理解的没错的话，ToolUtils中的get_function_slots和tool_extractor在训练的时候用不上，只有tool_formatter在训练的时候会用上，然后自动加到system prompt里面？因为sharegpt的格式没有tool_name/tool arguments等内容。

…

On Sep 9, 2024, at 14:25, hoshi-hiyouga ***@***.***> wrote: 是的 — Reply to this email directly, view it on GitHub <#5390 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/BBFKNF7XID6P2PD3IJO74WLZVU5NPAVCNFSM6AAAAABN267DI6VHI2DSMVQWIX3LMV43URDJONRXK43TNFXW4Q3PNVWWK3TUHMYTANJYG4YDEMY>. You are receiving this because you authored the thread.

[Imbernoulli]

同学好，如果有机会我也可以帮着完成一下这部分，谢谢！

…

On Sep 9, 2024, at 14:36, 吕博涵 ***@***.***> wrote: 好的谢谢。那如果我理解的没错的话，ToolUtils中的get_function_slots和tool_extractor在训练的时候用不上，只有tool_formatter在训练的时候会用上，然后自动加到system prompt里面？因为sharegpt的格式没有tool_name/tool arguments等内容。 > On Sep 9, 2024, at 14:25, hoshi-hiyouga ***@***.***> wrote: > > > 是的 > > — > Reply to this email directly, view it on GitHub <#5390 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/BBFKNF7XID6P2PD3IJO74WLZVU5NPAVCNFSM6AAAAABN267DI6VHI2DSMVQWIX3LMV43URDJONRXK43TNFXW4Q3PNVWWK3TUHMYTANJYG4YDEMY>. > You are receiving this because you authored the thread. >