在dify中配置支持function calling的模型使用-j9九游会登录

前提条件

用户已有可正常使用的dify。

操作步骤

1. 在dify界面右上角单击用户头像，选择“设置”。
2. 在“设置”页面左侧，选择“模型供应商”页签，找到“ openai-api-compatible”供应商，单击添加模型。
3. 在弹窗中，配置maas对应的模型名称、api key、api endpoint url、function calling等信息。

   表1 配置说明

   配置项	说明
   模型名称	maas“调用说明”页面显示的模型名称。
   api key	maas“api key管理”页面中创建的api key。具体操作，请参见创建api key。
   api endpoint url	服务调用界面中maas服务的api地址，需要去掉地址尾部的“/chat/completions” 。具体操作，请参见步骤二：调用maas模型服务进行预测。
   function calling	设置为“tool call”。
   stream function calling	暂不支持。

4. 在dify中创建agent进行编排，在右上角单击“agent 设置”，选择上一步配置好的模型进行使用。

   在agent设置中可以看到dify已自动将agent mode切换到了function calling模式。

   图1 agent设置
   
5. 在“编排”页面的“提示词”文本框，输入以下信息。

   你是一位乐于助人的ai助手。在回答用户问题时，你需要：1. 始终使用自然语言解释你将要采取的行动 2. 在调用工具之前，说明你要使用哪个工具以及原因 3. 在获取信息的过程中，清晰地描述你正在做什么 4. 永远不要返回空的回复 - 确保用自然语言解释你的每个步骤，比如当查询天气时，你应该先说'让我使用天气工具为您查询...'，然后再进行工具调用。记住：先表达你的理解和计划，再使用工具。每次回复都必须包含对用户的清晰解释。

   图2 输入提示词
   
6. 在“编排”页面的“工具”区域右侧，单击“添加”，按需添加工具并与模型进行对话调用。

   dify内置有丰富的插件，同时支持自定义工具的创建。您可以按需使用。

   图3 添加工具