江苏龙网

  1. 主页 > 生活百科 > >

GPT-4o：实现跨越文本与视觉的智能交互( 二 )

GPT-4o


通过这些步骤 ， 我们将能够测试GPT-4o在文本和视觉处理上的强大能力，接下来 ， 将详细介绍具体的测试方法和代码实现 。
问答功能的实现前面已经说明了，需要测试GPT-4o模型在问答方面与其他模型的异同，同时还要测试其在视觉方面的能力 。基于如上的思路，我们需要梳理执行步骤 。首先，创建一个 selected_model.py 文件，用来存放访问不同大模型的函数 。为了简化代码并统一调用这些大模型，我们使用LangChain框架 。LangChain框架能够帮助我们方便地切换和管理不同模型的调用逻辑 ， 使代码更加简洁和易于维护 。接着，创建 App.py 文件，利用Streamlit创建一个Web交互界面 。在这个界面中 ， 用户可以通过选择框选择对应的大模型，然后在提供的窗口中输入问题 。当用户提交问题请求时(点击“发送”按钮)，app.py 文件将调用 selected_model.py 文件中写好的大模型函数，对用户的请求进行响应，并将响应内容返回到 app.py 文件中进行展示 。
创建selected_model.py 文件，添加模型调用方法这个文件包含所有访问不同大模型的函数 。每个函数对应一个大模型，并通过LangChain框架进行调用 。这些函数负责接受用户的问题并返回相应的答案 。
先创建调用gpt-4o的函数，如下：
def get_response_from_gpt_4o(question:str):llm = ChatOpenAI(model="gpt-4o")template = """问题: {question}回答: 请一步一步思考，然后回答."""prompt = PromptTemplate(template=template, input_variables=["question"])llm_chain = LLMChain(prompt=prompt, llm=llm)response = llm_chain.run(question)return response【GPT-4o：实现跨越文本与视觉的智能交互】代码整体比较简单 ， 我们对其进行解释如下：
(1) 定义函数get_response_from_gpt_4o代码，def get_response_from_gpt_4o(question:str): ， 定义了一个名为get_response_from_gpt_4o的函数，该函数接受一个字符串类型的参数question作为用户的提问，并返回一个响应 。
(2) 实例化ChatOpenAI通过llm = ChatOpenAI(model="gpt-4o", base_url="https://api.chatanywhere.tech/v1")语句，实例化了一个ChatOpenAI对象，并将其赋值给变量llm(Large Language Model ，大语言模型) 。通过初始化对象的model参数指定该对象使用了模型gpt-4o 。
(3)定义模板字符串template = """问题: {question}回答: 请一步一步思考，然后回答."""定义了一个模板字符串并将其赋值给变量template 。该模板用于生成提示，其中包含占位符{question}，表示将问题插入其中 。
(4)创建PromptTemplate实例prompt = PromptTemplate(template=template, input_variables=["question"])创建了一个PromptTemplate对象，并将其赋值给变量prompt 。该对象使用之前定义的template字符串 ， 并指定question为输入变量 。
(5) 创建LLMChain实例llm_chain = LLMChain(prompt=prompt, llm=llm)创建了一个LLMChain对象，并将其赋值给变量llm_chain 。该对象使用之前定义的prompt和llm 。
(6) 运行LLMChain并获取响应response = llm_chain.run(question)return response调用llm_chain的run方法 ， 传入question参数，并将返回的响应赋值给变量response 。同时，返回response变量的值 ， 即函数get_response_from_gpt_4o的输出 。
该函数首先初始化一个ChatOpenAI对象以使用gpt-4o模型，然后定义一个包含问题和指示的模板字符串 。接着，它创建一个PromptTemplate实例，并用它和ChatOpenAI对象创建一个LLMChain实例 。最后，函数运行LLMChain实例，生成并返回一个基于输入问题的响应 。我们可以按照这个套路生成调用其他大模型的函数 。
创建调用通义千问大模型的函数代码，如下：
def get_response_from_qwen(question:str):#创建模版template = """问题: {question}回答: 请一步一步思考，然后回答."""#定义模版输入变量prompt = PromptTemplate(template=template, input_variables=["question"])llm = Tongyi(model_name = "qwen-plus")llm_chain = LLMChain(prompt=prompt, llm=llm)response = llm_chain.run(question)return response该函数使用了Tongyi类来实例化一个名为llm的大语言模型对象，模型名称为qwen-plus 。它与之前的get_response_from_gpt_4o函数相同的地方在于，它们都创建了一个模板字符串，定义了一个PromptTemplate对象，并使用一个LLMChain对象来生成响应 。
接着是百度千帆平台微调的Llama2-Chinese-7B 版本的模型调用函数，代码如下：


推荐阅读


上一篇：DIY从入门到放弃：CPU主频/倍频/睿频/超频别迷糊

下一篇：Spring注入还可以这样玩！涨知识了