效率:本地部署模型意味着我们可以在单次 LLM 运行中解决任务(guidance 在程序执行时保持 LLM 状态) , 速度更快 , 成本更低 。当任何子步骤涉及调用其他 API 或函数(例如搜索、终端等)时尤其如此 , 这总是需要对 OpenAI API 进行新调用 。guidance 还通过不让模型生成输出结构标记来加速生成 , 这有时会产生很大的不同 。总的来说 , 该测试得出的结论是:MPT 还没有准备好在现实世界中使用 , 而 Vicuna 对于许多任务来说是 ChatGPT (3.5) 的可行替代品 。目前这些发现仅适用于该测试尝试的任务和输入(或 prompt 类型) , 该测试只是一个初步探索 , 而不是正式评估 。
更多结果参见 notebook:https://Github.com/microsoft/guidance/blob/main/notebooks/chatgpt_vs_open_source_on_harder_tasks.ipynb
【羊驼系列大模型和ChatGPT差多少?详细测评后,我沉默了】
推荐阅读
-
幽默搞笑段子集锦|跟着长得帅的好兄弟私奔了,幽默笑话:女友卷走我十几年的积蓄
-
-
-
-
-
天天爱逗乐349800!红旗hs7的缺点是什么?我们真的可以挂宝马奥迪吗?
-
Flo.Flooring|Flo Flooring意大利弗洛地板丨最新原木色系实景铺装鉴赏
-
-
-
-
仙女山的月亮|"钢铁侠"息影,小罗伯特唐尼突然宣布不再回归,究竟是何原因
-
赵丽颖|赵今麦主演《一周的朋友》发布“朋友关系”剧照
-
皇马|10年狂揽24冠,28岁后卫凭啥叫板拜仁?没2500万不想签字
-
-
砂锅菜的做法大全[做法大全]窍门,食材_砂锅菜谱砂锅做法大全窍门-
-
发生|马拉多纳去世引发关注,专家提醒:心血管疾病冬季高发,掌握必要“救心”常识可救命
-
-
孝庄和多尔衮感情有多深?历史上的孝庄和多尔衮是相爱的吗
-
邹邹聊八卦|原来她出演过《铠甲勇士》,请恕我眼拙,怪不得觉得《楚乔传》的锦烛很眼熟
-
网易科技■抗击疫情,亚马逊意大利和法国暂停非必要商品发货