效率:本地部署模型意味着我们可以在单次 LLM 运行中解决任务(guidance 在程序执行时保持 LLM 状态) , 速度更快 , 成本更低 。当任何子步骤涉及调用其他 API 或函数(例如搜索、终端等)时尤其如此 , 这总是需要对 OpenAI API 进行新调用 。guidance 还通过不让模型生成输出结构标记来加速生成 , 这有时会产生很大的不同 。总的来说 , 该测试得出的结论是:MPT 还没有准备好在现实世界中使用 , 而 Vicuna 对于许多任务来说是 ChatGPT (3.5) 的可行替代品 。目前这些发现仅适用于该测试尝试的任务和输入(或 prompt 类型) , 该测试只是一个初步探索 , 而不是正式评估 。
更多结果参见 notebook:https://Github.com/microsoft/guidance/blob/main/notebooks/chatgpt_vs_open_source_on_harder_tasks.ipynb
【羊驼系列大模型和ChatGPT差多少?详细测评后,我沉默了】
推荐阅读
-
央视|香山红叶观赏期来临 交管部门发布交通出行提示
-
-
阿Sa|张新成恋情再添实锤,和李兰迪泰国游玩正面照曝光,绯闻传了5年
-
【人民日报】人民日报记者跟着农民工讨薪,职能部门在干嘛?
-
上游新闻▲渝中率先启动“互联网+”医保服务试点“两病”患者足不出户可复诊续方拿药
-
吴金贵|从0-3到3-3!中超赛季最大冷门诞生:升班马创造奇迹,上港获利好
-
美国三权分立相互制衡具体内容,美国通过什么确立了三权分立的制衡原则-
-
三星|功耗降低50% 性能提升35% 三星3nm工艺下周量产
-
她是许家印花多少钱都留不住的女人,在许家印最辉煌时她选择离开
-
『汽车之家』国产起亚K5将于4月20日开启预售,颜值新高度
-
「」世界上最像“龙”的动物,全身只有30厘米,寿命却长达100年
-
-
-
北京首钢|广东痛失猎物真因曝光!首钢女老总完爆朱芳雨,四九城招牌立功
-
-
这果树我国独有,国内60一斤,国外价格更高,却少有人吃过
-
喜欢|聪明人喜欢吃3种食物,美容养颜、延缓衰老,好吃又不贵!
-
辣椒油,辣椒酱,以及湖南的辣妹子,它们的区别在哪里呢
-
骁龙865+|全球第二款骁龙865+:ROG游戏手机3 7月23日发布
-