效率:本地部署模型意味着我们可以在单次 LLM 运行中解决任务(guidance 在程序执行时保持 LLM 状态) , 速度更快 , 成本更低 。当任何子步骤涉及调用其他 API 或函数(例如搜索、终端等)时尤其如此 , 这总是需要对 OpenAI API 进行新调用 。guidance 还通过不让模型生成输出结构标记来加速生成 , 这有时会产生很大的不同 。总的来说 , 该测试得出的结论是:MPT 还没有准备好在现实世界中使用 , 而 Vicuna 对于许多任务来说是 ChatGPT (3.5) 的可行替代品 。目前这些发现仅适用于该测试尝试的任务和输入(或 prompt 类型) , 该测试只是一个初步探索 , 而不是正式评估 。
更多结果参见 notebook:https://Github.com/microsoft/guidance/blob/main/notebooks/chatgpt_vs_open_source_on_harder_tasks.ipynb
【羊驼系列大模型和ChatGPT差多少?详细测评后,我沉默了】
推荐阅读
-
女儿别怕,妈妈来了!听说女儿女婿吵架,90岁阿婆步行50公里“撑
-
穿搭|张予曦的身材亮了,坐下来的腰没有一丝赘肉,不愧是王公子的前任
-
「王不装」工作人员穿搭则是另一种风格,24岁林允穿搭“学生风”很减龄
-
-
哔哩哔哩十大好看动漫推荐,bilibili里面好看的动漫推荐-
-
-
米尔|印度豪购30架无人机,单价堪比五代机,不差钱买买买
-
『华为』华为被美国“制裁”,为什么任正非一点不慌?郭台铭:也不看看是谁在撑腰!
-
-
【光刻机】国产光刻机再次“破冰”,张忠谋的话惨遭打脸?美科技界始料未及
-
-
火星|好奇号从火星传回自拍照,画面清晰,看到的火星是这样的
-
时间要闻|男子10万雇凶杀"母","杀手"临阵心虚,挥手竟"拦"下辆警车
-
「汽车维修人」符合这5个条件的车主,一分都不赔,总算搞懂“交强险”
-
大建侃球下周联盟就会给出复赛答复,巴克利百分百确信NBA会重启
-
辽沈晚报抚顺时刻|抚顺市新抚区美食嘉年华来啦!“逛吃”模式已开启
-
老年人健康|五十岁后,人生将遇寿命坎,凡是能跨过去,寿命将有保证
-
中国企业报|「园区」从“引资”到“选资”这样打通园区招商痛点
-
教育圈|湖南女子学院社会学学科建设持续发力,强化校企合作
-
焦糖老干妈|为什么有人喜欢有人说丑?审美层次最枢纽,同样“极简风格穿搭”