llama 3 的体验感觉不好

julie

我体验了最近很火的llama 3的8b和70b的模型, 感觉并没有想象的好. 我感觉最好的还是c4ai-command-r-plus, 对指令的理解和完成的正确率都很好. llama 3对指令的理解还是不行.

大家认为呢?

julie

hhxx 发表于 2024-5-5 12:46
R+的模型确实很不错，刚才去试了试！这两天好像还有个什么phi3，但是我还没来得及尝试 ...

phi3只有3.8b的参数, 只能作为简单的辅助, 不可能做太复杂的任务.

Telegramr

一个chatgpt我都玩不明白，这么多的吗？

tsaioil

我还是玩 Claude3 吧

julie

Telegramr 发表于 2024-5-5 11:46
一个chatgpt我都玩不明白，这么多的吗？

chatgpt感觉越来越笨了. 很多问题也不愿意回答. 即使是gpt4也是这样. 还是自建的好. 有问必答, 也不用每月付钱了.

hhxx

个人感觉llama指令服从还说得过去，但是让他输出中文的时候会有大量的中英混合问题而且貌似通过prompt很难调整，估计得通过中文微调解决了...不过8b模型用来跑翻译效果不错，又轻又快

julie

hhxx 发表于 2024-5-5 11:54
个人感觉llama指令服从还说得过去，但是让他输出中文的时候会有大量的中英混合问题而且貌似通过prompt很难 ...

我感觉简单的指令还行, 但是稍微复杂一点的, 它就不行了, 会漏掉一些给的要求. 对于英文指令也是这样. 过几个月看看finetuning后的模型. 现阶段还是c4ai的好.

梦想成真

你试试千问110b,感觉很好就是太大了，本地基本不可能部署  https://huggingface.co/spaces/Qwen/Qwen1.5-110B-Chat-demo

hhxx

julie 发表于 2024-5-5 11:59
我感觉简单的指令还行, 但是稍微复杂一点的, 它就不行了, 会漏掉一些给的要求. 对于英文指令也是这样. 过 ...

R+的模型确实很不错，刚才去试了试！这两天好像还有个什么phi3，但是我还没来得及尝试

julie

梦想成真 发表于 2024-5-5 12:09
你试试千问110b,感觉很好就是太大了，本地基本不可能部署  https://huggingface.co/spaces/Qwen/Qwen1.5-11 ...

感觉好像还是差一点. 用英文问时, 有时会跳出中文字.