• 公众并不理解反常识的AI大模型。

    看到个新闻:《中国据报要求AI公司大模型强制审查 确保体现社会主义核心价值观》联合早报 顿时觉得很有趣。 预训练生成式大语言模型的人工智能,也就是现在我们日常常说的“LLM”(大语言模型),“GPT”(预训练生成式模型)或者俗称AI(人工智能)的东西。 这玩意确实有点新鲜,也很学术。在网络上很 ...

    2024-07-19
  • 超越跑分,我们该如何评价AI大模型的智商?

    随着越来越多的模型性能接近GPT-4,几个主要的评测手段都已经无法进行有效区分。 1, MMLU,分数均80+分,已缺乏区分度。 2, MT-Bench,裁判员是GPT-4,能力不足以分辨模型之间的能力差别。 3, Arena Elo:主要是普通对话类任务,让Elo分数受到和人类对齐程度的极大 ...

    2024-05-21
  • AI大模型的未来是开源还是闭源?

    IT互联网领域容易发生马太效应赢家通吃,后来者往往会试图复制当年linux或者Android的道路,通过开源的方式寻求新的发展路径和开拓新的市场潜力。 OpenAI的强势让Meta的LLAMA和阿里的qwen等都选择了开源。 然而李彦宏认为开源没戏。 以下是李彦宏的几个核心论断。 1 ...

    2024-04-15