不管语言模型开不开源, 普通人都很少有自己本地运行语言模型的, 要么是没有足够的计算资源(就像电子游戏的「推荐配置」一样), 要么是没有语言模型的运行经验(就像自托管一样).
一般人能够受益的直接就是以代托管语言模型为基础提供兼容 API 或集成语言模型的聊天界面的服务, 也就是「语言模型即服务(Language Module as a Service, LMaaS」. 高参数模型, 或者说是「大型语言模型(LLM)」依靠参数堆叠轻松地做到更 "聪明", 但相对模型需要的计算资源代价是消费者更加难以接受的.
在一段时间内, 真正的消费级语言模型应该是「小型语言模型(SLM)」, 也就是真正能够运行在语言模型的「推荐配置」的消费级硬件上, 参数规模少于 7B 的语言模型. 当然也有一些厂商通过 LMaaS 的形式将 AIGC 能力通过网络接入到设备里, 虽然依赖网络但还是让一些旧硬件或者低端硬件也成为了「AIPC」一样的东西, 但大部分都是营销噱头而已, 毫无技术含量可言, 充其量只是硬件捆绑软件权益的形式售卖的一个溢价点, 这部分溢价有的还很高(不仅对于消费者, 也对于某些市场投资者而言).
#LLM #SLM #LMaaS #AIGC
CXPLAY
npub1gd…ch58h
2024-08-10 05:38:48
Author Public Key
npub1gd8e0xfkylc7v8c5a6hkpj4gelwwcy99jt90lqjseqjj2t253s2s6ch58hPublished at
2024-08-10 05:38:48Event JSON
{
"id": "6c39b5e354219fbe122a59d37857cbd6047a815c3b883094ba63f25ebdb44ec3",
"pubkey": "434f97993627f1e61f14eeaf60caa8cfdcec10a592caff8250c825252d548c15",
"created_at": 1723261128,
"kind": 1,
"tags": [
[
"t",
"LLM"
],
[
"t",
"llm"
],
[
"t",
"SLM"
],
[
"t",
"slm"
],
[
"t",
"LMaaS"
],
[
"t",
"lmaas"
],
[
"t",
"AIGC"
],
[
"t",
"aigc"
]
],
"content": "不管语言模型开不开源, 普通人都很少有自己本地运行语言模型的, 要么是没有足够的计算资源(就像电子游戏的「推荐配置」一样), 要么是没有语言模型的运行经验(就像自托管一样).\n一般人能够受益的直接就是以代托管语言模型为基础提供兼容 API 或集成语言模型的聊天界面的服务, 也就是「语言模型即服务(Language Module as a Service, LMaaS」. 高参数模型, 或者说是「大型语言模型(LLM)」依靠参数堆叠轻松地做到更 \"聪明\", 但相对模型需要的计算资源代价是消费者更加难以接受的.\n\n在一段时间内, 真正的消费级语言模型应该是「小型语言模型(SLM)」, 也就是真正能够运行在语言模型的「推荐配置」的消费级硬件上, 参数规模少于 7B 的语言模型. 当然也有一些厂商通过 LMaaS 的形式将 AIGC 能力通过网络接入到设备里, 虽然依赖网络但还是让一些旧硬件或者低端硬件也成为了「AIPC」一样的东西, 但大部分都是营销噱头而已, 毫无技术含量可言, 充其量只是硬件捆绑软件权益的形式售卖的一个溢价点, 这部分溢价有的还很高(不仅对于消费者, 也对于某些市场投资者而言).\n\n#LLM #SLM #LMaaS #AIGC",
"sig": "505aaba4998b5322611722cbf254fda3044fbe21ebc2c675c0666622b72981da99fe64aa5c743ae71b5045ca6d15ee3675e22acb140a93e4627ea8673552e907"
}