llama.cpp 正式支持MTP！本地推理速度大幅提升！
微信赞赏
相关推荐
2025-11-07
本地跑大模型神器！终于出原生WebUI了！
lama.cpp出自己的原生Web UI啦！玩开源大语言模型的应该没有不知道Llama.cpp的，事实上Ollama背后用的就是Llama.cpp。Llama.cpp一直以来都是本地跑模型的基础核心，现在它终于有了官方的Web UI，主打极简、高效和高性能。这个新界面彻底解决了之前大家依赖第三方工具来操作Llama.cpp的痛点，用起来特别顺手，能清晰展示模型信息，还能直接上传PDF或文本文档作为上下文来喂给模型… 访问入口
2024-11-29
LM Studio ：首个支持Mac原生MLX框架的本地跑LLM的工具
访问入口
2025-03-01
CoD：大模型推理思维链CoT升级版！
大语言模型推理思维链CoT升级版，推理草稿链，Chain of Draft，aka CoD啊！我们试过高级prompting或者用过deepseek r1和Gpt o3都知道，里面用的就是推理思维链。你问他就算一个很简单的问题，它都会做一大堆的思考，速度和tokens的消耗确实令人堪忧！最新一篇海外著名视频会议大厂Zoom论文出来，提出CoD的prompting技术，让大语言模型输出的质量接近CoT，但是速度飞快…
2026-01-06
Claude Code 入门（六）！计划模式实战！
上一次我们学习了claude code的工具和权限知识，今天学习下plan mode，我们先看下我们当前演示项目，这是一个todo应用。我们打算加多一个关于页面，然后在原所有页面的头部加个header，增加首页和跳转到关于页面的菜单链接，需要的时候增加页面路由。因为这里涉及到多个文件的改动，所以最好使用plan mode计划模式来改动…
2025-01-28
UI-TARS：免费加强版OpenAI Operator
国产加强版OpenAI Operator啊！我们知道OpenAI上几天发布了Operator来操作浏览器的Agent，可谓震撼全球。但是OpenAI的Operator只能控制已经打开的浏览器。为了解决这个问题，今天我们要分享下字节跳动的UI-TARS，它不仅能控制浏览器，还能控制整个电脑。 废话不多说，立刻Demo… 项目入口 后端部署指南
2025-05-10
UI-Gen-T27B：一个专注UI开发的大模型炸裂登场！
一个专注于开发UI的开源大语言模型炸裂登场啊! 今天快速跟大家分享这个只有7B参数的UI-Gen-T27B， 它是个基于阿里的Qwen2.5 Coder，和其他大语言模型不同，它是专门用5万个多样化UI案例通过loRA微调出来的模型，能生成更专业的UI，只需要16G显存就能本地跑 Demo访问入口
