自己电脑配置:mac mini m2 16g
通过 ollama ,安装了
qwen3:8b
qwen3:4b
gemma3:4b
mistral:7b
目的是为了优化公众号文章标题:
import re
from langchain_ollama import ChatOllama
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
# 初始化 Ollama 模型
llm = ChatOllama(
model="gemma3:4b",
)
# 定义提示模板
prompt_template = ChatPromptTemplate.from_template(
"""
假设你是个具有丰富的爆文经验的微信公众号作者,现提供的"{question}"文章标题,优化标题,只输出最优的那个,结果不需要解释。
"""
)
# 创建处理链
chain = prompt_template | llm | StrOutputParser()
# 示例问题
question = "女人离我远点"
# 调用链并获取纯答案
answer = chain.invoke({"question": question})
clean_text = re.sub(r"<think>.*?</think>", "", answer, flags=re.DOTALL).strip()
# 输出结果
print(clean_text)
分别用了上面的几个模型,跑下来,都比较慢,有没有其他性价比比较高的?
2. 你用的 ollama 是不是只会使用 cpu ?看一下 metal llama.cpp 这个项目,或者直接用 lmstudio 起服务试一下。
据说苹果线上就有服务是跑在 mac mini 上