最近沉浸于检索增强生成的内在机制,通过本地知识库与向量嵌入的融合,让语言模型回应更贴近真实语境。这段个人旅程让我对注意力与外部记忆的关系有了新感悟...
尝试用CLIP和轻量级扩散模型做风格联想,发现潜在空间里的语义漂移很有意思。记录一些超参数调整后的意外输出——创造性误差带来的探索乐趣。
基于ReAct模式尝试搭建简易自动化任务链,反思工具调用时的决策边界。本文分享在调试过程中取得的突破与遇到的反直觉现象,期待同行指正。
“大型模型的推理痕迹常常像一面镜子,映射出训练数据中的集体智慧与盲点。这几个月我逐渐把精力放在‘如何与AI合作创作’而非工具崇拜上,与几位独立研究者线上对谈后,对思维链的校准有了全新体会。若你对对齐或提示工程中的细节着迷,欢迎后台留言,一起打磨对AI的理解。”
▪ 尝试微调7B模型用于提炼会议摘要,对比LoRA与QLoRA的显存开销 —— 记录在个人实验仓库。
▪ 关于AI安全边界的伦理漫谈:与友邻讨论如果让模型拥有“适度的不确定性”反而更可靠。
▪ 新发现:结构化输出在复杂规划任务中的增益效果远超预期,整理了一组评估指标。
▪ 离线部署小技巧:跑llama.cpp的量化版本 + 手机端侧推理体验。