本地南通网站建设郑州seo优化外包
目录
AnythingLLM
关于数据隐私
建立工作区
知识库
一个小坑
这次所言绝非虚言,无意间觅得一款个人PC即可轻松部署的AI神器。反观我们煞费苦心、殚精竭虑,却始终未能打造出如此便捷的产品,着实令人扼腕叹息。亲身体验后,从部署到实际应用可谓一帆风顺,几乎未遇阻碍,唯一的波折竟源于自家电脑的瑕疵。这便是——
AnythingLLM
由于已经对私有化部署很熟悉,就像看看单机部署LLM,并且带终端的应用是怎样的。所以安装的时候为了省时间,按照安装提示,没有安装系统需要的LLM类库,但依然能够启动。第一次启动画面如下,以后的启动画面会很酷炫,可惜没法截图:
点击开始以后,就可以选择你中意的大模型:
我肯定是支持国产大模型了,如下图,按照提示,当你选择的时候,会在后台自动下载大模型:
关于数据隐私
关于数据隐私的探讨,可谓切中肯綮。数据模型的独立性至关重要,个人版自然应当选择独立版本,而摒弃嵌入式方案。值得庆幸的是,当前仅为体验阶段,且产品设计之初便已未雨绸缪,将数据隐私问题纳入考量。以往内部场景实施时,我们始终将数据隐私视作重中之重,这也是与外部AI产品泾渭分明的关键所在。奈何当下推广寸步难行,只得脚踏实地,从身边小事着手,切忌好高骛远。
接下来是个小调查,我果断选择跳过再说:
建立工作区
非常人性化,已经让我创建自己的工作区了:
好简单的,出现了下面的这个界面,是否很熟悉?
从上图可以看出,创建工作区的任务已经完成了,下面就是聊天任务了,走一个:
结果上来就报错了,仔细看,原来是大模型的下载还没有完成,毕竟是笔记本电脑,CPU和内存都不够给力,暂时只能等了:
界面很人性化,我的大模型下载进度87%就显示在右上角了:
终于下载好了,再来试一下,好像还是报错,大概是因为之前因为节省时间,没有下载相关的LLM类库引起的,先把上传文档的任务完成一下:
知识库
上传文档的任务,把《三体》小说上传一下再说:
记得一定要移动到工作区,否则仅仅是上传,没有办法进行知识库问答的!
一个小坑
又把刚才的错误信息读了一遍,原来不是类库的问题,是我的电脑把”虚拟内存“ 给设置为0了,怪不得报mem_buffer的错误,为开发者点赞,这错误信息提示的,太容易查错了!终于可以了,下图中,我很喜欢那个大脑的图标,比think容易理解多了,可惜没有办法截图动画,那个大脑真的挥动啊!
小结一下,在之前Dify的文章中,部署和配置的确碰到了很多坑,现在别人已经封装了,AI这块发展的真是快,可惜我们既没有流量推广,也没有场景推广,只能靠不断地学习。落后就要挨打,是真理!