raychase.net

笔记:在 Mac Mini 本地跑 LLM 大模型 (opens in new tab)

这些笔记是在自己的Mac Mini上面折腾了一些记录,主要是安装一些重要的大模型工具,把这些工具连接起来,建立自己的私有本地知识库等等,以备查阅。后续不定时更新。 安装OrbStack OrbStack是专门为MacOS设计的快速、轻量级的虚拟化工具,可以作为本地Docker、K8s和Linux VM的超容易替代品。因为它丢掉了跨平台的包袱,直接在系统内核级别支持虚拟机指令,动态分配内存等等做法,让它变得超快。就以Docker为例,它可以把冷启动速度从几十秒优化到一两秒。 我是在Apple M4芯片的Mac mini上面折腾的,首先要保证我的应用全部都是M4芯片直接支持的,而不是通过Rosetta 2兼容性转换过来的。在检查Homebrew的时候,发现brew命令的路径在/usr/local/bin/brew,这就是说brew在Intel CPU的模拟路径上,因此重新安装了Homebrew,修改PATH以后检测发现brew已经在ARM的原生路径上了:/opt/homebrew/bin/brew。 这再安装OrbStack就行了: brew install --cask orbst...

Read the original article
Sign in to keep reading the full article.

Keyboard Shortcuts

Navigation

Next / previous post
j/k
Open post
oorEnter
Preview post
v

Post Actions

Love post
a
Like post
l
Dislike post
d
Undo reaction
u
Save / unsave
s

Recommendations

Add interest / feed
Enter
Not interested
x

Go to

Home
gh
Interests
gi
Feeds
gf
Likes
gl
History
gy
Changelog
gc
Settings
gs
Discover
gb
Search
/

General

Show this help
?
Submit feedback
!
Close modal / unfocus
Esc

Press ? anytime to show this help