用AI掌控你的Mac:隆重推出macOS-use智能体
用AI掌控你的Mac:隆重推出macOS-use智能代理
想象一下,你只需开口告诉MacBook该做什么,它就能毫不费力地跨应用执行复杂的任务。这一愿景,正随着“macOS-use”的横空出世而迅速成为现实。这是一个雄心勃勃的开源项目,由Ofir Ozeri牵头,并得到了Magnus和Gregor的鼎力相助。
“macOS-use”是一项开创性的倡议,旨在为苹果的MLX框架构建专属AI代理。其核心目标是让AI代理能够在任何苹果设备上执行任何操作,首先从MacBook开始。这意味着它将用户从重复的点击和手动输入中解放出来,将自然语言指令转化为电脑上的实际行动。
工作原理
“macOS-use”的核心是利用AI模型(目前OAI和Anthropic API支持度最佳,Gemini也能正常运行)来理解用户命令。一旦集成,你就可以提示你的Mac执行一系列操作。该项目提供了清晰的安装说明,方便开发者和爱好者们进行尝试。只需通过pip install mlx-use
即可开始,然后配置你的API密钥。
见证其强大:精彩演示
该项目存储库展示了“macOS-use”的几个引人注目的实际演示:
- 计算器自动化:提示代理“计算5 X 4等于多少并返回结果”,看着它打开计算器应用,执行计算,并输出答案。
- 网页登录自动化:指示它“前往auth0.com,使用Google账号登录,选择ofiroz91 Gmail账户,登录网站”——这是一项与网页元素和认证流程交互的非凡壮举。
- 在线信息检索:询问“你能查一下今天以色列安息日是几点吗?”智能代理会自行导航寻找并显示信息。
这些例子突显了“macOS-use”在简化工作流程和减少手动操作方面的巨大潜力。
未来愿景
“macOS-use”的最终目标是创建一个完全开源、可在本地运行的AI代理,由MLX和MLX-VLM提供支持。这意味着实现零成本的私有推理,让先进的AI控制能力惠及所有人。其路线图包含以下宏伟目标:
- 在MacBook上实现最先进的可靠性。
- 进一步优化代理提示,提高准确性。
- 改进自我纠正机制。
- 增加代理检查已安装应用并在需要时请求用户输入的能力。
- 通过本地推理和微调模型,优化任务效率和成本。
- 将支持扩展到iPhone和iPad设备。
重要注意事项
务必注意,“macOS-use”仍处于积极开发阶段。作为一个可以直接与你的操作系统和应用程序交互的强大工具,它将使用私人凭据,访问认证服务,并与所有UI组件进行交互。因此,强烈建议用户谨慎使用,目前不建议在无人监督的情况下运行。开发者正在积极完善安全措施,并敦促用户提供反馈以改进项目。
“macOS-use”代表着迈向更直观、AI驱动的计算体验的重要一步。它的开源性质吸引着合作,预示着未来你的苹果设备将真正理解并执行你的命令。