萧箫 发自 凹非寺量子位 | 公众号 QbitAI

只需和ChatGPT聊聊天，它就能帮你调用10万 个HuggingFace模型！

这是抱抱脸最新上线的功能HuggingFace Transformers Agents，一经推出就获得极大关注：

再在这张图片的基础上做“图生图”修改：agent.chat(“Transform the picture so that there is a rock in there”)

2、文字问答模型Flan-T5。给定长文章和一个问题，它就能回答各种文字问题，帮你做阅读理解。

3、零样本视觉语言模型BLIP。它可以直接理解图像中的内容，并对图像进行文字说明。

4、多模态模型ViLT。它可以理解并回答给定图像中的问题，

5、多模态图像分割模型CLIPseg。只需要给它一个模型和一个提示词，它就能根据这个提示分割出图像中指定的内容（mask）。

6、自动语音识别模型Whisper。它可以自动识别一段录音中的文字，并完成转录。

7、语音合成模型SpeechT5。用于文本转语音。

8、自编码语言模型BART。除了可以自动给一段文字内容分类，还能做文本摘要。

9、200种语言翻译模型NLLB。除了常见语言外，还能翻译一些不太常见的语言，包括老挝语和卡姆巴语等。

通过调用上面这些AI模型，包括图像问答、文档理解、图像分割、录音转文字、翻译、起标题、文本转语音、文本分类在内的任务都可以完成。

除此之外，抱抱脸还“夹带私货”，包含了一些Transformer库以外的模型，包括从网页下载文本、文生图、图生图、文生视频：

这些模型不仅能单独调用，还可以混合在一起使用，例如要求大模型“生成并描述一张好看的海狸照片”，它就会分别调用“文生图”和“图片理解”AI模型。

当然，如果我们不想用这些默认AI模型，想设置一套更好用的“工具集成包”，也可以根据步骤自行设置。

对于Transformers Agents，也有网友指出，有点像是LangChain agents的“平替”：

你试过这两个工具了吗？感觉哪个更好用？

参考链接：[1]https://twitter.com/huggingface/status/1656334778407297027[2]https://huggingface.co/docs/transformers/transformers_agents

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态