快讯科技财经汽车社会旅游娱乐时尚健康生活科学教育

热搜：内地买家入搭载2.8吨京东618全 “十五五” 【好评中国重庆：首批配有十大猥琐

首页 > 科技

谷歌最强大模型免费开放了！长音频理解功能独一份，100万上下文敞开用

发布时间: 2024-04-11 07:26:18 来源：量子位

观看：287

大佬1小时演讲1分钟搞定

谷歌最强大模型Gemini 1.5 Pro今天起，“全面”对外开放。

目前完全免费，开发者可以通过API调用的方式使用，普通玩家也可以在谷歌AI Studio中直接体验。

（Ps. 发布这则消息的谷歌工程师Logan Kilpatrick正是原来OpenAI开发者关系的负责人，刚刚跳槽到谷歌。）

最让人期待的是，Gemini 1.5 Pro API首次增加了音频理解功能。

无论是财报电话会、电视节目还是大神演讲，不需要我们再提供字幕文档它就可以直接解读了。

如下图所示：

上传Jeff Dean长约117000+token的演讲录音，Gemini 1.5 Pro在30.8s内就完成了解析。

而由于Gemini 1.5 Pro100万的上下文窗口这次也直接对外开放，因此它可以处理的最长音频约为11小时，最长视频则为1小时，相当够用。

我们也赶紧实测了一把，结果是真香。

Gemini 1.5 Pro开放API了

谷歌官方给这次免费开放的Gemini 1.5 Pro版本定义为“公开预览版”。

它主要面向开发者，可在谷歌AI Studio中获得API密钥：

目前最引人注目的音频理解功能还没添加到API中，但据说很快就会补上。

问题不大，我们可以先在Google AI Studio中直接体验：

在实测中，我们上传了比尔盖茨1995年做客Late Show节目的一段音频，时长1分钟。

我们没有提示这段音频的任何背景信息，Gemini 1.5 Pro直接就听出来了是谁。

并在10s左右精准整理出了全对话的精华部分，一点“正确的废话”都没有：

表现令人折服。

接下来，来个更具挑战的，Andrej Karpathy1小时长的大模型科普教程。

我们提取音频文件，足足10万多个token（这种在UI里直接显示当前消耗token数量的方法也广受好评）。

Gemini 1.5 Pro最终在53s内按要求给出了10个亮点分析：

可以说一分钟就让我们对1小时的演讲内容有了整体认知，再也不用费劲扒字幕文件了。

继续回到API本身。

除了音频理解，为了让开发者更好地控制模型输出，Gemini 1.5 Pro还提供了另外3项新功能/改进：

首先是系统指令。

我们可以自定义一些特殊用例，包括它们的角色、输出格式/风格/语气、目标和规则等等。

设置完成后，这个指令就会应用于接下来的整个请求。

示例如下：

其次，JSON模式。

也就是可以指示模型仅输出JSON对象了，非常方便我们从文本或图像中提取结构化数据。

第三，函数调用上也有改进。

为了提高可靠性，Gemini 1.5 Pro也可以选择不同模式来限制模型的输出了。

可以是文本模式，将生成文本作为输出；也可以是函数调用模式，或者干脆只输出函数本身（不带任何参数或其他信息）。

最后，还没完，从今天起，开发者还能通过该API调用谷歌的下一代文本嵌入模型：

text-embedding-004（又名“Gecko”）。

该模型在MTEB基准上实现了非常强大的检索性能，优于可比维度的所有对手。

两个月前诞生的谷歌最强大模型

Gemini 1.5 Pro于2月15日发布，距今还不到两个月。

它是Gemini Pro的升级版，多模态多语言，最大的亮点无疑是上下文窗口长度：

从128k到最多100万。

100万个token相当于可处理70万个单词或约3万行代码，折合成音频就是约11小时，视频约1小时。

无疑是很大的一个量级了（现在则完全在API中开放）。

当时官方的演示包括用它搜索阿波罗11号登月的电视转播信息，一共402页文字记录。

模型的响应时间大约在20s到1分钟。稍微有点慢，但谷歌承诺会优化延迟时间。

而Gemini 1.5 Pro发布之后，网友也很快分享了一些还不错的内测结果，包括：

鉴别Sora视频是否AI生成，给出关键证据；

在一场14分钟的NBA扣篮视频中，判断出哪个扣篮得分最高，并给出其中扣篮细节；

还有分析比较《星际穿越》和《星际探索》两个完整的电影脚本，合起来接近10万token，结果三十几秒内就给出了完整详尽的报告。

可以说，这次谷歌整体是没有让大伙失望的。

最高能的是，它还能看录像改BUG：

有网友在编写一个网页的代码时故意留了3个bug，并分别录制了3个bug视频，外加代码库打包成文件一同丢给Gemini 1.5 Pro，结果全部分分钟给出正确代码。

这位网友当时就表示：这“小伙子”前途不可限量啊。

而在今天，随着Gemini 1.5 Pro API的“全面”开放，大伙可以更进一步地感受其厉害了。

咳咳，就是目前速率限制还有点高：

每分钟请求量为5次，每分钟token为1000万个，每日请求量为2000个～

友情链接：
https://aistudio.google.com/app/prompts/new_chat
参考链接：
https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html
https://twitter.com/OfficialLoganK/status/1777733743303696554

美国太平洋西北国家实验室的科学家设计了一种复合装饰材料，可以储存更多二氧化碳，提供了一种既符合建筑规范，又比标准复合饰面板便宜的“负碳”选择。研究人员于18日在美国化学会春季会议上公布英国《自然》周刊网站3月12日刊登题为《OpenAI的文生视频工具Sora会如何改变科学——以及社会》的文章，作者为乔纳森·奥卡拉汉，内容编译如下：美国开放人工智能研究中心(OpenAI 3月20日8时31分，探月工程四期鹊桥二号中继星由长征八号遥三运载火箭在中国文昌航天发射场成功发射升空。火箭飞行24分钟后，星箭分离，将鹊桥二号中继星直接送入近地点高度200公里、远地点高度42 　　30台发动机助进阶版“鹊桥”升空　　中新社西安3月20日电 (记者张一辰)3月20日8时31分，长征八号遥三运载火箭在中国文昌航天发射场顺利升空，成功将“鹊桥二号”卫星送入预定轨道。作为公共中继星平台，“鹊桥二号” 习近平总书记在中共中央政治局第三次集体学习时强调，要加强科研学风作风建设，引导科技人员摒弃浮夸、祛除浮躁，坐住坐稳“冷板凳”。甘坐“冷板凳”是一种平心静气从事科学研究、追寻科学真理的英伟达的GPU又升级了。3月19日，英伟达CEO黄仁勋发布了最新的B200算力芯片GPU，FP8精度下的训练性能是上一代的2.5倍，FP4精度下的推理性能更是达到了上一代的5倍。然而，这场技术狂欢背后，却令AI领域。

本文链接：谷歌最强大模型免费开放了！长音频理解功能独一份，100万上下文敞开用http://www.sushuapos.com/show-2-4737-0.html

声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。

上一篇： AI算力提高，高能耗和难散热问题如何突破？

下一篇：离谱！AI超市「无人」收款，1000个印度人藏在背后……

谷歌最强大模型免费开放了！长音频理解功能独一份，100万上下文敞开用

Gemini 1.5 Pro开放API了

两个月前诞生的谷歌最强大模型

热门资讯

推荐资讯

科技最热文章