以下文章來源于谷歌云服務，作者 Google Cloud

Amin Vahdat

機器學習、系統與 Cloud AI 部門副總裁/總經理

Google Cloud

過去的一段時間，我們看到了許多 Google Cloud 客戶對生成式 AI 和 agent 的精彩應用，令我們拍案叫絕。為了讓企業能夠更快推出功能強大的 AI agent，Google DeepMind在模型技術方面積極探索創新，尤其著力于 Gemini 和 Imagen 的改進。我們的企業 AI 平臺 Vertex AI 也推出了數十項突破性功能。

包括UberEats、Ipsos、Jasper、Shutterstock、Quora等眾多領先組織在內，客戶紛紛運用生成式 AI 創造出色成果，在 Google Cloud 的助力下加速生成式 AI 應用投產。

例如，在 Gemini 1.5 Pro 推出前，大多數多模態用例 (像提交一個視頻并輕松詢問與視頻內容相關的問題) 都還停留在構想階段。但自新模型推出以來，我們已經看到許多圍繞數據開展對話的客戶創新實例，包括:

一家快餐零售企業

使用 Gemini 分析店面的監控錄像，據之識別客流高峰時段并優化店內布局，從而提升客戶體驗。他們還計劃將視頻分析與銷售數據結合起來，更好地理解有哪些因素有助于提高服務效率和滿意度。

一家金融機構

需要處理通過數據表單提交的身份證件掃描圖像。他們利用 Gemini 的多模態功能自動快速地處理圖像和文本，一方面對比信息的準確性，一方面幫助客戶更方便地開設和訪問賬戶。

一家體育公司

使用 Gemini 來分析球員的揮桿動作。將 Gemini 的數據洞察力融入其現有應用后，他們成功利用 AI 分析結果增強了揮桿動作分析工具的功能。

一家保險公司

現在可以利用 Gemini 分析行車記錄儀的事故錄像，更好地理解和描述事故場景。這項分析不但可協助計算風險評分，甚至可根據觀察到的司機行為提供個性化的駕駛建議。

一家廣告和營銷服務公司

開發出面向實時流媒體的描述和旁白功能，實現了變革性的視頻描述解決方案。這一創新簡化了視頻創作過程，提高了效率，并為個性化內容鋪平了道路。

而這些都只是結合多模態功能和長上下文窗口的應用，Gemini 在處理代碼庫、配圖長文檔、音頻訪談等方面的能力同樣強大。

除了客戶的熱烈反響，行業分析師的認可也令我們倍感鼓舞。例如，僅在過去兩個月里，不但 Forrester Research 在《The Forrester Wave:AI 語言基礎模型，2024 年第二季度》中將 Google 評為業界領導者，Gartner 也在《2024 年云 AI 開發者服務魔力象限①》和《2024 年數據科學和機器學習平臺魔力象限②》中將 Google 評為業界領導者。

今天，為了加速這一勢頭，我們很高興地公布 Vertex AI 在模型和企業平臺功能方面的一些重大進展。

下面先從模型說起。

Gemini 1.5 Flash:

領先市場的性價比和低延遲

上個月，我們發布了Gemini 1.5 Flash的公開預覽版。現在，這個新模型已正式推出。它兼具低延遲、實惠價格和突破性的 100 萬 token 上下文窗口等多項優勢，是各種大規模應用場景的理想選擇。從零售聊天客服到文檔處理，再到合成整個知識庫的研究 agent，它都能靈活滿足客戶所需。

最重要的是，Gemini 1.5 Flash 的強大功能、低延遲和高性價比迅速成為我們客戶的最愛。相較于 GPT 3.5 Turbo 等同類模型，它具備多項顯著優勢:

●100 萬 token 的上下文窗口，約為 GPT-3.5 Turbo 的 60 倍

● 在輸入 10,000 字符的情況下，平均速度比 GPT-3.5 Turbo 快40%③

●輸入成本比 GPT-3.5 Turbo 最高可降低 4 倍(對超過 32,000 字符的輸入啟用上下文緩存)

"UberEats 正積極重新構想人們獲取日常生活所需的方式，"Uber資深軟件工程師 Narendran Thangarajan 說道，"因此，我們開發了 Uber Eats AI 助手，讓我們的用戶能夠通過自然語言對話，輕松順暢地探索、發現和購買我們商品目錄中的各種好物。Gemini 1.5 Flash 讓我們的響應時間幾乎減半，而這對整體客戶體驗至關重要。我們非常期待這一模型在提高效率和客戶滿意度方面的潛能，以及它的多模態功能和更長上下文窗口帶來的新機會。"

"Gemini 1.5 Flash 讓我們能夠在不犧牲輸出質量或上下文窗口的情況下，更輕松地在高流量任務中大規模運用生成式 AI，甚至在多模態應用場景中也是如此，"市場調研公司Ipsos的全球生成式 AI 負責人 JC Escalante 說道，"Gemini Flash 為更好地管理投資回報率創造了機會。"

"作為一家致力于幫助企業營銷團隊提高工作效率的 AI 優先公司，我們必須利用成本效益出色的優質多模態模型，助力客戶快速輕松地創作出精彩內容并重新構想其現有創意資產，"Jasper.ai的首席戰略官 Suhail Nimji 說道，"借助 Gemini 1.5 Pro 和新的 1.5 Flash，我們將繼續提升生成式內容的質量標桿，確保遵循品牌風格和營銷準則，同時提高全程效率。"

Gemini 1.5 Pro:

業界領先的 200 萬 token 上下文窗口

Gemini 1.5 Pro現已正式發布。它具備業界領先、最高可達 200 萬個 token 的上下文窗口，能夠解鎖其他模型力不能及的獨特多模態應用場景。

處理僅僅六分鐘的視頻就需要超過 10 萬個 token，而大型代碼庫可能超過 100 萬個 token - 無論應用場景是查找海量代碼中的 bug、在大型研究資料庫中搜尋正確的信息，還是分析數以小時計的音頻或視頻，Gemini 1.5 Pro 的超大上下文窗口都可幫助組織開拓全新領域。

Imagen 3:

更快的圖像生成速度、更強的提示理解能力

Imagen 3 是 Google 最新的圖像生成基礎模型。它在提供卓越圖像質量的同時，更在 Imagen 2 基礎上做了多項改進: 生成速度提高 40% 以上，方便用戶快速進行原型設計和迭代，理解提示和遵循指令的能力更強，能夠生成逼真的人群圖像，并可更精準地控制圖像中的文本渲染。

Imagen 3 現推出預覽版，供 Vertex AI 客戶搶先體驗。它可理解多種語言，內置 Google DeepMind 的 SynthID 數字水印等安全功能，還支持多種畫面比例。

使用 Google 的最新圖像生成模型 Imagen 3 生成的圖片

"在早期測試中，Imagen 3 模型在質量和速度方面都給了我們驚喜，"Typeface的 AI 研究負責人 Gaurav Sharma 說道。這家初創公司專注于利用生成式 AI 進行企業內容創作。"它在細節生成和人類生活圖像方面都有顯著改進。作為 Google 基礎模型的早期試用合作伙伴，我們期待在未來發展道路上進一步探索新的 Imagen 和 Gemini 模型。"

"我們讓用戶能夠利用 AI 的力量，輕松將創意轉化為精美的演示文稿、網站和其他可視化文檔。為了進一步提升個性化水平和創造力，同時減少手動操作，我們通過 Imagen 提供高質量的文生圖功能，"Gamma的聯合創始人 Jon Noronha 說道，"我們的用戶已經用 Imagen 生成了超過 400 萬張圖片。Imagen 3 能夠讓他們更快地創作圖片、在圖片中加入文本，并安全地、更好地生成包含人物的逼真圖片，這令我們非常期待。"

"自從將 Imagen 加入我們的 AI 圖片生成工具后，我們的用戶已經使用這個模型生成了數百萬張圖片。我們非常期待 Imagen 3 承諾的改進，它能讓我們的用戶更快實現他們的創意，而不必犧牲質量。作為 Shutterstock 推出的首款符合道德來源的 AI 圖像生成器的重要增強，我們非常認可的另一點是，它不但內置了安全功能，創作成果也享受 Google Cloud 的生成式 AI 賠償保障。"Shutterstock數據服務副總裁 Justin Hiza 說道。

第三方模型和開放模型:

拓寬使用 Vertex AI 時的模型選擇面

在 Google Cloud，我們致力于通過 Vertex AI 上精心挑選的自有模型、開放模型和第三方模型，為客戶提供更多選擇、為創新注入更多動力。因此，我們非常高興地宣布，Anthropic 新發布的Claude 3.5 Sonnet模型也已登陸 Vertex AI。客戶可以開始使用Google Cloud 上的 Claude 3.5 Sonnet 模型開展實驗或將其部署到生產環境。今年夏末，我們還將在 Vertex AI 的 Model Garden 模型庫中新增 Mistral Small、Mistral Large 和 Mistral Codestral 模型，進一步深化與 Mistral 的合作。

秉持立足當下滿足客戶需求的理念，今年早些時候，我們基于與 Gemini 模型相同的技術和研究成果，推出了一系列輕量級、先進的開放式模型 Gemma。今天，我們正式面向全球的研究人員和開發者發布Gemma 2。Gemma 2 提供 90 億 (9B) 和 270 億 (27B) 參數兩種規格，相較于第一代更加強大高效，并顯著改進了安全性。從下個月開始，客戶將可以在 Vertex AI 上使用 Gemma 2。

費用更低:

Gemini 1.5 Pro 和 Flash 都支持上下文緩存

為幫助客戶高效利用 Gemini 的超大上下文窗口，從今天開始，我們將逐步為 1.5 Pro 和 Flash 模型推出上下文緩存功能的公開預覽版。隨著上下文長度的增加，為長上下文應用生成響應變得越來越昂貴且緩慢，提高投產難度。Vertex AI 上下文緩存功能可將常用上下文保存到緩存中，幫助客戶顯著降低輸入成本(減費幅度最高可達 75%)。目前，Google 是市場上唯一一家提供上下文緩存 API 的供應商。

可預測的性能:

為 Gemini 模型預配吞吐量

從今天起，預配吞吐量功能正式面向許可名單上的客戶推出。它讓客戶在使用 Gemini 1.5 Flash 等 Google 自有模型時能夠負責任地擴容，在容量和價格上都獲得保證。這項 Vertex AI 功能為客戶的生產工作負載帶來了可預測性和可靠性，使他們能夠自信地為生成式 AI 工作負載靈活擴容。

為企業提供可靠信息:

更多接地選擇，不但支持 Google 搜索，現更支持第三方數據

要打造適合企業的平臺，只有模型還不夠。企業需要最大限度地提高準確性并顯著減少幻覺，這意味著不但要將模型接地到來自 Web、第一方和第三方的事實信息和數據，還要滿足企業在數據治理和數據主權等方面的嚴格標準。

在 Google I/O 大會上，我們宣布正式推出 Vertex AI 的 Google 搜索接地服務。隨著這項服務的正式發布，各類企業現在都可以利用 Google 搜索接地來增強 Gemini 的輸出，使模型能夠取用最新的優質信息。客戶可以輕松將增強后的 Gemini 模型集成到他們的 AI agent 中。

"Gemini 1.5 Flash 為未來更好地管理投資回報率創造了機會。通過模型的 Google 搜索接地功能，我們可以利用最新數據，更好地提升我們的對話式產品 Ipsos Facto 的結果相關性，"Ipsos的 JC Escalante 說道，"在我們不懈改善輸出質量和研究人員體驗的道路上，這項功能發揮著不可或缺的關鍵作用。"

"Quora 現在在其 Poe 平臺上提供 Google 搜索接地功能，其產品主管 Spencer Chan 說道:"通過 Google 搜索接地意味著我們可以獲得更準確、更新鮮、更可靠的答案。用戶現在能夠更加自信地與 Gemini 聊天機器人互動，他們的積極反饋讓我們非常欣喜。"

我們今天還宣布，從下個季度開始，Vertex AI 將提供一項新服務，讓客戶能夠使用專業第三方數據來接地他們的 AI agent。這有助于企業將第三方數據集成到他們的生成式 AI agent，解鎖各種獨特應用場景，并提高其 AI 產品中的企業信息準確性。我們正與穆迪、MSCI、湯森路透和Zoominfo等知名供應商合作，將他們的數據引入這項服務。

"Google Cloud 的第三方數據接地服務將為畢馬威和我們的客戶開啟全新應用場景，"畢馬威全球稅務與法務部門首席技術官 Brad Brown 說道，"通過將行業領軍供應商的專業第三方數據無縫集成到我們的生成式 AI 產品中，我們能夠利用高度可信的數據源來減少數據分析時間、推動更明智的決策，并最終實現更豐碩的價值。"

更準確的回答:

高保真模式接地

在金融服務、醫療保健和保險等數據密集型行業中，生成式 AI 應用場景通常要求生成的響應只依據所提供的上下文，而不是模型的寬泛知識。高保真接地功能現發布實驗預覽版，可針對性地滿足這類接地場景需求，包括總結多個文檔、從一組金融數據集中提取數據或處理給定的一套文檔。高保真模式由一個經過專門微調的 Gemini 1.5 Flash 版本驅動，它只使用客戶提供的內容生成回答，可確保響應的高準確性。

保障數據主權的理想選擇:

選擇靜態數據駐留位置，限制機器學習處理區域

很多客戶，尤其是受監管行業的客戶，要求在使用生成式 AI 功能的過程中能夠控制其數據的存儲和處理位置。為了滿足這類數據主權要求，我們在 23 個國家/地區提供靜態數據駐留位置保證 (其中 13 個國家/地區是 2024 年新增的: 西班牙、意大利、以色列、瑞士、波蘭、芬蘭、巴西、印度、中國臺灣、中國香港、澳大利亞、沙特阿拉伯、卡塔爾)，并在美國和歐盟提供對相關機器學習處理位置的額外保證。我們正在努力將機器學習處理保證拓展到另外 8 個國家/地區，其中 4 個國家/地區將在 2024 年內得到支持。

立即開始使用 Vertex AI

正如我們今天分享的客戶案例所展示的那樣，Vertex AI 可幫助企業將生成式 AI 的強大能力轉化為實實在在的變革性成果。我們期待繼續為客戶帶來 Gemini 1.5 Flash 和 Google 搜索接地這樣的創新，并努力將 Vertex AI 打造成完美滿足企業需求的生成式 AI 平臺。