全面解析!Apple Intelligence:蘋果生成式AI的全新應用與支援設備

Featured Image
蘋果在WWDC 2024 發表會上花了將近40分鐘介紹Apple Intelligence,是蘋果的生成式AI功能,那麼到底Apple Intelligence是什麼?有哪些用法?又有哪些機型可以使用?今天這篇文章幫大家一次整理。

Apple Intelligence是蘋果的生成式AI,內建在iPhone、iPad、Mac中,幫助使用者快速生成文字或圖像、搜尋內容、安排行程、整理重點、執行各種AI相關功能,你可以想像是iPhone內建了一個ChatGPT助理一樣。

蘋果的生成式AI會理解、搜尋裝置內所有App的內容與資訊,再透過機器學習、語義索引、情境分析等算法以及系統內的本機LLM模型,生成適合特定對象、特定情境的內容。

蘋果生成式AI(Apple Intelligence)可以怎麼用?

蘋果在2024 WWDC發表會上花了將近40分鐘介紹Apple Intelligence,並且實際展示了一些蘋果生成式AI的用法。

寫作工具 Writing Tools

很多人想到生成式AI就會覺得應該是可以生成文章,但是蘋果在整場發表會上幾乎沒有什麼提到文章「從無到有」生成這件事,反而對於Apple Intelligence是直接從「改寫」這部分切入。

修改語氣

當你使用Writing Tools的時候,可以透過預設的「友善」、「專業」以及「簡單明瞭」這三種選項,讓Apple Intelligence用不同的語氣來重新改寫原本的內容。

例如寫給老闆的信就可以用「簡單明瞭的」口氣,因為老闆可能不想看太冗長的內容;寫給之前在旅遊時認識的國外朋友就可以用「友善的」口氣改寫,維持彼此的友誼。

校正語法與用字

Apple Intelligence還可以幫助修改用字、語法結構上的錯誤,透過「Proofread」功能,AI就會告訴你哪些用字需要調整,還會讓你知道原因以及正確的用法。這個在寫一些不能犯錯的專業內容、職場商用文件的時候會很實用。

生成重點摘要

Apple Intelligence可以幫忙把落落長的文章用不同的方式簡化,達到好閱讀的效果,透過Writing Tools內建的「總結Summery」、「重點Key Points」、「表格化Table」以及「條列式List」就可以達成。

例如選擇了「Key Points」功能,就可以把選取的範圍用「重點」的方式改寫並且並呈現預覽,如果覺得OK就可以直接取代原本的內容,這樣對方看起來也不會這麼冗長。

在郵件上方也加入了摘要重點的按鈕,對於冗長內容的信件可以生成簡短的摘要,節省瀏覽內容的時間。

提供回覆建議

如果你收到了一個需要回覆的郵件,AI會給你一些回覆的選項,並且從你選擇的結果中,再延伸出更完整的回覆內容,讓你可以不需要花太多時間在輸入文字上。

圖像處理工具

Apple Intelligence的圖像處理工具讓你可以創建和編輯圖片,包括Genmoji、Image Playground和ImageWand這三種功能。

Gemoji表情符號

Gemoji是Apple Intelligence而產生的新功能,輸入相關的描述就可以生成一組4個的全新emoji表情符號;甚至你可以把照片圖庫中辨識到的人物頭像搭配指令做成表情符號。

Image Playground影像遊樂場

在包含Keynotes、無邊記、訊息…等多個App中,可以使用Image Playground功能透過文字生成圖片。在一堆系列選項中,選擇一個你要的主題,選好以後就可以看到預覽的效果,並提供「動畫」、「素描」或「插圖」這三種風格可以選擇。甚至你突然有自己的靈感了也可以加指令進去,Apple Intelligence就會依照這些指令生成有趣的圖片。

ImageWand影像魔杖

如果你喜歡畫速寫、素描,或是你喜歡畫但覺得畫得不好看,ImageWand可以都將你的粗略草圖轉換成精美的圖片。使用Apple Pencil圈出你的草圖,ImageWand會自動分析並依照你的原圖創建一個更精緻的圖像。甚至你什麼都不要畫,在一片空白中也可以依照旁邊描述的內容幫你生成相關的圖片,如果希望文件圖問並茂但是並不會畫圖的人來說相當方便。

理解文字的重要程度

AI還可以依照你的狀況,學習判斷郵件、通知的重要程度,並且幫你做分類,甚至是整合摘要節整你瀏覽的時間。

依據重要程度分類內容

Apple Intelligence透過機器學習與演算法功能,可以判斷你接收到的哪些通知、信件是重要的,然後依照重要程度、內容類別來自動分類,讓你可以自行選擇要先看哪些內容。

郵件摘要預覽

而且信件的預覽功能中,也不僅僅是提供前幾行的文字,而是透過AI整理出整封信件的重點並顯示在預覽上。

進化版Siri+Apple Intelligence

Apple Intelligence中,Siri扮演了相當重要的角色,而且也換上了新的風貌,可以做的事情變得超多。

全新改版的Siri與介面

利用側邊按鍵呼叫Siri後,看到的不再是一個圓圈的符號,而是直接變成漸層外框圍繞在iPhone螢幕周圍,接收指令時外框會有擾動的效果。

自然語言理解能力

Siri現在能理解更自然的語言交流,即使你說話不連貫,Siri也能理解。例如,你可以問「Siri,明天早上在Muir Beach的天氣怎麼樣?」,即使你發現你說錯了要改口說「我剛剛是說Muir Woods」,Siri也能理解並回答。此外,當你中斷了一下,然後再說「幫我建立一個到那裡的路線與時間安排」,Siri也會理解你所說的「那裡」是剛才提到的「Muir Woods」。

搜尋各App內的資訊並整合

現在你可以問Siri任何更私人的問題,例如你問「Siri,我媽媽的飛機什麼時候會到?」,這時Siri就會找到你和媽媽的郵件中有提到這個部分,並顯示給你看。然後也可以順便請Siri告訴你接機後的晚餐計畫,Siri就會從你們過去的對話中找到你安排的晚餐行程,你甚至不用設定行事曆Siri就可以找得到這個行程。或是你也可以請Siri幫你找出朋友之前向你推薦的書單、之前拍起來的證件照,這些Siri都可以在各種不同的App之間找出來,甚至你不知道他在哪個App裡面都沒有關係,反正Siri會去找。

直接解讀螢幕上的內容

簡單來說就是Siri可以看得動你現在畫面長怎樣,例如有人傳了一個地址給你,你可以直接跟Siri說,把這個地址夾到這個人的聯絡資料中,而你都不用跟他說地址是哪個,他就可以找到地址,然後將圖像轉成文字加入到對方的聯絡資料裡。

操作App內的功能

透過增強版的Siri搭配Apple Intelligence功能,就可以直接讓Siri執行App內的功能,例如原本我要在照片App內尋找穿著粉紅色衣服的朋友,我可以透過搜尋搭配「粉紅色」這個關鍵字來達成,現在可以直接呼叫Siri「找出XXX穿著粉色衣服的照片」。或者是跟Siri說「把它加入到備忘錄中關於這位朋友的描述」,Siri就會在備忘錄裡面找到相關的段落,然後加入剛才的照片,這大概也意味著之後可能就可以透過呼叫Siri來傳照片。

在照片裡的AI功能

Apple Intelligence在照片App中也可以發揮不少的功能,包含把不想要出現的背景P掉、搜尋照片或影片、打造專屬的回憶精選集…等功能。

Clean Up修圖功能

透過Apple Intelligence功能,只要點擊一下照片中的背景物件,就可以把不想要出現的元素P掉,這樣就不用上網求人幫忙P圖了。

準確的照片與影片搜尋

前面有提到透過Siri就可以用自然語言的方式來搜尋照片,而且不只是Siri,透過照片App內的搜尋功能用文字的方式也可以搜尋,這個功能甚至是可以搜尋影片的片段;例如下圖就是在照片App中搜尋在草地上單手側翻的內容,其中就包含了影片的部分。

精選輯

只要輸入描述,像是人、事、時、地、物這些線索,Apple Intelligence就可以找出符合條件的照片,然後按照片的類別、時間…等資訊編排,搭配情境給予合適的背景音樂,這樣很快就可以完成一部有故事感的精選輯,例如旅遊的回憶精選、家庭慶生的精選…等,儼然是一部微電影。

整合ChatGPT

Apple Intelligence這次也整合了ChatGPT提供部分功能,如果你提供的要求是包含在ChatGPT可以執行的範圍內,那麼Apple Intelligence就會詢問你是否要用ChatGPT執行。而且目前使用的是最新的GPT-4o模型,可以提供快速又準確地回答。

生成文字與圖片

雖然Apple Intelligence並沒有直接表明可以生成文字內容,但是你可以透過Writing Tools的改寫功能快速生成符合你需求的內容,並且在Image Playground中可以根據描述生成相關的圖片。這樣即使不能從無到有生成完整的文章或圖片,但還是可以通過改寫和生成相關內容的方式,提供更多選擇和方便。

總結:

蘋果的生成式AI功能Apple Intelligence內建在iPhone、iPad、Mac中,幫助使用者快速生成文字或圖像、搜尋內容、安排行程、整理重點、執行各種AI相關功能。使用者可以透過Writing Tools來修改語氣、校正語法與用字,並使用生成重點摘要的功能來簡化冗長的文章。此外,Apple Intelligence還提供回覆建議、圖像處理工具以及整合ChatGPT的功能,讓使用者更方便地處理各種工作與需求。藉由Siri的協助,Apple Intelligence可以直接解讀螢幕上的內容,操作App內的功能,並在照片App中提供修圖、搜尋和精選輯等功能。最後,雖然Apple Intelligence並不能

Share this content: