Appleは、仮想アシスタントのSiriの新しい外観と強化された機能を導入しました。更新されたSiriは、オペレーティングシステム内でより統合された設計になり、より自然で直感的なやり取りが可能になりました。

主な改善点の1つは、Siriの言語理解力の向上です。ユーザーは言葉を詰まらせても、Siriはリクエストの意図を理解することができます。これは、Siriの機能を支える大規模言語モデルの進歩によって実現されています。

さらに、Apple はSiriに音声入力ではなく文字入力する機能を導入しました。画面下部をダブルタップすることで、ユーザーは静かに、目立たずにSiriと通信できるようになりました。これは公共の場所や音声入力を好まない場合に便利です。

また、Apple はAirPodsを通じてジェスチャーベースのSiriインタラクションを導入しました。ユーザーは頷いて「はい」と答えたり、ゆっくりと頭を振って「いいえ」と答えたりすることができ、手を使わずにSiriと対話できるようになりました。

Siriのインターフェイスとインタラクション方法の改善は、仮想アシスタントをより使いやすく、自然で、ユーザーのニーズや好みに合わせて適応できるようにするというAppleの取り組みを示しています。大規模言語モデルの活用とAppleのエコシステムへのSiriの深い統合により、より個人的で効率的な仮想アシスタント体験を提供することを目指しています。

素晴らしいのは、画面下部をダブルタップするだけで、いつでもSiriに文字で入力できるようになったことです。急いでアラームをセットしたい時など、状況に応じて音声と文字を使い分けることができます。

今年は、ハンズフリーでのSiriとのインタラクションをさらに簡単にしています。仕事への通勤中のバスの中や、人が多い場所など、Siriに声で応答したくない時でも、頷いて「はい」と答えたり、ゆっくりと頭を振って「いいえ」と答えたりできるようになりました。

Siriに文字で入力したり、頷いたり頭を振ったりするジェスチャーを使ったりすることで、特に公共の場所でも、仮想アシスタントとより控えめに対話できるようになります。このテキストとジェスチャーコントロールの統合により、ユーザーがSiriとさまざまな方法で関わることができ、状況に応じてより使いやすく適応できるようになります。これらの代替入力方法を提供することで、Apple はSiriの体験全体を向上させ、日常生活での使いやすさを高めています。

Siriは、Appleの新しい文字入力と画像生成機能を活用した、数百もの新しいアクションを実行できるようになります。例えば、「ニューヨークでピンクのコートを着たStacyの写真を表示して」と言えば、Siriはその写真を表示します。そして「この写真をよりよくしてください」と言えば、Siriがそれを強調表示します。

Siriはアプリ間でもアクションを実行できるようになります。「これをStacyのプロフィールのノートに追加して」と言えば、Siriは写真アプリからノートアプリに移動して実行します。これは、アプリがSiriショートカットやその他のシステム体験のためのアクションを定義できるApp Intentsフレームワークの大幅な強化によって実現されています。

これはApple独自のアプリに限定されるわけではありません。開発者もApp Intentsフレームワークを使ってアプリ内のアクションをSiriが利用できるようにすることができます。

Apple Intelligenceには、ユーザーの個人的なコンテキストに関する深い理解があり、写真、カレンダーイベント、ファイル、メッセージなどのセマンティックインデックスを持っています。Siriはこのコンテキストを活用して非常に役立つことができ、数か月前に友人が送ってくれた本の推薦を見つけたり、運転免許証の情報を自動的に入力したりすることができます。

これらすべては、ユーザーのプライバシーを保護しながら行われます。ユーザーのデータはAppleに保存されたり、アクセスされたりすることはなく、独立した専門家がシステムのプライバシー主張を検証できます。

Appleのインテリジェンスは、日常のタスクでより効果的にコミュニケーションを取れるよう支援する強力な文章作成ツールを提供しています。これらのツールは、AppleのAIモデルの言語理解機能を活用して、インテリジェントなアシスタンスを提供します。

Rewrite: この機能により、文章の複数のバリエーションを生成できるため、ニーズに最適なバージョンを選択できます。履歴書の作成、メールの修正、メッセージのトーンの微調整など、柔軟に試行錯誤して完璧な表現を見つけられます。

Proofread: 校正ツールは、文法、語彙、文構造を分析し、作品を磨くためのアドバイスを提供します。教授や潜在的な雇用主など、重要なステークホルダーとのコミュニケーションに特に役立ち、メッセージを洗練されたものにします。

Smart Reply: Appleのインテリジェンスは、メールのコンテキストに基づいて、賢明な返信候補を生成できるようになりました。イベントへの出席返信や簡単な更新を行う際に、頭から文章を作る必要がなく、効率的に対応できます。

これらの文章作成ツールは、メール、ノート、Pages、サードパーティアプリなど、Appleのエコシステム全体に深く統合されています。Appleのインテリジェンスが these 機能を支えることで、日常のタスクでより自信を持ってクリアに伝えられるようになり、時間と労力を節約できます。

数千もの絵文字から選べる中で、その瞬間の気持ちを完璧に表現できる絵文字が見つからないことがあります。Appleは新しい機能「Gen Emoji」を導入し、Apple Intelligenceの力を使ってデバイス上で個性的な絵文字を生成できるようにしました。

Gen Emojiを使うには、単に説明を入力するだけで、Apple Intelligenceが状況にぴったりの絵文字を生成します。この処理はキーボード上で行われるため、好きなだけ絵文字を作り出せます。

この機能は楽しく魅力的に見えますが、FacebookのAIステッカーで見られたような悪用の可能性もあると、Appleは認識しています。Gen Emojiが不適切または攻撃的なコンテンツの作成に使われる可能性があるため、Appleはオープンエンドの生成モデルのようなものよりも厳しい管理策を講じています。

Gen Emojiは、ユーザーが望む創造性とパーソナライゼーションをバランス良く提供しつつ、制御されていない生成機能のリスクを軽減するよう設計されています。

全体として、Gen Emojiは絵文字の作成にAIの力を取り入れ、ユーザーがより個性的で視覚的に魅力的な方法で自己表現できるようにするAppleの取り組みを示しています。ただし、同社の慎重なアプローチは、このような技術の複雑さと潜在的な問題点に対処する必要性を反映しています。

Appleは「Image Playground」と呼ばれる新機能を導入し、ユーザーがiPhone、iPad、Macで直接生成画像を作成できるようになります。主なポイントは以下の通りです。

• Image PlaygroundはApple Intelligenceを活用し、ユーザーの説明やコンセプトに基づいて画像を生成します。

• ユーザーはテーマ、衣装、アクセサリ、場所などから選択でき、Apple Intelligenceが予備画像を生成します。完璧なプロンプトを作る必要はありません。

• 画像生成はデバイス上で行われるため、クラウドにデータを送る必要なく、複数の画像を試作できます。

• ユーザーは生成画像のスタイルを調整でき、写実的、スケッチ、イラストから選択できます。

• Appleは専用のImage Playgroundアプリも提供し、生成画像の探索と作成を簡単にします。

• 開発者向けにはImage Playgroundの体験を自社アプリに統合するためのAPIも提供されます。

ここでの焦点は、複雑なプロンプトの作成なしに、一般ユーザーが生成画像の作成を簡単に行えるようにすることです。Appleのデバイス内アプローチはまた、画像生成プロセスをユーザーのデバイスに局所化することで、プライバシーを重視しています。

建築史の授業で、もっと良い画像が欲しいとしましょう。Image Wandを使えば、Apple Pencilで素描を囲むと、ノート内に画像プレイグラウンドが開きます。Image Wandはデバイス内の知性を使って素描と単語を分析し、ノートに最適な画像を生成します。

本当に面白いのは、空白の領域を囲んでも、周辺の文脈から理想的な画像を提案してくれることです。これで、ノートをより視覚的で魅力的にするのがこれまで以上に簡単になりました。

それでも、幅広い世界知識を活用したり、専門的なドメイン専門知識を提供したりする他の人工知能ツールも役立つ場合があります。これらの外部モデルを使えるようにしつつ、別のツールを行き来する必要がないよう、私たちはそれらを直接体験に統合しています。そして、その中でも最高峰であるOpenAIのChatGPTから始めます。

最初に、Siriにサポートを組み込み、Siriがお客様に役立つ可能性がある場合にChatGPTの専門知識を活用できるようにしました。例えば、新鮮な魚と自家製の食材を使って、友人のために豪華な夕食のメニューのアイデアが欲しい場合、Siriに尋ねることができます。Siriはこの質問にChatGPTが適していると判断し、許可を得てから回答を提示します。

写真も一緒に質問できます。デッキの装飾のアドバイスが欲しい場合、写真を撮って質問すれば、Siriが写真をChatGPTと共有することを確認し、関連する提案を返してきます。これは seamless な統合です。

写真に加えて、文書、プレゼンテーション、PDFに関連する質問もできます。また、システム全体の文章作成ツールにもChatGPTを統合しました。Composeを使えば、書きたいことについてChatGPTで内容を作成できます。6歳の子供のためにbutterfliesと謎解きが好きな寝話を作りたい場合、アイデアを入力してChatGPTに送れば、素晴らしい作品が返ってきます。Composeはまた、寝話の挿絵として様々なスタイルの画像をChatGPTに生成させることもできます。

ChatGPTは無料で利用でき、アカウントを作る必要はありません。ChatGPTの有料会員の場合は、アカウントを連携して有料機能にもアクセスできます。もちろん、ChatGPTの使用は常にユーザーの管理下にあり、情報を共有する前に確認します。