迅速な応答と長時間のコンテンツ生成タスクの両方に対応するAPI駆動型ワークフローが必要です。

低遅延の応答と長時間のコンテンツ生成ジョブの両方をサポートするAPI駆動型ワークフローを提供します。これにより、開発者は一貫したインターフェースを使用しながら、各タスクに適した実行パターンを選択できるようになります。

この機能は、迅速な対話型応答と長時間のコンテンツ生成タスクの両方を同じ統合内で処理できるように設計された、API駆動型のワークフローを提供します。開発者は、ユーザーエクスペリエンスを維持するために、短いリクエストを高速応答パスにルーティングできます。より多くの時間を要するタスク（長文のコンテンツ生成やマルチステップの出力など）に対しては、ワークフローが非同期またはジョブベースのパターンをサポートします。これにより、タイムアウトが削減され、クライアントが重い処理中に接続を維持し続ける必要がなくなります。このワークフローは一貫したリクエスト/レスポンス規約を促進するため、チームは一度構築すれば、異なるタスク期間にわたって拡張できます。即時的な対話とバックグラウンド処理を分離することで、信頼性を向上させるために使用できます。また、長いタスクが処理されている間に迅速な確認応答を返すことで、プロダクトチームがより良いUXを提供できるよう支援します。一般的なユースケースには、即時回答のためのチャットのような対話や、完了までに時間がかかる可能性のあるバッチスタイルのコンテンツ作成が含まれます。全体として、個別のシステムを必要とせずに混合したレイテンシのニーズをサポートすることで、API設計を合理化します。