비고
이제 Azure AI Foundry 에이전트 서비스가 일반 공급되어 더 많은 도구와 더 나은 엔터프라이즈 기능을 제공합니다. 최신 기능 업데이트 및 개선 사항에 새 서비스를 사용하는 것이 좋습니다.
Azure AI Foundry 모델에서 Azure OpenAI의 기능인 Assistants는 개발자가 데이터를 선별하고, 솔루션을 제안하고, 작업을 자동화할 수 있는 정교한 부조종사 같은 환경을 사용하여 애플리케이션을 쉽게 만들 수 있도록 설계되었습니다.
- 도우미는 특정 지침을 사용하여 Azure OpenAI의 모델을 호출하여 성격과 기능을 조정할 수 있습니다.
- 도우미는 여러 도구에 동시에 액세스할 수 있습니다. 이는 코드 인터프리터 및 파일 검색과 같은 Azure OpenAI 호스트된 도구이거나 함수 호출을 통해 빌드, 호스트된 및 액세스하는 도구일 수 있습니다.
- 도우미는 영구 스레드에 액세스할 수 있습니다. 스레드는 메시지 기록을 저장하고 모델의 컨텍스트 길이에 비해 대화가 너무 길어지면 이를 잘라서 AI 애플리케이션 개발을 간소화합니다. 스레드를 한 번 만들고 사용자가 회신할 때 메시지를 추가합니다.
- 도우미는 다양한 형식의 파일에 액세스할 수 있습니다. 만들기의 일부로 또는 도우미와 사용자 간의 스레드의 일부로 액세스합니다. 도구를 사용할 때 도우미는 파일(예: 이미지 또는 스프레드시트)을 만들고 자신이 만든 메시지에서 참조하는 파일을 인용할 수도 있습니다.
개요
이전에는 사용자 지정 AI 도우미를 빌드하려면 숙련된 개발자라도 힘든 일을 해야 했습니다. 채팅 완료 API는 가볍고 강력하지만 본질적으로 상태 비저장입니다. 즉, 개발자는 대화 상태와 채팅 스레드, 도구 통합, 문서 및 인덱스 검색을 관리하고 코드를 수동으로 실행해야 했습니다.
채팅 완료 API의 상태 저장 발전인 도우미 API는 이러한 문제에 대한 솔루션을 제공합니다. 도우미 API는 지속적으로 자동 관리되는 스레드를 지원합니다. 즉, 개발자는 더 이상 대화 상태 관리 시스템을 개발하고 모델의 컨텍스트 창 제약 조건을 해결할 필요가 없습니다. 도우미 API는 스레드를 선택한 모델의 최대 컨텍스트 창 아래로 유지하기 위해 최적화를 자동으로 처리합니다. 스레드를 만든 후에는 사용자가 응답할 때 새 메시지를 추가할 수 있습니다. 필요한 경우 도우미는 여러 도구에 동시에 액세스할 수도 있습니다. 이러한 도구에는 다음이 포함됩니다.
도우미 API는 OpenAI의 GPT 제품을 구동하는 것과 동일한 기능을 기반으로 빌드되었습니다. 가능한 사용 사례로는 AI 기반 제품 권장, 영업 분석이 앱, 코딩 도우미, 직원 Q&A 챗봇 등이 있습니다. Azure AI Foundry 포털의 코드 없는 길잡이 놀이터에서 빌드를 시작하거나 API를 사용하여 빌드를 시작합니다.
중요합니다
기능 호출, 파일 입력이 포함된 코드 인터프리터 또는 파일 검색, 보조 스레드 기능을 사용하여 신뢰할 수 없는 데이터를 검색하면 도우미 또는 도우미를 사용하는 애플리케이션의 보안이 손상될 수 있습니다. 여기에서 완화 방식에 대해 알아봅니다.
도우미 사용
도우미 사용에 대한 자세한 내용은 다음 참조 설명서를 참조하세요.
사용 가능한 모델
도우미와 함께 사용할 수 있는 Azure OpenAI 모델 목록을 보려면 모델 문서를 참조하세요.
도우미 플레이그라운드
도우미를 사용하기 전에 다음이 필요합니다.
- 호환되는 모델이 배포되었습니다. 모델 배포에 대한 자세한 내용은 리소스 배포 가이드를 참조하세요.
- Azure AI 파운드리 포털의 Azure AI 프로젝트
도우미 구성 요소
| 구성 요소 | 설명 |
|---|---|
| 도우미 | 도구와 함께 Azure OpenAI 모델을 사용하는 사용자 지정 AI입니다. |
| 스레드 | 도우미와 사용자 간의 대화 세션입니다. 스레드는 메시지를 저장하고 자동으로 잘림을 처리하여 콘텐츠를 모델의 컨텍스트에 맞춥니다. |
| 메시지 | 도우미 또는 사용자가 작성한 메시지입니다. 메시지에는 텍스트, 이미지 및 기타 파일이 포함될 수 있습니다. 메시지는 스레드에 목록으로 저장됩니다. |
| 실행 | 스레드의 콘텐츠에 따라 실행을 시작하기 위한 도우미 활성화. 도우미는 구성과 스레드의 메시지를 사용하여 모델과 도구를 호출하여 작업을 수행합니다. 실행의 일부로 도우미는 스레드에 메시지를 추가합니다. |
| 실행 단계 | 도우미가 실행의 일부로 수행한 단계의 세부 목록입니다. 도우미는 실행 중에 도구를 호출하거나 메시지를 만들 수 있습니다. 실행 단계를 조사하면 도우미가 최종 결과를 가져오는 방법을 이해할 수 있습니다. |
도우미 데이터 액세스
현재 도우미용으로 만들어진 도우미, 스레드, 메시지 및 파일의 범위는 Azure OpenAI 리소스 수준으로 지정됩니다. 따라서 Azure OpenAI 리소스 또는 API 키 액세스 권한이 있는 사람은 누구나 도우미, 스레드, 메시지 및 파일을 읽고 쓸 수 있습니다.
다음과 같은 데이터 액세스 제어를 강력히 권장합니다.
- 권한 부여를 구현합니다. 도우미, 스레드, 메시지 및 파일에 대한 읽기 또는 쓰기를 수행하기 전에 최종 사용자에게 해당 작업을 수행할 수 있는 권한이 있는지 확인합니다.
- Azure OpenAI 리소스 및 API 키 액세스를 제한합니다. 도우미가 사용되는 Azure OpenAI 리소스 및 관련 API 키에 액세스할 수 있는 사용자를 신중하게 고려합니다.
- Azure OpenAI 리소스에 액세스할 수 있는 계정/개인을 정기적으로 감사합니다. API 키와 리소스 수준 액세스를 통해 메시지와 파일 읽기 및 수정을 포함한 광범위한 작업이 가능합니다.
- Azure OpenAI 리소스 활동 로그의 특정 양상을 장기간 추적할 수 있도록 하려면 진단 설정을 사용하도록 설정합니다.
매개 변수
도우미 API는 도우미의 출력을 사용자 지정할 수 있는 여러 매개 변수를 지원합니다.
tool_choice 매개 변수를 사용하면 도우미가 지정된 도구를 사용하도록 강제할 수 있습니다. 또한 assistant 역할로 메시지를 만들어 스레드에서 사용자 지정 대화 기록을 만들 수도 있습니다.
temperature, top_p, response_format을 사용하면 응답을 추가로 조정할 수 있습니다. 자세한 내용은 참조 설명서를 참조하세요.
컨텍스트 창 관리
도우미는 모델의 최대 컨텍스트 길이 내에 유지되도록 텍스트를 자동으로 자릅니다. 실행에 활용하려는 최대 토큰 수 및/또는 실행에 포함할 최근 메시지의 최대 수를 지정하여 이 동작을 사용자 지정할 수 있습니다.
최대 완료 및 최대 프롬프트 토큰
단일 실행에서 토큰 사용을 제어하려면 실행을 만들 때 max_prompt_tokens 및 max_completion_tokens를 설정합니다. 이러한 제한은 실행 수명 주기 동안 모든 완료에 사용되는 총 토큰 수에 적용됩니다.
예를 들어, max_prompt_tokens를 500으로 설정하고 max_completion_tokens를 1000으로 설정하여 실행을 시작하면 첫 번째 완료 시 스레드가 500개 토큰으로 자르고 출력이 토큰 1,000개로 제한됩니다. 첫 번째 완료에서 프롬프트 토큰 200개와 완료 토큰 300개만 사용하는 경우 두 번째 완료에서는 프롬프트 토큰 300개와 완료 토큰 700개로 제한됩니다.
완료가 max_completion_tokens 제한에 도달하면 실행이 완료되지 않은 상태로 종료되고 세부 정보는 Run 개체의 incomplete_details 필드에 제공됩니다.
파일 검색 도구를 사용할 때 max_prompt_tokens를 20,000 이상으로 설정하는 것이 좋습니다. 더 긴 대화 또는 파일 검색과의 여러 상호 작용의 경우 이 제한을 50,000으로 늘리거나 이상적으로는 max_prompt_tokens 제한을 모두 제거하여 최고 품질의 결과를 가져옵니다.
잘림 전략
스레드가 모델의 컨텍스트 창에 렌더링되는 방법을 제어하기 위해 잘림 전략을 지정할 수도 있습니다.
auto 형식의 잘림 전략을 사용하면 OpenAI의 기본 잘림 전략이 사용됩니다.
last_messages 형식의 잘림 전략을 사용하면 컨텍스트 창에 포함할 가장 최근 메시지 수를 지정할 수 있습니다.
참고하십시오
- 도우미 및 파일 검색에 대해 자세히 알아보기
- 도우미 및 코드 해석기에 대해 자세히 알아봅니다.
- 도우미 및 함수 호출에 대해 자세히 알아봅니다.
- Azure OpenAI 도우미 API 샘플