AI 설정
애플리케이션에 AI 모델이 구성되어 있으면, 애플리케이션이 서버에 게시된 후 관리 콘솔에서 해당 AI 모델을 관리할 수 있습니다.
AI 모델 관리
관리 콘솔에서 애플리케이션 관리를 클릭하고 애플리케이션을 선택한 다음 "AI 설정"을 선택합니다.
AI 설정 페이지에서는 AI 모델의 이름, 기본 모델을 확인할 수 있으며, 이를 편집할 수도 있습니다.
편집 설정
팝업 설정 대화 상자에서 "편집"을 클릭하여 AI 모델의 매개변수를 편집하세요.
편집 후 "확인"을 클릭하고, AI 모델 페이지에서 "설정 저장"을 클릭하여 수정된 AI 모델 정보를 저장해 나중에 사용하세요.
설정 | 설명하다 |
|---|---|
플랫폼 URL | AI 모델 플랫폼에서 제공하는 OpenAI SDK 호환 인터페이스 주소를 입력하십시오. 예: http://open.bigmodel.cn/api/paas/v4 |
API 키 | 타사 플랫폼에서 제공하는 AI 모델을 사용하는 경우 API 키를 입력하십시오. 로컬에 배포된 AI 모델을 사용하는 경우 API 키 입력란을 비워 두셔도 됩니다. |
모델이름 | 즉, 모델 인코딩의 예로는 glm-4-flash, qwq-32b 등이 있습니다. |
최대 출력 토큰 수(max_tokens) | 모델의 최대 출력 토큰 수입니다. |
온도 | 온도 제어 출력의 무작위성은 [0.0, 1.0] 범위의 양수여야 합니다. 값이 클수록 더 무작위적이고 창의적인 출력이 생성되고, 값이 작을수록 더 안정적이고 결정론적인 출력이 생성됩니다. 사용 시나리오에 따라 `top_p` 또는 `temperature` 매개변수를 조정하는 것이 좋지만, 두 매개변수를 동시에 조정하지 마십시오. |
top_p | 온도 샘플링의 또 다른 방법은 커널 샘플링이라고 하며, 값 범위는 [0.0, 1.0]입니다. 모델은 top_p 확률 품질을 가진 토큰의 결과를 고려합니다. 따라서 top_p가 0.1이면 모델 디코더는 확률 상위 10% 후보 집합의 토큰만 고려합니다. top_p가 0이면 이 매개변수는 아무런 영향을 미치지 않습니다. top_p 또는 온도 매개변수는 사용 시나리오에 따라 조정하는 것이 좋지만, 두 매개변수를 동시에 조정하지 마십시오. |
테스트 | AI 구성이 성공적인지 테스트합니다. |