บทเรียนที่ควรรู้
1. การสร้าง JSON Schema ในการเรียกใช้ ChatCompletion API
OpenAI เพิ่มฟีเจอร์ใหม่ในการเรียกใช้ ChatCompletion API ที่สามารถกำหนด format ของค่าที่คืนมาเป็นไปตาม JSON Schema ที่กำหนดได้เต็ม 100% เพื่อให้ผู้ใช้สามารถควบคุมการคืนค่าได้อย่างชัดเจน
2. การพัฒนาโมเดล GPT-4o ให้สามารถตอบคำถามตาม JSON Schema ได้ 100%
OpenAI ได้ลดค่าโทเค็นในการใช้งานโมเดล GPT-4o เพื่อให้สามารถตอบคำถามตาม JSON Schema ได้ 100% และได้ออกแบบตัว decoder ใหม่เพื่อเลือก token ที่จะทำให้คำตอบตรงตาม JSON Schema เท่านั้น
ปัญหาและวิธีการแก้ไข
1. ปัญหาการคืนค่าที่ไม่ตรงกับ JSON Schema ที่กำหนด
การไม่สามารถคืนค่าตาม JSON Schema ที่กำหนดอาจทำให้ผู้ใช้ไม่ได้รับข้อมูลที่ต้องการ วิธีการแก้ไขคือการใส่ข้อความที่บ่งบอกในฟิลด์ refusal เพื่อแจ้งให้ผู้ใช้ทราบว่าข้อมูลที่ได้ไม่ตรงตามความต้องการ
2. ปัญหาการจำกัดความยากลำบากในการตอบคำถามตาม schema
การต้องการให้โมเดลสามารถตอบคำถามตาม JSON Schema ได้ 100% มีความยากลำบากในการฝึกและพัฒนา วิธีการแก้ไขคือการลดค่าโทเค็นในการใช้งานโมเดลและการออกแบบ decoder ใหม่ให้สามารถเลือก token ที่เหมาะสมเพื่อตอบคำถามตาม JSON Schema เท่านั้น
คำถามที่ถามบ่อย
1. เป็นอะไรที่ทำให้โมเดล GPT-4o สามารถตอบคำถามตาม JSON Schema ได้ 100%?
การลดค่าโทเค็นในการใช้งานโมเดลและการออกแบบ decoder ใหม่ที่เลือก token ที่จะทำให้คำตอบตรงตาม JSON Schema เท่านั้น
2. ข้อจำกัดของโมเดล GPT-4o ในการตอบคำถามตาม JSON Schema คืออะไร?
โดยรวมสามารถตอบได้ตรง schema เพียง 93%
3. เหตุใดการคืนค่าตาม JSON Schema ที่กำหนดนั้นสำคัญ?
เพื่อให้ผู้ใช้สามารถควบคุมการคืนค่าและตรวจสอบข้อมูลได้อย่างชัดเจน
เวปไซต์ที่เกี่ยวข้อง
คำค้นหาที่เกี่ยวข้อง
- OpenAI ChatCompletion API
- Structured Outputs in ChatCompletion
- GPT-4o Model Development
- JSON Schema Usage
- Token Reduction in GPT-4o
OpenAI เพิ่มฟีเจอร์ในการเรียก ChatCompletion API ให้สามารถกำหนด format ของค่าที่คืนมาเป็นไปตาม JSON Schema ที่กำหนดได้เต็ม 100%
คำสั่งบังคับให้คืนค่าตาม JSON Schema ที่กำหนดนี้สามารถใช้กับ Chat Completion ได้ทุกโมเดล อย่างไรก็ดีโมเดลที่ทาง OpenAI ทดสอบแล้วได้ผลเต็ม 100% จะเป็น gpt-4o-2024-08-06 ที่เพิ่งออกมาวันนี้
ในกรณีที่โมเดลไม่สามารถตอบกลับตาม JSON Schema ที่กำหนดได้ จะไม่คืนค่าตามปกติ แต่ใส่ข้อความมาในฟิลด์ refusal แทน ทำให้ผู้ใช้ตรวจสอบได้โดยง่ายว่ากำลังได้ข้อมูลตามต้องการหรือไม่
กระบวนการทำให้ GPT-4o สามารถคืนค่าตาม JSON Schema ได้ 100% นี้ทำสองขั้นตอน คือ การฝึกโมเดลเพิ่มเติม ซึ่งแม้จะทำได้ดีขึ้นแต่ก็ยังมีข้อจำกัด เพราะโดยรวมสามารถตอบได้ตรง schema เพียง 93% จากนั้นทีมงานสร้างตัว decoder ใหม่ ที่ไม่ได้เลือก token ที่มีความน่าจะเป็นตามโมเดลปกติสูงสุด แต่ใส่เงื่อนไขว่าต้องเลือก token ที่จะทำให้คำตอบตรงตาม JSON Schema เท่านั้น
JSON Schema ที่ใช้งานได้เป็น subset ของมาตรฐานเท่านั้น โดยหลักคือรองรับ properties ไม่เกิน 100 ตัว และสามารถสร้างออปเจกต์ไม่เกิน 5 ชั้น
โมเดล gpt-4o-2024-08-06 ยังลดค่าโทเค็นฝั่งอินพุตลง 50% เหลือ 2.5 ดอลลาร์ต่อล้านโทเค็น และฝั่งเอาท์พุตลดลง 33% เหลือ 10 ดอลลาร์ต่อล้านโทเค็น
ที่มา – OpenAI
Source link
https://www.blognone.com/node/141278
