คำศัพท์/Recommendation confidence
Recommendation confidence คืออะไร?
Recommendation confidence คือความน่าจะเป็นที่การทำตามคำแนะนำจะทำให้ธุรกิจดีกว่าการไม่ทำอะไร มันเป็นการวัดเชิงเปรียบเทียบที่ยึดกับค่าที่ตั้งอยู่ปัจจุบัน ไม่ใช่ยึดกับศูนย์ และเป็นความน่าจะเป็นไม่ใช่จำนวนเงิน มันตอบว่าการกระทำนี้ชนะบ่อยแค่ไหน ไม่ได้ตอบว่าชนะเท่าไร ค่า 0.8 บนการเพิ่มงบแปลว่าในบรรดาอนาคตที่เป็นไปได้ที่โมเดลพิจารณา งบที่สูงกว่าให้กำไรมากกว่างบปัจจุบันในสี่จากห้ากรณี ค่าที่ใกล้ 0.5 แปลว่าการเปลี่ยนแปลงนี้คือการโยนหัวก้อย และคำแนะนำที่ซื่อสัตย์คือปล่อยไว้เฉย ๆ
01/สูตร
สูตร
confidence = P( กำไร(ค่าที่แนะนำ) ≥ กำไร(ค่าปัจจุบัน) ) ประเมินบนสถานการณ์ที่จับคู่กัน — ใช้ดีมานด์จำลองชุดเดียวกัน กับทั้งสองค่า เพื่อให้การเทียบแยกผลของการเปลี่ยนแปลงออกมาได้: Δ_i = กำไร_i(ค่าที่แนะนำ) − กำไร_i(ค่าปัจจุบัน) confidence = สัดส่วนของสถานการณ์ที่ Δ_i ≥ 0
ตัวอย่าง
แคมเปญที่ถูกติดธงว่าควรลดงบ probability of loss ที่งบปัจจุบัน 0.65 confidence ว่าการลดงบจะช่วย 0.017 แคมเปญขาดทุนในวันส่วนใหญ่ และการลดงบชนะการคงงบไว้ไม่ถึง 2% ของสถานการณ์ ทั้งสองตัวเลขเป็นจริง มีแค่ตัวที่สองที่พูดถึง การตัดสินใจที่กำลังจะทำ
02/รายละเอียด
ทำไมการเทียบต้องจับคู่กัน?
เพราะไม่อย่างนั้นสัญญาณรบกวนจะกลบสัญญาณจริง ถ้าค่าปัจจุบันกับค่าที่เสนอถูกจำลองด้วยดีมานด์สุ่มของใครของมัน ส่วนต่างระหว่างสองอันจะพกความสุ่มของทั้งคู่มาด้วย และการปรับปรุงเล็ก ๆ ที่เป็นจริงจะหายไปในความแกว่งของการจำลอง การจับคู่คือการใช้ดีมานด์จำลองชุดเดียวกันกับทั้งสองค่า วันอังคารเงียบ ๆ วันเดียวกัน วันแคมเปญที่พุ่งชุดเดียวกัน สิ่งที่เหมือนกันจึงหักล้างกัน และสิ่งที่เหลือคือผลของการเปลี่ยนแปลงเอง เทคนิคนี้เรียกว่า common random numbers และถ้าไม่มีมัน ตัวเลข confidence ส่วนใหญ่วัดตัวเครื่องจำลอง ไม่ได้วัดแคมเปญ
ต่างจาก probability of loss อย่างไร?
คนละจุดอ้างอิง คนละคำถาม และขัดกันเป็นประจำ Probability of loss ถามว่ากำไรที่ค่าปัจจุบันอยู่ใต้ศูนย์ไหม ส่วน confidence ถามว่าค่าที่เสนอชนะค่าปัจจุบันไหม แคมเปญที่กำไรดีแต่ออเดอร์ห่างจะได้คะแนนแย่ในข้อแรก และปกป้องตัวเองได้อย่างถูกต้องในข้อที่สอง เพราะยึดคนละจุด หนึ่งลบ probability of loss จึงไม่ใช่ confidence และการปฏิบัติกับสองอย่างนี้เหมือนเป็นส่วนเติมเต็มกันคือความผิดพลาดที่พบบ่อยที่สุดของตัวเลขคู่นี้
Confidence จงใจไม่บอกอะไร?
ไม่บอกว่าเดิมพันใหญ่แค่ไหน เพราะเป็นความน่าจะเป็น มันมองไม่เห็นขนาดแบบเดียวกับ probability of loss การกระทำที่ชนะ 55% ของเวลาด้วยจำนวนเล็กน้อยและแพ้ 45% ของเวลาแบบหายนะจะได้คะแนนเป็นบวกพอประมาณ นั่นคือจุดบอดที่ยอมรับกันอยู่ และครอบคลุมได้ด้วยการจับคู่ confidence กับตัววัดด้านหางอย่าง CVaR เหตุผลที่ confidence ยังเป็นประตูหลักที่ถูกต้องสำหรับการตัดสินใจเรื่องโฆษณาส่วนใหญ่คือมันทนทาน ความน่าจะเป็นไม่ถูกลากไปโดยผลลัพธ์จำลองก้อนเดียวที่ใหญ่ผิดปกติ ต่างจากค่าเฉลี่ย
03/ทำไมจึงสำคัญ
กับดักในหนึ่งย่อหน้า
คำแนะนำอัตโนมัติส่วนใหญ่เกิดจากการเอาตัวเลขไปเทียบกับเกณฑ์ ซึ่งเป็นการถามว่าแคมเปญดูแย่ไหม ไม่ใช่ถามว่าทางแก้ที่เสนอดีขึ้นจริงไหม สองคำถามนี้ต่างกันและขัดกันแรงที่สุดบนแคมเปญที่สำคัญที่สุดพอดี คือแคมเปญที่กำไรดีแต่ผลลัพธ์กระจุกเป็นก้อน ซึ่งดูแย่บนตัวเลขสัมบูรณ์ทุกตัวและไม่ควรถูกแตะ Confidence ย้ายการเทียบไปอยู่ตรงจุดที่การตัดสินใจอยู่จริง
ข้อผิดพลาดที่พบบ่อย
มอง confidence เป็นคะแนนคุณภาพของแคมเปญ มันให้คะแนนการกระทำ ไม่ใช่แคมเปญ ค่า confidence ที่ต่ำมากบนคำแนะนำให้หยุด คือคำยืนยันหนักแน่นว่าแคมเปญควรวิ่งต่อ ไม่ใช่คำบอกว่าแคมเปญทำผลงานได้แย่
04/ใน DataGlass
Recommendation confidence ถูกใช้ใน DataGlass อย่างไร
DataGlass ประเมินคำแนะนำด้านโฆษณาทุกข้อเป็นการเทียบแบบจับคู่กับค่าที่ตั้งอยู่ปัจจุบันบนดีมานด์จำลองชุดเดียวกัน แล้วแสดง confidence ที่ได้ไว้บนคำแนะนำนั้น การกระทำที่ confidence ไม่ผ่านเกณฑ์จะไม่ถูกแสดงเป็นคำแนะนำ นั่นคือเหตุผลที่ campaign ซึ่งดูน่าตกใจบนตัวเลขสัมบูรณ์อาจไม่มีคำแนะนำใด ๆ เลยอย่างถูกต้อง
05/แหล่งอ้างอิง
- [1] Russo, Van Roy, Kazerouni, Osband และ Wen — A Tutorial on Thompson Sampling (arXiv:1707.02038)
พื้นฐานเรื่องการตัดสินใจต่อเนื่องบนฐาน posterior และการเทียบทางเลือกข้ามสถานการณ์ที่สุ่มมา แทนการเทียบกับค่าประมาณเดียว
- [2] Expected shortfall
ตัววัดที่มองเห็นขนาด ซึ่งเข้ามาปิดจุดบอดที่ยอมรับกันของประตูตัดสินใจแบบความน่าจะเป็น
คำศัพท์ที่เกี่ยวข้อง