กล้องใน Pixel 3 ได้รับเสียงชมเป็นอย่างมาก แม้จะ "ยืนงงในดงกล้องคู่" อยู่ก็ตามที วันนี้กูเกิลก็ออกมาอธิบายว่าเทคนิคการปรับภาพทำให้ภาพที่ได้มีความละเอียดสูงมากแม้จะใช้กล้องเดี่ยวนั้น อาศัย "ภาพสั่น" กลายเป็นตัวทำให้ได้ภาพความละเอียดสูงขึ้นได้อย่างน่าแปลกใจ

เทคนิคการเพิ่มความละเอียดภาพให้สูงกว่าตัวเซ็นเซอร์ หรือที่เรียกว่า drizzle นั้นเป็นเทคนิคในวงการภาพดิจิตอลมานานนับสิบปีแล้ว โดยอาศัยการรวมภาพที่เขยี้ยนห่างกันเล็กน้อย ทำให้ส่วนของเซ็นเซอร์รับภาพต่างกัน และสามารถนำภาพกลับมารวมกันกลายเป็นภาพความละเอียดสูง แต่การทำเช่นนี้ที่ผ่านมาต้องอาศัยวัตถุหยุดนิ่ง กล้องถูกขยับอย่างแม่นยำ

กูเกิลอาศัยการสั่นไหวของมือผู้ถ่าย แล้วแอบถ่ายภาพเป็นชุดแทนที่จะถ่ายภาพเดียว จากนั้น นำภาพมาวางให้ตรงกัน (align) เพื่อรวมภาพให้ได้ความละเอียดสูงขึ้น แนวทางนี้ทำให้กล้องใน Pixel 3 นั้น ต่อให้ผู้ใช้วางกล้องอย่างนิ่งสนิท ตัวเลนส์ OIS ก็จะพยายามขยับภาพให้สั่นเล็กน้อยเพื่อให้นำภาพมาเพิ่มความละเอียดได้

อัลกอริทึมรวมภาพของกูเกิลนั้นเหนือกว่าอัลกอริทึมอื่น เพราะ

• กระบวนการรวมภาพจะคิดถึงขอบของวัตถุในภาพด้วยเสมอ ทำให้เมื่อถึงจุดตัดระหว่างวัตถุ อัลกอริทึมไม่จับสีมารวมกันจนภาพเบลอ
• อัลกอริทึมรับรู้ว่ามีวัตถุเคลื่อนไหวความเร็วสูงอยู่ในภาพ เมื่อไม่สามารถรวมภาพได้ในบางจุด ก็จะละเว้นไป ตรงนี้จะทำให้ภาพมี noise สูงในบางจุดที่มีการเคลื่อนไหว แต่คุณภาพภาพโดยรวมก็ยังดีขึ้นมาก

ภาพป้ายถนน Pixel 3 ว่าตรงไหนคือขอบป้าย และไม่สีถนนมารวมกับตัวป้าย ทำให้ขอบป้ายไม่เบลอรวมมาหลายภาพ

ภาพรถกำลังเคลื่อนที่ เนื่องจากภาพต่างกันเกินไป อัลกอริทึมใน Pixel 3 จะไม่รวมภาพส่วนที่เป็นรถ โดยยอมใช้ภาพคุณภาพจำกัดจากเฟรมเดียว

ที่มา - Google AI