ขยันปล่อยของใหม่กันมาทุกวัน หลังจากเปิดตัว Gemini 2.0 Flash โมเดลตัวแรกในชุด Gemini 2.0 ซึ่งยังเป็นโมเดลขนาดเล็กที่สุด
กูเกิลก็เดินหน้าปล่อยโมเดลตัวใหม่ตามมาทันที ใช้ชื่อว่า Gemini-Exp-1206 เป็นโมเดลรุ่นทดสอบในตระกูล Gemini 2.0 Experimental Advanced ที่บอกว่ามีความสามารถสูงขึ้น ทั้งในเรื่องการเขียนโค้ด แก้โจทย์คณิตศาสตร์ การให้เหตุผล การทำตามคำสั่งเป็นขั้นตอน ฯลฯ
กูเกิลไม่ได้เปิดเผยตัวเลขเบนช์มาร์คเหมือนกับ Gemini 2.0 Flash แต่มีคนลองรันทดสอบกับบางงาน เช่น Text2SQL แล้ว พบว่า Gemini-Exp-1206 ให้ผลออกมาดีที่สุด
โมเดล Gemini-Exp-1206 เปิดให้ลูกค้าแพ็กเกจ Gemini Advanced แบบเสียเงินลองใช้งานแล้ว
ที่มา - Google
Gemini Advanced subscribers can try out gemini-exp-1206, our latest experimental model. Significantly improved performance on coding, math, reasoning, instruction following + more. pic.twitter.com/PyIBxspmk2
— Sundar Pichai (@sundarpichai) December 17, 2024
2024 State of LLMs for Text2SQL Tasks 🏆- Full Report🥇 Overall Performance: @GoogleDeepMind Gemini-Exp-1206🥇 Open Source Model: @Alibaba_Qwen 2.5-Coder:32b (Beats Sonnet 3.5 and on par with GPT-4o!)Disappointing performance by GPT-4o and 3.5 Sonnet on this task. 🧵 pic.twitter.com/wIKqadZqFG
— Subhash Peshwa (@Subhash_Peshwa) December 18, 2024
Comments
เหมือนแค้นที่ OpenAI ทำ event ตัดหน้า Google I/O เลยทำ event แทรกงาน 12 วันของ OpenAI
ตัวฟรีตอนนี้geminiมันให้โมเดลตัวไหนมาใช้นิตอบคำถามแย่มาก
ตัวที่อยู่ในข่าวก็แย่ไม่ต่างกันครับ 😂 ไม่รู้พี่เค้าไป benchmark อิท่าไหน เหมือนเด็กเก่งข้อสอบแต่ประยุกต์ใช้ในชีวิตจริงไม่ได้ ให้ลองบวกเลขง่ายๆยังบวกผิดเลย เข้าใจว่าไม่ใช่งานที่ควรถาม llm นะแต่พี่ผิดอยู่เจ้าเดียวคนอื่นทำได้หมดก็น่าสงสัยอยู่
ผมว่ามีปัญหาที่ข้อมูลที่ใช้เทรนมีมากเกินไป จากที่เคยได้ยินมาว่าหากใช้ข้อมูลเทรนมากถึงจำนวนหนึ่งมันจะเริ่มเอ๋อละประสิทธิภาพจะลดลง