Yahoo! ใช้ Hadoop

on 4 August 2007 - 22:59 Tag: Open Source , Yahoo! , Hadoop

Open Source

มีข่าวใหญ่ที่หลุดรอดจอเรดาร์ไป คือ Yahoo! เริ่มใช้ Hadoop ซึ่งเป็นโปรแกรม MapReduce สำหรับทำ search engine แล้ว ในขณะนี้ Yahoo! ใช้งาน Hadoop ประมาณหมื่นเครื่อง

MapReduce เป็นการแบ่งงานออกเป็นส่วนเล็กๆ เพื่อกระจายกันไปทำในคอมพิวเตอร์ขนาดเล็กเป็นจำนวนมาก (map) แล้วนำผลกลับมารวมกันเพื่อหาผลลัพท์ที่ต้องการ (reduce) MapReduce ได้รับความสนใจในหมู่นักวิจัยหลังจากที่กูเกิลเปิดเผยว่าใช้ MapReduce ในการทำ search engine เมื่อสามปีก่อนในช่วงที่กูเกิลเริ่มเปิดตัว GFS (Google File System) ซึ่งใช้เชื่อมโยงคอมพิวเตอร์เล็กๆ หลายพันเครื่องเข้าด้วยกัน

Hadoop เป็น MapReduce เขียนด้วยจาวา เดิมเคยเป็นส่วนของ Nutch มาก่อน ในขณะนี้ได้แยกออกจาก Nutch มาเป็นโครงการใต้ Lucene โดยตรงเนื่องจากมีความซับซ้อนมากขึ้น ในปัจจุบันนอกจากจะมีส่วนของ MapReduce แล้ว ยังมี HDFS (Hadoop Distributed File System) อีกด้วย

ที่มา:

The Road to an Open Source Google
Yahoo!'s bet on Hadoop
Open Source Distributed Computing: Yahoo's Hadoop Support (Yahoo! Developer Network Blog)
Yahoo brings on Hadoop
ไฟล์การนำเสนอในงาน OSCON 2007: ppt ส่วนที่ 1 , ppt ส่วนที่ 2 , video iPod

Hiring! บริษัทที่น่าสนใจ

CP AXTRA Public Company Limited - Lotus's

CP AXTRA Lotus's is revolutionizing the retail industry as a Retail Tech company.

Token X

Blockchain, ICO, Tokenization, Digital Assets, and Financial Service

Carmen Software

Hotel Financial Solutions

Next Innovation (Thailand) Co., Ltd.

We are web design with consulting & engineering services driven the future stronger and flexibility.

United Information Highway Co., Ltd.

UIH is Thailand’s leading Digital Infrastructure and Solution Provider for Business

KKP Dime

KKP Dime บริษัทในเครือเกียรตินาคินภัทร

Kiatnakin Phatra Financial Group

Financial Service

Fastwork Technologies

Fastwork.co เว็บไซต์ที่รวบรวม ฟรีแลนซ์ มืออาชีพจากหลากหลายสายงานไว้ในที่เดียวกัน

Thoughtworks Thailand

Thoughtworks เป็นบริษัทที่ปรึกษาด้านเทคโนโยลีระดับโลกที่คว้า Great Place to Work 3 ปีซ้อน

Iron Software

Iron Software is an American company providing a suite of .NET libraries by engineer for engineers.

CLEVERSE

Cleverse is a Venture Builder. Our team builds several tech companies.

Nipa Cloud

#1 OpenStack cloud provider in Thailand with our own data center and software platform.

CDG GROUP

Provider of IT solutions to public, state, and private sectors in Thailand for over 56 years

Bangmod Enterprise

The leader in Cloud Server and Hosting in Thailand.

CIMB THAI Bank

MOVING FORWARD WITH YOU - CIMB is the leading ASEAN Bank

Bangkok Bank

Bangkok Bank is one of Southeast Asia's largest regional banks, a market leader in business banking

Gofive

“We create world-class software experience”

KBTG - KASIKORN Business-Technology Group

KBTG - "The Technology Company for Digital Business Innovation"

Siam Commercial Bank Public Company Limited

"Let's start a brighter career future together"

Icon Framework co.,Ltd.

Global Standard Platform for Real Estate แพลตฟอร์มสำหรับธุรกิจอสังหาริมทรัพย์ครบวงจร มาตรฐานระดับโลก

REFINITIV

The Financial and Risk business of Thomson Reuters is now Refinitiv

H LAB

Re-engineering healthcare systems through intelligent platforms and system design.

LTMH TECH

LTMH TECH มุ่งเน้นการพัฒนาผลิตภัณฑ์ที่สามารถช่วยพันธมิตรของเราให้บรรลุเป้าหมาย

Seven Peaks

We Drive Digital Transformation

Wisesight (Thailand) Co., Ltd.

The Best Choice For Handling Social Media · High Expertise in Social Data · Most Advanced and Secure

MOLOG Tech

We are Modern Logistic Platform, Specialize in WMS, OMS and TMS.

Data Wow Co.,Ltd

We enable our clients to realize increased productivity by solving their most complex issues by Data

LINE Company Thailand

LINE, the world's hottest mobile messaging platform, offers free text and voice messaging + Call

LINE MAN Wongnai

Join our journey to becoming No.1 food platform in Thailand

ช่วงหลังน

pittaya Sun, 08/05/2007 - 00:41

ช่วงหลังนี่ Yahoo! มาแรงนะ มีของใหม่ๆ ดีๆ ออกมาเยอะ ผิดกับ google ที่ตอนนี้ไม่ค่อยเปิดตัวอะไรเด็ดๆ เท่าไหร่ (หรือมัวแต่ไปกว้านซื้อบริษัทชาวบ้านอยู่)

Don't think, Just read

ผมมองว่า

lew Sun, 08/05/2007 - 01:27

ผมมองว่า MapReduce เป็นแค่เครื่องมือในการใช้พัฒนาระบบการจัดลำดับเว็บเท่านั้น ทุกวันนี้ประเด็นเรื่องความเร็วในการค้นหาเว็บยังไม่มีผลโดยตรงต่อส่วนแบ่งตลาดเท่าใหร่ จะมีผลก็ต่อต้นทุนการดำเนินงานมากว่า

ที่น่าสนใจสำหรับคนใช้อย่างผมคือการเปลี่ยนเทคโนโลยีเช่นนี้จะทำให้ Yahoo! ตอบผลลัพธ์ผมได้ดีกว่าตอนนี้หรือไม่

แต่อาจจะดีขึ้นได้เหมือนกัน ถ้าระบบของ Yahoo! สามารถ Scale ให้ใหญ่กว่าเดิมได้ และรองรับฐานข้อมูลใหญ่กว่าเดิมได้ ------ LewCPE

ผมว่าที่

bossalove Sun, 08/05/2007 - 02:17

ผมว่าที่ google ซื้อๆมาเป็น killer app หลายตัว และตลาดใหญ่นะ (แต่ถ้าเรื่องทางเทคนิคก็คงไม่มีอะไร)

เครื่องเย

sugree Sun, 08/05/2007 - 17:57

เครื่องเยอะขนาดนี้จะทำให้สมรภูมิเปลี่ยนเป็นการแข่ง Interconnection Network แทน

Infiniband รวยแน่ หรือว่า Gigabit Ethernet ยังไหว?

IEEE 802.3ae 10Gb/s Ethernet

Conductor Mon, 08/06/2007 - 03:39

IEEE 802.3ae 10Gb/s Ethernet (ไม่สนับสนุน Half-duplex ด้วย) -- IEEE เชื่อว่าต้นทุนเทียบกับ Gigabit Ethernet จะแพงขึ้นเป็น 3X ในขณะที่ความเร็วเป็น 10X

ดูเหมือนว

sugree Mon, 08/06/2007 - 15:39

ดูเหมือนว่า Infiniband จะต้นทุนต่ำกว่ารึเปล่าครับ

Infiniband - สวิตซ์แพง การ์ดถูก 802.3ae - สวิตซ์แพง การ์ดแพง

แปลกดี คนส่วนใหญ่เล็ง 802.3ae ที่จะมาในอนาคตมากกว่า Infiniband ที่มีในปัจจุบัน

ผมว่าหลาย

lew Mon, 08/06/2007 - 15:47

ผมว่าหลายๆ คนเชื่อว่า Ethernet never dies น่ะครับ ------ LewCPE

ไม่รู้เหม

Conductor Mon, 08/06/2007 - 15:47

ไม่รู้เหมือนกันครับ ตอนนี้ยังไม่คิดจะซื้อเลย

sugree: map-reduce

veer Sun, 08/05/2007 - 21:21

sugree: map-reduce เขาเอามาใช้กับ grid computing กันบ้างหรือเปล่าครับ? หรือว่าใช้ใน computer cluster?

ลองๆ search ดูๆมีคนใช้ map-reduce กับ machine learning ด้วย น่าสนใจดี. อาจจะง่ายกว่าใช้ MPI (หรือเปล่าไม่รู้ เพราะผมก็ใช้ไม่เป็นทั้ง 2 อย่าง :-P).

ในที่สุดก็ reload ฝ่า timeout มาได้.

--- http://openil.wordpress.com/

MapReduce

sugree Mon, 08/06/2007 - 15:31

MapReduce เป็นหลักการพื้นฐานของการประมวลผลแบบขนานและแบบกระจาย ใน MPI เค้าใช้ Gather Scatter กันมานานมาก พวก IR ก็ใช้เทคนิคนี้สำหรับทำ Indexer/Search Engine มานานแล้ว อืมแต่อาจเป็นเพราะส่วนใหญ่จะเป็นงานวิจัยในสาขามากกว่าจะเป็นซอฟต์แวร์แจก คนทั่วไปเลยไม่เคยนึกถึง

งานด้านนี้ไม่มีทุนก็ทำได้แค่เล็กๆ คนส่วนใหญ่มองไม่เห็นความดี คนส่วนน้อยที่เห็นก็ไม่มีทุนเอาไปขยายผล ต้องรอแมวมอง

ขอบคุณครั

veer Mon, 08/06/2007 - 19:36

ขอบคุณครับ. กลับไปสงสัยต้องลองเล่น MPI บ้างละ. จะได้มีฐานไว้บ้าง. --- http://openil.wordpress.com/

ไม่ยอมแพ้

khajochi Mon, 08/06/2007 - 11:28

ไม่ยอมแพ้จริงๆ Yahoo สู้ตายเลย

--- Khajochi

เพิ่งเคยไ

PaePae Mon, 08/06/2007 - 12:31

เพิ่งเคยได้ยินชื่อ MapReduce ^^! แต่ดูคุณสมบัติแล้วไม่รู้จะเอามาใช้อะไรดี ไม่มีข้อมูลให้ประมวลผลขนาดนั้น - -" ——————— คิดๆ ขีดๆ เขียนๆ

กว่าจะพัฒ

demon69gt Mon, 08/06/2007 - 14:59

กว่าจะพัฒนาอะไรใหม่ๆ คนเขาแห่ไปใช้ google ครึ่งค่อนโลก ถ้าไม่มีอะไรเด็ดจริงเป็นการยากมากที่จะดึงกลุ่มผู้ใช้คืนมา อย่างน้อยก็เรื่องความเร็ว อะไรที่มันเกะกะสายตา และเมล์ทำให้มันดีกว่านี้ กรองสแปมได้ดีกว่านี้

Apple

public://topics-images/apple_webp.png

SCB10X

public://topics-images/347823389_774095087711602_515970870797767330_n_webp.png

Windows 11

public://topics-images/hero-bloom-logo.jpg

Huawei

public://topics-images/huawei_standard_logo.svg_.png

Google Keep

public://topics-images/google_keep_2020_logo.svg_.png

Instagram

public://topics-images/instagram_logo_2022.svg_.png

SCB

public://topics-images/9crhwyxv_400x400.jpg

Microsoft

public://topics-images/microsoft_logo.svg_.png

Basecamp

public://topics-images/bwpepdi0_400x400.jpg

Tinder

public://topics-images/hwizi8ny_400x400.jpg

FTC

public://topics-images/seal_of_the_united_states_federal_trade_commission.svg_.png

public://topics-images/pinterest.png

Palantir

public://topics-images/-nzsuc6w_400x400.png

AIS Business

public://topics-images/logo-business-2021-1.png

PostgreSQL

public://topics-images/images.png

JetBrains

public://topics-images/icx8y2ta_400x400.png

Krungthai

public://topics-images/aam1jxs6_400x400.jpg

Palworld

public://topics-images/mccyhcqf_400x400.jpg

Bill Gates

public://topics-images/bill_gates-september_2024.jpg

VMware

public://topics-images/1nj4i1gp_400x400.jpg

Take-Two Interactive

public://topics-images/0khle7nh_400x400.jpg

OpenAI

public://topics-images/ztsar0jw_400x400.jpg

Thailand

public://topics-images/flag_of_thailand.svg_.png

NVIDIA

public://topics-images/srvczsfq_400x400.jpg

ServiceNow

public://topics-images/ytnrfphe_400x400.png

Klarna

public://topics-images/urcllpjp_400x400.png

Google Play

public://topics-images/play.png

Drupal

public://topics-images/drupal.png

Virtua Fighter

public://topics-images/virtua_figther_2024_logo.png

Paradox Interactive

public://topics-images/paradox_interactive_logo.svg_.png

Europa Universalis

public://topics-images/europa-icon.png

Nintendo Switch 2

public://topics-images/mainvisual.png

Cloudflare

public://topics-images/cloudflare_logo.svg_.png

Samsung

public://topics-images/samsung.png

Google

public://topics-images/google_2015_logo.svg_.png

Uber

public://topics-images/uber.png

Microsoft 365

public://topics-images/m365.png

USA

public://topics-images/flag_of_the_united_states.svg_.png

public://topics-images/0pe0po-z_400x400.jpg

Perplexity

public://topics-images/perplex.jpg

Xperia

public://topics-images/xperia.png

iOS 18

public://topics-images/ios-18-num-96x96_2x.png

True

public://topics-images/true_logo.png

SoftBank

public://topics-images/softbank.jpg

Pac-Man

public://topics-images/pacman.png

Harry Potter

public://topics-images/harry.png

Marvel

public://topics-images/marvel.png

Skydance

public://topics-images/skydance.png

SEA

public://topics-images/sealogo.png

Find My Device

public://topics-images/find.png

Gemini

public://topics-images/google_gemini_logo.svg__1.png

Accessibility

public://topics-images/accessibility-128x128_2x.png

Material Design

public://topics-images/m3-favicon-apple-touch.png

Android 16

public://topics-images/android16.png

Android

public://topics-images/android_0.png

Firefox

public://topics-images/firefox_logo-2019.svg_.png

Google Messages

public://topics-images/messages.png

Notepad

public://topics-images/notepad.png

Singapore

public://topics-images/flag_of_singapore.svg_.png

Airbnb

public://topics-images/airbnb.png

PS5

public://topics-images/ps5.png

Krafton

public://topics-images/krafton.png

Doom

public://topics-images/doom-game-s_logo.svg_.png

AMD

public://topics-images/amd_logo.svg_.png

GTA

public://topics-images/gta_0.png

DoorDash

public://topics-images/doordash.png

YouTube

public://topics-images/yt.png

YouTube Music

public://topics-images/yt-music.png

Facebook

public://topics-images/fb.png

iQiyi

public://topics-images/iqiyi_0.png

Viu

public://topics-images/viu.png

Amazon Prime Video

public://topics-images/prime-vid.png

Spotify

public://topics-images/spotify.jpg

Apple TV

public://topics-images/apple-tv.png

HBO Max

public://topics-images/max.png

Threads

public://topics-images/threads.png

Alexa

public://topics-images/alexa.png

Kindle App

public://topics-images/kindle.png

Shopee

public://topics-images/shopee.png

Waze

public://topics-images/waze.png

Bilibili

public://topics-images/bili.png

Google Maps

public://topics-images/maps.png

Apple Music

public://topics-images/apple-music.png

Claude

public://topics-images/claude.png

TikTok

public://topics-images/tiktok.png

Xbox

public://topics-images/xbox.png

Tesla

public://topics-images/tesla.png

Chrome

public://topics-images/chrome.png

Google Calendar

public://topics-images/gcal.png

Google Home

public://topics-images/ghome.png

Google Meet

public://topics-images/meet.png

NotebookLM

public://topics-images/notebooklm.png

public://topics-images/reddit.png

Assassin’s Creed

public://topics-images/ac.png

Mark Zuckerberg

public://topics-images/zuck.jpg