1962年6月にジョン・F・ケネディの妹のユニス・メリー・ケネディ・シュライバーが自宅の庭を開放して35人の知的発達障害者を招いてデイキャンプを行ったのが始まり。その後、Joseph P. Kennedy, Jr. Foundationによって全米に活動が広げられ、1968年7月20日に第1回の夏季世界大会がアメリカのイリノイ州、シカゴで開催される。1968年12月にはSpecial Olympics, Inc.が設立される。1988年に、国際オリンピック委員会(IOC)とオリンピックの名称使用について認める議定書を交わす。現在、ユニスの子息、ティモシー・P・シュライバーが会長を務める。
また、スペシャルオリンピックスにはディビジョニングと呼ばれる特殊なルールがあり、これによってアスリートは性別や競技能力によって、競技技能が同程度になるよう組み分けされる。また、スペシャルオリンピックスでは他の人に勝つ事を目標としておらず、アスリートが自己の最善を尽くす事を目的としている。これはアスリート宣誓のLet me win. But if I cannot win, let me be brave in the attempt.という言葉にも込められている。