تأسست اللجنة الأولمبية اليمنية عام 1974م تحت مسمى اللجنة الرياضية في الشطرين ثم الت اللجنتين الأولمبيتين في شطري اليمن سابقا الاعتراف بهما من قبل اللجنة الأولمبية الدولية عام 1981م

 بمدينة بادن بالمانيا الاتحادية بعد أن حصلت العاب ( كرة القدم –الكرة الطائرة – كرة السله-كرة الطاولة –العاب القوى –الجمباز) الاعتراف من قبل الاتحادات الدولية .ومنذ ذلك الاعتراف سعت اللجنة الأولمبية اليمنية الى الحضور المشرف والفعال في جميع المحافل الدولية سواء التى تنطوي تحت مظلة اللجنة الأولمبية الدولية او غيرها من المشاركات العربية والقارية ابتداءً من الألعاب الاولمبية بلوس انجلوس بأمريكا 1984م حيث تمت المشاركة بلعبة العاب القوى وفي مدينة سيؤول تمت المشاركة بالعاب ( كرة الطاولة – الجودو – العاب القوى-المصارعة – الملاكمة) وعلى المستوى الآسيوي كانت المشاركة الأولى في الدورة الآسيوية التاسعة بمدينة نيودلهي الهندية 1982م ثم دورة سيول العاشرة 1986م حتى تم توحيد اللجنة الأولمبية في تاريخ 8 فبراير 1990م قبل توحيد شطري اليمن في 22 مايو 1990م .