第一部电脑并没有操作系统。这是由于早期电脑的建立方式(如同建造机械算盘)与效能不足以执行如此程序。

但在1947年发明了晶体管，以及莫里斯·威尔克斯(Maurice Vincent Wilkes)发明的微程序方法，使得电脑不再是机械设备，而是电子产品。系统管理工具以及简化硬件操作流程的程序很快就出现了，且成为操作系统的滥觞。

到了1960年代早期，商用电脑制造商制造了批次处理系统，此系统可将工作的建置、调度以及执行序列化。此时，厂商为每一台不同型号的电脑创造不同的操作系统，因此为某电脑而写的程序无法移植到其他电脑上执行，即使是同型号的电脑也不行。

到了1964年，IBM 推出了一系列用途与价位都不同的大型电脑IBM System/360，大型主机的经典之作。而它们都共享代号为OS/360的操作系统(而非每种产品都用量身订做的操作系统)。让单一操作系统适用于整个系列的产品是System/360成功的关键，且实际上IBM目前的大型系统便是此系统的后裔;为System/360所写的应用程序依然可以在现代的IBM机器上执行!

OS/360也包含另一个优点：永久贮存设备—硬盘驱动器的面世(IBM称为DASD(Direct access storage device))。另一个关键是分时概念的建立：将大型电脑珍贵的时间资源适当分配到所有使用者身上。分时也让使用者有独占整部机器的感觉;而Multics的分时系统是此时众多新操作系统中实践此观念最成功的。

1963年，奇异公司与贝尔实验室合作以PL/I语言建立的Multics，是激发1970年代众多操作系统建立的灵感来源，尤其是由AT&T贝尔实验室的丹尼斯·里奇与肯·汤普逊所建立的Unix系统，为了实践平台移植能力，此操作系统在1969年由C语言重写;另一个广为市场采用的小型电脑操作系统是VMS。