按照冯·诺依曼的计算机结构，整个计算机硬件系统是由存储器、运算器、控制器、输入设备和输出设备五大部件组成的。

运算器

运算器又称算术逻辑单元（Arithmetic Logic Unit，简称ALU）。它是计算机对数据进行加工处理的部件，包括算术运算（加、减、乘、除等）和逻辑运算（与、或、非、异或、比较等）。

控制器

控制器负责从存储器中取出指令，并对指令进行译码。根据指令的要求，按时间的先后顺序，负责向其他各部件发出控制信号，保证各部件协调一致地工作，一步一步地完成各种操作。控制器主要由指令寄存器、译码器、程序计数器、操作控制器等组成。

存储器

存储器是计算机记忆或暂存数据的部件。存储器分为内存储器（内存）和外存储器（外存）两种。计算机中的全部信息，包括原始的输入数据，经过初步加工的中间数据以及最后处理完成的有用信息都存放在存储器中。对输入数据进行加工处理，控制计算机运行的各种程序、指令也都存放在存储器中。

输入设备

输入设备是给计算机输入信息的设备，它是重要的人机接口，负责将输入的信息（包括数据和指令）转换成计算机能识别的二进制代码，送入存储器保存。

输出设备

输出设备是输出计算机处理结果的设备，大多数情况下，它将这些结果转换成便于人们识别的形式。输入设备和输出设备常常被简称为I/O设备。
现代计算机可认为是由三大部件组成：CPU、I/O设备及主存储器MM。
现代计算机硬件系统的核心是中央处理器（Central Processing Unit，简称CPU）。它是采用大规模集成电路工艺制成的芯片，又称微处理器芯片，CPU的核心是ALU和CU，主要完成数据的运算、处理和控制。
MM（Main Memory）主存储器存放程序和数据，它可直接与CPU交换信息。在现代计算机的存储体系中，通常有三级存储体系，高速缓冲存储器（Cache）、MM主存、外存。三级存储体系的主要作用是不断地提高数据的处理速度，使得最终进入CPU的数据速度接近于ALU的运算速度。

CPU与MM合起来又可称为主机，I/O设备也可叫做外部设备。