按照馮·諾依曼的計算機結構，整個計算機硬體系統是由存儲器、運算器、控制器、輸入設備和輸出設備五大部件組成的。

運算器

運算器又稱算術邏輯單元（Arithmetic Logic Unit，簡稱ALU）。它是計算機對數據進行加工處理的部件，包括算術運算（加、減、乘、除等）和邏輯運算（與、或、非、異或、比較等）。

控制器

控制器負責從存儲器中取出指令，並對指令進行解碼。根據指令的要求，按時間的先後順序，負責向其他各部件發出控制信號，保證各部件協調一致地工作，一步一步地完成各種操作。控制器主要由指令暫存器、解碼器、程序計數器、操作控制器等組成。

存儲器

存儲器是計算機記憶或暫存數據的部件。存儲器分為內存儲器（內存）和外存儲器（外存）兩種。計算機中的全部信息，包括原始的輸入數據，經過初步加工的中間數據以及最後處理完成的有用信息都存放在存儲器中。對輸入數據進行加工處理，控制計算機運行的各種程序、指令也都存放在存儲器中。

輸入設備

輸入設備是給計算機輸入信息的設備，它是重要的人機接口，負責將輸入的信息（包括數據和指令）轉換成計算機能識別的二進制代碼，送入存儲器保存。

輸出設備

輸出設備是輸出計算機處理結果的設備，大多數情況下，它將這些結果轉換成便於人們識別的形式。輸入設備和輸出設備常常被簡稱為I/O設備。
現代計算機可認為是由三大部件組成：CPU、I/O設備及主存儲器MM。
現代計算機硬體系統的核心是中央處理器（Central Processing Unit，簡稱CPU）。它是採用大規模集成電路工藝製成的晶片，又稱微處理器晶片，CPU的核心是ALU和CU，主要完成數據的運算、處理和控制。
MM（Main Memory）主存儲器存放程序和數據，它可直接與CPU交換信息。在現代計算機的存儲體系中，通常有三級存儲體系，高速緩衝存儲器（Cache）、MM主存、外存。三級存儲體系的主要作用是不斷地提高數據的處理速度，使得最終進入CPU的數據速度接近於ALU的運算速度。

CPU與MM合起來又可稱為主機，I/O設備也可叫做外部設備。