レイテンシとスループットを理解する

※本ページは、2022年に公開された Cadence Blog「Understanding Latency versus Throughput」をもとに、AI翻訳ツールを活用して日本語化したものです。内容については原文をご参照ください。

高位合成（High Level Synthesis: HLS）設計手法を採用することによる効果の一つは、「システム設計者」と「ハードウェア設計者」の間に存在する隔たりが大幅に縮小され、場合によっては完全になくなることです。
システム設計者とハードウェア設計者は、モデルを記述するために同じ入力言語（C++／SystemC）を使用するだけでなく、同じ用語にも触れるようになります。その結果、ハードウェア設計者はこれまでほとんど、あるいは全く馴染みのなかった用語に接することになります。
本記事の目的は、しばしば混同され、ときには同じ意味で使われることもある2つの「システム」分野の用語、レイテンシ と スループットについて明確にすることです。

用語の定義
それでは、これら2つの用語を定義してみましょう。
レイテンシ（Latency） とは、何らかの処理を実行したり、結果を生成したりするために必要な時間を指します。レイテンシは、時間の単位で測定されます。例えば、時間、分、秒、ナノ秒、またはクロックサイクル数などです。
スループット（Throughput） とは、単位時間当たりに実行される処理の数、または生成される結果の数を指します。これは、生産対象（自動車、オートバイ、I/Oサンプル、メモリワード、反復処理回数など）の単位を時間で割った形で表されます。メモリシステムのスループットを表す際には、メモリ帯域幅（Memory Bandwidth） という用語が使われることもあります。

■簡単な例
製造業の例で、この2つの概念を明確にしましょう。
ある組立ラインで自動車を製造しているとします。1台の自動車を製造するのに8時間かかり、その工場では1日に120台の自動車を生産しています。

レイテンシ（Latency）：8時間
スループット（Throughput）：120台/日、または5台/時

■設計例
それでは、これらの概念を、より実際の設計に近い例に当てはめてみましょう。
ある設計者が、次のような特性を持つ通信機器向けのハードウェアを設計するという課題を与えられたとします。

クロック周波数：100MHz
演算に許容される時間：1,000ns
デバイスのスループット：640Mbps
出力ワード幅：64 bits

これらの要件を、ハードウェア設計者の観点からより意味のあるレイテンシおよびスループットの指標に変換してみましょう。

レイテンシ: 1000 ns = 1000 ns * (1 s / 10^9 ns) * (100 * 10^6 clock periods/ 1s) = 10^11/10^9 = 100 clock periods.
スループット = 640 Mbits / s = (640 * 10^6 bits/s) * (1 word / 64 bits) * (1 s / 100 * 10^6 clock periods) =  640 * 10^6 / 64 * 100 * 10^6 = 10 * 10 / 100 = 1 / 10 = 0.1 words / clock period.

スループットは、「10クロック周期ごとに1ワード」と表すと より理解しやすいでしょう。
クロック周期数で表したレイテンシと、ワード間で利用可能なクロック周期数で表したスループットは、設計者が性能仕様に従って目的のハードウェアを設計する際に利用できるパラメータです。

■最後に補足
一部のツールでは、スループットを「単位時間当たりの処理量」ではなく、クロック周期数で表現することがあります。これは厳密には正しくありませんが、利便性のために一般的に用いられています。
そのため、一部のツールでは、この通信アルゴリズムのスループットを 「10」 とレポートする場合があります。

■関連コンテンツ:

• How the Productivity Advantages of High-Level Synthesis Can Improve IP Design, Verification, and Reuse
• Genus Synthesis Solution
• Stratus High-Level Synthesis