[筆記] 平行計算(1)

Distributed ： 分開來，每個地方都做不一樣的事情

Parallel ： 分開來，每個地方同時做一樣的事情

_________________________________________________

Concurrency v.s. Parallel

定義：真實在工作運行時任何一個時間點，任兩個同時運行叫做Parallel

定義：兩個東西可以各自進行，沒有dependency 叫做 Concurrency 

允許可以分開來做，但也不一定要分開！ Concurrency

正在運行的狀態是同時的，指的是Parallel !

所以 Concurrency work可以在 Parallel 環境下運行

但也可以在一般狀況下跑

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

Cluster (一群很便宜的電腦) 取代 Super Computing (有一台很厲害的電腦)

風險：一台壞掉了整個就壞了

若一台壞掉的機率是 p，則正常的機率是 1- p 

則所有電腦正常的機率就是 (1 - p)^n 的 n次方！ 這樣很不穩定

所以要用Grid Computing(網格計算)

Grid Computing 利用大量電腦協同運算來解決問題！

“ 網格計算常與同樣著重於高效能計算的叢集計算（cluster computing）做比較，一般來說叢集計算探討的是在區域網路中連結多台同質電腦並透過平行處理來加速解決問題；網格計算則著重於跨區域網路的大規模資源共享來整合分散各地的電腦或叢集系統。” — 截自網路資料： http://terms.naer.edu.tw/detail/1678960/

  

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

Solve compute-intensive problems faster 

v.s.

Solve larger problems in same amount of time

Solve compute-intensive problems faster 

白話文解釋：可做到原來做不到的事情

Solve larger problems in same amount of time

白話文解釋：解決更大的問題

藉由更大量的運算，增加答案的準確性

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

MPI : Message Passing Interface

有標準的規格

有一個函式庫，大部份都是free的

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿