September 2016  |  01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

スポンサーサイト

一定期間更新がないため広告を表示しています

CentOS 7でバッチシステムといえばTORQUE(OpenPBS)

バッチシステムとしてOpenPBSから派生したTORQUEがEPEL(Extra Packages for Enterprise Linux)ディストリビューションに用意されている。一般的に、OSにEPELリポジトリを追加登録し、必要なパッケージをインストールすると利用可能になるので便利である。
現在、EPELに用意されているTORQUEのバージョンは、4.2.10 で、インストールすれば、TORQUEの設定から始めることができる。
http://docs.adaptivecomputing.com/torque/4-2-10/Content/topics/1-installConfig/initializeConfigOnServer.htm


 
 
» read more

pgbenchで自宅サーバ徒競走(つづき)

JUGEMテーマ:コンピュータ

先日のベンチマークの続きで、Raspberry Pi2 のストレージに遅いマイクロSDを使うのはもったいないという気になったので、実際どのくらい違うものか試してみた。先日は8GB 500円くらいの最大読み出し 30MB/sec というのを使ったが、今回は 16GB 1000円くらいの最大読み出し 80MB/sec というのを使った。

結果は期待どおり(あたりまえか)速くなった。
 
» read more

pgbenchで自宅サーバ徒競走

JUGEMテーマ:コンピュータ

 
体育の日ということで、自宅マシンの性能比較をやってみた。
先日、自宅にクアッドコアのなんちゃってXonサーバを入れたけど、どのくらい早いのかが気になってた。

ベンチマークのプログラムには、普段から使っているアプリからPostgreSQLの pgbench を使うことに。
サーバといっても開発用にLinuxをインストールしたもので、普段の状態が知りたいのでディストリビューションもさまざま、ベンチマークのために再起動したりはしない。
PostgreSQLのチューニングはPgTune を使って簡易的に行ってあるが、インストールしたてと比べると1割か2割の性能向上と思われる(ここでは比較しない)。

ここで、対象としたサーバは次のとおり、比較の際はCPU名で示すことにする。Raspberry Piとの比較用にWindows XPからUbuntu Linuxに載せ替えたEeePCも含めてみた。
CPUとPCモデル(導入時期)は次のとおり。
E3-1275L-v3: Shuttle D81/PC3-12800 (2015/08)
ARMv7l        : Raspberry Pi 2 Model B/LPDDR2 (2015/02)
Celeron-847 : Shuttle DS47/PC3-10600 (2013/12)
Atom-D2550 : Shuttle XS36VL/PC3-8500 (2013/11)
AMDE-350    : ZBOX-AD03BR/PC3-8500 (2012/05)
Atom-330    : Shutle X27D/PC2-4200(2009/06)         ※
Atom-N270   : EeePC 901/PC2-3200(2008/07)

※ ストレージの Read, Write Speed に関して計測しなおしました。(コマンドとオプションについては、http://a98.jugem.jp/?eid=432 を参照 )
※ Atom-330を追加 (2015-10-28)
» read more

なんちゃってXonくあっどこあさーば

JUGEMテーマ:コンピュータ

低消費電力Xonでサーバを組んでみた。
Shuttle DS81E3-1275L v3
Shuttle DS81というHaswell RefreshデスクトップCPUを搭載可能なベアボーンがあり、たまたまリファビッシュ製品がダイレクトショップで出ていた。前回ファンレスサーバを組んだ時には見送ったモデルだと思う。HaswellのソケットLGA1150対応でTDP65W以下のCPUを捜したところ、低消費電力のXonがあることを知った。CPUの価格は3万円を超すようで少し躊躇したが、自宅でクアッドコアサーバという洒落に逆らえず、パーツを買い始めてしまった。
  • DS81(リファビッシュ)ベアボーン; LGA1150 TDP65W以下、Intel H81 Expressチップセット、デュアルDisplay Port、HDMI、デュアルGB LAN、USB3.0, USB2.0、デュアルCOMポート 販売: Shuttleダイレクト ¥16,448
  • Transcend ノートPC用 PC3L-12800(DDR3L-1600) 8GB×2 1.35V(低電圧) - 1.5V 両対応 204pin SO-DIMM kit (無期限保証) TS1600KWSH-16GK 販売: Amazon.com Int'l Sales, Inc. ¥ 12,980
  • Crucial [Micron製Crucialブランド] 自社製MLCメモリー搭載 MX200 2.5インチ 内蔵SSD ( 500GB / SATA 6Gbps / 7mm / 9.5mmアダプタ付 販売: Amazon.com Int'l Sales, Inc. ¥ 25,025
CPUは、比較的手ごろでかつ低消費電力ということで、TDP25WのE3-1230Lv3、E3-1240Lv3あたりを物色してみた(ビデオチップ非搭載なので、シリアルコンソールにしようと)。ところが、残念なことに、1,2年前に出荷されたチップのため、PCパーツ屋さんにも在庫がなく、やっと見つけたバルク品は4万円近くと、当時よりかなり高くなっていた。しかたなく、クアッドコア諦めたまたまPCパーツ屋さんで売ってた1220Lv3を買おうとしたが、ちょうど売り切れ。そんなわけで、しばらくお預けにするつもりだった。 つもりだったけど、たまたまググってたらヤフオクで「Xeon E3-1275Lv3(2.9GHz) Bulk LGA1150 haswell」なるものが15,800円即決で出てるではないか(送料¥200)。これを逃して後悔したくはないと思い落札した。E3-1275Lv3は、TDB45Wと消費電力は大きくなるもののビデオチップが内臓なのでインストールは楽になる。
  • Intel Xon E3-1275Lv3 Bulk; 2.7GHz, Socket LGA1150, TDP45W, GPU HD(GT1), PCIe 3.0 ¥16,000
結局、総額¥70,453-也。CPU付きベアボーンとしては¥32,448とお買い得。 自分にとっては、デュアルコアAtom 330のShuttle X27D以来、4台目の宅内ミニサーバとなる。

※Shuttleマザーボードを入れるとShuttle FV24もあった。(2015-10-28)

Raspberry Pi でPostgreSQLは桁違いに遅かった

JUGEMテーマ:コンピュータ

Raspberry Pi Model A で、ちっちゃなリレーション(10カラム未満)のベンチマークをしてみたところ、PostgreSQLが桁違いに遅い結果となってしまった。Debian系のPostgreSQLパッケージはpsqlがperlのラッパーから起動されるためプロセス起動のオーバーヘッドはあるものの、それを大きく上回る遅さであった。

BerkeleyDBは、SQLite互換モードで使ったが、SQLiteより速かった。SQLiteは競合した場合にエラーとなるため、実行プログラム側でWAITとリトライを行う必要があるが、BerkeleyDBはキューを持つためその必要はなかった。

ベンチマークをするテーブルは10カラム未満のもので、1000回(10クエリを100セット)のINSERTの間、別プロセスで定期的に6または8クエリの1セットのSELECTを行うもので、DBMSはBerkeleyDB, MySQL, PostgreSQL そして、SQLite を対象とした。ベンチマーク用のプログラムはBashシェルスクリプトで記述した。

以下は、INSERT100セットを行ったときの結果で、{同時実行セット数、経過時間[sec]、1セットあたりの所要時間[sec]}を、INSERTとSELECTについてそれぞれのDBMSで測った結果である。なお、インデックスは作成していない。
SQLiteについては、INSERT時にはロックファイルを作成して、SELECTクエリ側ではロックファイルがなくなるまでWAITとリトライをするようスクリプトに記述した。
※WAIT時間のチューニングについてはここでは触れない。

1. Raspbery Pi A+ の結果
Raspberry Pi A+(ARM 700MHz)、RAM 256MB、MicroSDでOSはRaspbian(Wheezy)での、Insert/Select同時ベンチマーク実行結果である。
MySQL 5.5:
::::::::::
Result Times and Averages:
        INSERT 100 672.442153079 4.11888
        SELECT 811 673.441800291 0.332067
PostgreSQL 9.1:
:::::::::::::::
Result Times and Averages:
        INSERT 100 2622.1109690768 23.4154
        SELECT 459 2626.588798772 5.23984
SQLite 3.7:
:::::::::::
Result Times and Averages:
        INSERT 100 550.92420354 2.83853
        SELECT 502 551.120738178 0.397833

PostgreSQLでのベンチマーク結果が一桁遅いのが気になる。
※PostgreSQLをシングルユーザモードで実行した場合は、さらに遅くなった。


2. Raspberry Pi A(MicroSD変更)のベンチマーク結果
Raspberry PiはA+でなく Aではあるが、やや速いMicroSDを使ってのInsert/Select同時ベンチマーク実行結果である。
BerkeleyDB 5.1:
:::::::::::::::
Result Times and Averages:
        INSERT 100 495.308163151 2.26031
        SELECT 603 495.585024318 0.301102
SQLite 3.7:
:::::::::::
Result Times and Averages:
        INSERT 100 522.1067024546 2.51971
        SELECT 559 523.1204274229 0.335052

BerkeleyDBのほうがSQLiteよりもやや速い結果となった。


3. Celeron マシンでのベンチマーク結果

以下は、PostgreSQLを含むCeleron847(Dual Processor)、RAM 2GB、SDD でOSはCentOS6のマシンで、Insert/Select同時ベンチマーク実行結果である。

BerkeleyDB 6.1:
:::::::::::::::
Result Times and Averages:
INSERT 100 281.1365123651 0.381156
SELECT 1220 281.1340809510 0.16721

MySQL 5.1:
::::::::::
Result Times and Averages:
INSERT 100 299.1057975644 0.594603
SELECT 1795 299.1000098073 0.119218

PostgreSQL 9.3:
:::::::::::::::
Result Times and Averages:
INSERT 100 297.728115501 0.27439
SELECT 1165 297.754557170 0.188408

SQLite 3.6:
:::::::::::
Result Times and Averages:
INSERT 100 337.476402330 1.29092
SELECT 1931 337.627725860 0.142878
PostgreSQLも他と大きくは変わらない結果で、SQLiteが遅い結果となった。ただし、SQLiteについては、ロック時のWAIT時間が必要以上に長すぎた(CPUが速くなった分)と考えられる。
 
Check
12345>|next>>
pagetop