計算工学ナビ

ものづくりにHPCを活用するための ツールとケーススタディー

サイト内検索

ABINIT-MP Openシリーズ(Ver. 1 Rev. 10)

※2016年12月版(Ver.1 Rev.5)に関するページはこちらです

はじめに

ABINIT-MPは、フラグメント分子軌道(FMO)計算を高速に行えるソフトウェアです[1]。専用GUIのBioStation Viewerとの連携により、入力データの作成~計算結果の解析が容易に行えます。4体フラグメント展開(FMO4)による2次摂動計算も可能です。また、部分構造最適化や分子動力学の機能もあります。FMOエネルギー計算では、小規模のサーバから超並列機の「京」まで対応しています(Flat MPIとOpenMP/MPI混成)。


[1]“Electron-correlated fragment-molecular-orbital calculations for biomolecular and nano systems”, S. Tanaka, Y. Mochizuki, Y. Komeiji, Y. Okiyama, K. Fukuzawa, Phys. Chem. Chem. Phys. 16 (2014) 10310-10344.

特徴

ABINIT-MPは使い易いFMOプログラムで、4体フラグメント展開までが可能です。研究室単位のLinux/Intel系サーバに標準搭載されているMPI環境で動作しますし、特別な設定も必要ありません。また、煩雑で注意深さを要するフラグメント分割を伴う入力データの作成は随伴GUIのBioStation Viewer(Windowsで動作)を使うなどすれば容易に作成出来ます。また、フラグメント間相互作用エネルギー(IFIE)などの計算結果は膨大となりプリントからの理解はしばしば困難ですが、Viewerを使うと可視的・直観的に対象系の相互作用の様態を把握出来ます。

開発の経緯

ABINIT-MPプログラムは、東京大学生産技術研究所を拠点とする「戦略的基盤ソフトウェアの開発」、「革新的シミュレーションソフトウェアの開発」、「HPCI戦略分野4 次世代ものづくり」の一連のプロジェクト(代表:東京大学 加藤千幸教授)、さらにJST-CREST「シミュレーション技術の革新と実用化基盤の構築」(代表:神戸大学 田中成典教授)と立教大学SFR(担当:望月祐志)などの支援を得て、10年以上に渡って開発が進められてきました。Intel Xeon (IA64)系バイナリは、Ver.7が東京大学生産技術研究所の革新的シミュレーション研究センター[2]で利用可能となっています(2018年1月時点)。

現在は、東京大学工学研究科を代表拠点とする「フラッグシップ2020 重点課題6」(代表:東京大学 吉村忍教授)[3]の中で、Openシリーズとして機能強化・高速化とリリースが行われています(取り纏め責任者:立教大学 望月祐志)。第一版は、バイナリで公開してきましたVer. 7を元にメモリー要求の軽減などの改良を施し、2016年12月にまとまった版がVer. 1 Rev. 5です。Rev. 5は、HPCI関係では理研AICSの「京」、東京工業大学のTSUBAME、東京大学・筑波大学のJCAHPCのOakForest-PACSにライブラリ(バイナリ)として提供されました。

Ver. 1 Rev. 5をベースとして成分毎の相互作用エネルギー解析(PIEDA)[4]、局在化軌道による分散力の局所解析(FILM)[5]などの機能強化を図った最新版が2018年2月リリースのVer. 1 Rev. 10になります。また、OakForest-PACS向けでは利用頻度の高いMP2エネルギーでOpenMP/MPI/MPIの3階層の並列化実行も可能となりました。


[2] http://www.ciss.iis.u-tokyo.ac.jp/

[3] http://postk6.t.u-tokyo.ac.jp/

[4]  “Pair interaction energy decomposition analysis”, D. G. Fedorov, K. Kitaura, J. Comp. Chem. 28 (2007) 222-237.

[5] “Fragment interaction analysis based on local MP2”, T. Ishikawa, Y. Mochizuki, S. Amari, T. Nakano, H. Tokiwa, S. Tanaka, K. Tanaka, Theor. Chem. Acc. 118 (2007) 937-945.

Open Ver. 1 Rev. 10 (2018年2月版)の主な機能

Open Ver. 1 Rev. 10はこれまでバイナリで公開してきましたVer. 7に準拠していますが、モデル内殻ポテンシャル(MCP)が追加され、メモリ管理の改良によって動作の安定性が向上しています。

  • エネルギー

→ FMO4: HF, MP2 (CD)

→ FMO2: HF, MP2, MP3

  • エネルギー微分

→ FMO4: HF, MP2

→ FMO2: MP2構造最適化, MD

  • その他機能

→ SCIFIE, CAFI, 重要データ書出し

→ MCP, PB水和, BSSE-CP

→ PIEDA, FILM

→ GUI(BioStation Viewer)

  • 並列化環境(PC~スパコン)

→ MPI, OpenMP/MPI混成

→ MP2エネルギーはOpenMP/MPI/MPIの3階層混成(OakForest-PACS向け)

→ 最深部はBLAS処理

 

Open Ver. 1 Rev. 10 (2018年2月版)の開発者(所属)

望月祐志*(立教大学 理学部), 中野達也(国立医薬品食品衛生研究所 医薬安全科学部), 坂倉耕太(NEC), 沖山佳生(国立医薬品食品衛生研究所 医薬安全科学部), 秋永宜伸(ヴァイナス), 渡邊啓正(HPCシステムズ), 加藤幸一郎(みずほ情報総研), 佐藤伸哉(NECソリューションイノベータ), 山本純一(NECソリューションイノベータ),山下勝美(元 NECソフト), 村瀬匡(元 NECソフト), 石川岳志(長崎大学 医歯薬学総合研究科), 古明地勇人(産業技術総合研究所 バイオシステム部門), 加藤雄司(元 立教大学 理学部), 渡辺尚貴(みずほ情報総研), 塚本貴志(みずほ情報総研), 森寛敏(お茶の水女子大学大学院 人間文化創成科学研究科), 田中成典(神戸大学大学院 システム情報学研究科), 加藤昭史(元 みずほ情報総研), 福澤薫(星薬科大学 薬学部), 渡邉千鶴(理研 横浜)

(*取り纏め責任者)

応用分野

ABINIT-MPのFMO計算は、開発当初から生体分子関係、特にタンパク質とリガンド(薬品分子)の複合系に対して主に用いられてきました。これは、計算で得られるフラグメント間相互作用エネルギーがアミノ酸残基間、あるいはリガンド-アミノ酸残基間の相互作用の状態を理解するのに好適なためです[1]。しかし、FMO計算は生体系に限られるだけでなく、水和凝集系や一般の高分子、あるいは固体なども扱える潜在力を持っています。実際、「フラッグシップ2020 重点課題6」の研究開発活動の中では、有効相互作用パラメータをFMOで求めて高分子の粗視化シミュレーションを行うマルチスケール計算手法と応用が進められています[6,7]。ABINIT-MPの応用は、今後はこうした一般の化学工学や材料科学、あるいは応用物理関係の分野へも広がっていくことを期待していますし、そのための整備とエビデンスの集積を推進していきます。また、統計的な多構造サンプルの計算結果を機械学習によって自動的に解析する試みも始まっています。


[6] “Dissipative particle dynamics (DPD) simulations with fragment molecular orbital (FMO) based effective parameters for 1-Palmitoyl-2-oleoyl phosphatidyl choline (POPC) membrane”, H. Doi, K. Okuwaki, Y. Mochizuki, T. Ozawa, K. Yasuoka, Chem. Phys. Lett. 684 (2017) 427-432.

[7] “Fragment Molecular Orbital-based Parameterization Procedure for Mesoscopic Structure Prediction of Polymeric Materials”, K. Okuwaki, Y. Mochizuki*, H. Doi, T. Ozawa, J. Phys. Chem. B 122 (2018) 338-347.

Openシリーズの今後のリリース

ABINIT-MPには、主に開発の経緯的な事由から「ローカル版」が存在しています[1]。これらでは、励起エネルギーや動的分極率の算定、さらに結合クラスター展開による高精度エネルギー計算などが利用出来ます。こうした機能に関心を持たれる方も居られますし、手持ちのマシン環境によっては再コンパイルやチューニングのためにソースを所望される場合もあります。こうした状況を改善すべく、「フラッグシップ2020 重点課題6」の研究開発の中で産官学を交えたコンソーシアム的な組織でABINIT-MPのソース共有を行い、継続的なコード開発・改良と保守を図っていく活動の中でリリースされていくのがOpenシリーズです。BioStation Viewerについても、随時Openシリーズへの対応を図っていきます。

現在、Ver. 1 Rev. 10を元にフラグメント分割箇所の自由度を向上させるなどの機能的改良を進めています。この版は、Rev. 15として2018年後半にリリースする予定です。

大きな改造を伴いつつ整備を進めているOpen Ver.2では、密度汎関数(DFT)のモジュールなどを分子科学研究所の石村和也研究員のSMASH[8]から、また2電子積分の恒等分解(RI)のモジュール(C言語で記述)を長崎大学の石川岳志准教授のPAICS[9]から移植しています。Ver. 2のリリースは2019年の上期を見込んでいます。

ソースの共有とは別にOpenシリーズでも従来のバイナリでの提供も続ける予定で、以下のようなプラットフォームを対象にしています(2018年2月時点)。

  • PC: Wndows 7 (64 bit)
  • 小規模サーバ: Intel Xeon (IA64) & Xeon Phi (Knights Corner & Landing)
  • スーパーコンピュータ: 富士通系{「京」, FX-10, FX-100, OakForest-PACS}

なお、ベクトル型スーパーコンピュータであるNECのSX-ACEにも対応作業を進めています(Ver. 1 Rev. 10系)。

「京」でのABINIT-MPの多数のジョブの自動実行に関しては、九州大学の小野謙二教授・理研AICSで開発しているWHEEL[10]を使ったインターフェースを整備中です


[8] http://smash-qc.sourceforge.net/

[9] http://www.paics.net/

[10] https://github.com/RIIT-KyushuUniv/WHEEL

FMO創薬コンソーシアム

2015年度から「FMO創薬コンソーシアム」(代表:星薬科大学 福澤薫 准教授)が産官学で組織され、「京」を計算資源としてABINIT-MPによるFMO計算基づくタンパク質・リガンドの相互作用解析が進められています[11]。重要な創薬ターゲットが設定されており、当該領域の共有基盤となる知見(特にIFIEのデータセット)の蓄積が期待されます。ABINIT-MPはOpenシリーズとして今後も改良が続けられていきますが、このコンソーシアムは実践的な利用者コミュニティとして重要な役割を果たしていくことになります。


[11] http://eniac.scitec.kobe-u.ac.jp/fmodd/

開発系コンソーシアム

ABINIR-MPのOpenシリーズの開発や保守にソースレベルでコミットしていただくための産官学の枠組みです(コンタクト先:立教大学 望月祐志)。バグ情報と対策、新規開発の機能のシェアなど意図していますが、参画される企業様が商用に独自の高速化や改良を図ることは基本的に可とする方針です。現初期段階では、個別にご参画をお願い・確認させていただいて立上げようとしているところです。今後、このコンソーシアムについても情報を更新していく予定です。

コンタクト

ABINIT-MPのOpenシリーズのご利用、あるいは開発系コンソーシアムにご関心のある方は、立教大学の望月祐志(fullmoon -at- rikkyo.ac.jp)にメールにてご連絡いただければと思います(-at-を@に変換してください)。ご所望の利用形態に応じて、個別に契約書面の取り交わしをさせていただき、ご提供したいと思います。よろしくお願いいたします。

フラグメント分子軌道計算に基づく粗視化シミュレーション用の有効相互作用(χ)パラメータのワークフローシステムFCEWS (FMO-based Chi parameter Evaluation Workflow System)

はじめに

近年、材料科学や創薬科学の分野においてナノ~メゾ(数~数百nm )の領域をつなぐマルチスケールシミュレーションの重要性が増しています。通常、メゾ構造の予測には散逸粒子動力学(DPD)等の粗視化シミュレーションが用いられます。これまで、粗視化された粒子間の有効相互作用を表現するχパラメータの設定は、実験データを元にフィットするか、古典的な分子力学(MM)に基づいて算定[1]されることがほとんどでした。しかし、実験値やMMパラメータが存在しない系を扱うことは難しく、また古典的な記述では信頼性が十分でないケースもありました。

上記の問題に対する一つの解決策として開発されたのが、FCEWS (FMO-based Chi parameter Evaluation Workflow System)[2]です。FCEWSプログラムでは、χパラメータを、フラグメント分子軌道(FMO)計算の結果を元に半自動的に算定することが出来ます。FMO計算は、通常のMO計算と同じく、非経験的な量子化学的フレームワークを用いていますので、MMを使用した場合と比べて計算対象の制限を受けにくく、幅広い計算対象に対してχパラメータを統一的に算定することが可能です[3]。なお、FCEWSでのFMO計算にはABINIT-MP[4]を使用します。

 


[1] “Application of Molecular Simulation To Derive Phase Diagrams of Binary Mixtures”, C. F. Fan, B. D. Olafson, M. Blanco, S.L. Hsu, Macromolecules 25 (1992) 3667-3676.

[2] “FMO計算に基づくχパラメータ算定システム FCEWS”, 土居英男, 奥脇弘次, 望月祐志, J. Comp. Chem. Jpn., in press.

[3] “Fragment Molecular Orbital-based Parameterization Procedure for Mesoscopic Structure Prediction of Polymeric Materials”, K. Okuwaki, Y. Mochizuki, H. Doi, T. Ozawa, J. Phys. Chem. B, 122 (2018) 338-347.

[4] “Electron-correlated fragment-molecular-orbital calculations for biomolecular and nano systems”, S. Tanaka, Y. Mochizuki, Y. Komeiji, Y. Okiyama, K. Fukuzawa, Phys. Chem. Chem. Phys. 16 (2014) 10310-10344.

特徴

FCEWSは、ユーザーの負担を極力少なくするように設計されています。計算対象分子の構造を用意すれば、ABINIT-MPの入力ファイルの自動生成、計算結果の回収、χパラメータの算定を1コマンドで実行可能です。ABINIT-MPの方でポアソン・ボルツマン(PB)型の連続誘電体モデルのオプション[5]を設定すれば溶媒効果を考慮することも可能で、脂質膜のシミュレーション[6,7]などに好適です。

 


[5] “Incorporation of solvation effects into the fragment molecular orbital calculations with the Poisson–Boltzmann equation”, H. Watanabe, Y. Okiyama, T. Nakano, S. Tanaka, Chem. Phys. Lett. 500 (2010) 116-119.

[6] “Dissipative particle dynamics (DPD) simulations with fragment molecular orbital (FMO) based effective parameters for 1-Palmitoyl-2-oleoyl phosphatidyl choline (POPC) membrane”, H. Doi, K. Okuwaki, Y. Mochizuki, T. Ozawa, and K. Yasuoka, Chem. Phys. Lett., 684 (2017) 427-432.

[7] “散逸粒子動力学における界面付近の水の取扱い”, 土居英男,奥脇弘次,望月祐志,小沢拓, J. Comp. Chem. Jpn., 16 (2017) 28-31.

開発の経緯

FCEWSの方法論的な整備は、(株)JSOL(担当:小沢拓氏)と望月研究室とのコラボレーションとして2014年春に始まりました。2015年度からは、文部科学省「フラッグシップ2020 重点課題6」(代表:東京大学 吉村忍教授)プロジェクト[8]の中で研究開発が進められてきており、実応用として燃料電池の電解質膜のFMO-DPD連携シミュレーションなどで活用されています。また、前出の脂質膜関係[6,7]の他に、省燃費タイヤのゴム/シリカ複合素材[9]にも適用されています。

FCEWSの中でも用いられるABINIT-MPプログラムは、東京大学生産技術研究所を拠点とする「戦略的基盤ソフトウェアの開発」、「革新的シミュレーションソフトウェアの開発」、「HPCI戦略分野4 次世代ものづくり」の一連のプロジェクト(代表:東京大学 加藤千幸教授)、さらにJST-CREST「シミュレーション技術の革新と実用化基盤の構築」(代表:神戸大学 田中成典教授)と立教大学SFR(担当:望月祐志)などの支援を得て、10年以上に渡って開発が進められてきました。現在は、FCEWSと同じく「フラッグシップ2020 重点課題6」の下で開発整備が続けられています。なお、ABINIT-MPの入手・利用については[10]をご参照下さい。

 


[8] http://postk6.t.u-tokyo.ac.jp/

[9] “タイヤゴム素材に関する計算化学的研究”, 石川雄太郎, 奥脇弘次, 土居英男, 望月祐志, 佐藤弘一, 日本ゴム協会2017年年次大会, B-3発表, 名古屋, 2017/5/18.

[10] http://www.cenav.org/abinitmpopen1/

FCEWS Ver. 1 Rev. 2 (2018年2月版)の主な機能

基本的な機能は文献[2]に記してあるものになります。

  • ABINIT-MPを用いたFMO計算のための入力ファイル自動生成機能
  • 計算結果の自動回収機能
  • χパラメータの算定機能

2018年2月現在もFCEWSの手法の改良・拡張は続いており、今後はより汎用性を高め、タンパク質などへも利用を広げていく予定です。

FCEWS Ver. 1 Rev. 2の開発者

奥脇弘次(立教大学 理学部)、土居英男(立教大学 理学部 → 産業技術総合研究所)、望月祐志*(立教大学 理学部) (*取り纏め責任者)

コンタクト

FCEWSのご利用にご関心のある方は、立教大学の望月祐志(fullmoon -at- rikkyo.ac.jp)にメールにてご連絡いただければと思います(-at-を@に変換してください)。個別に契約書面の取り交わしをさせていただき、ご提供したいと思います。よろしくお願いいたします。

SC17報告 ースパコン業界におけるVR/MR最前線ー

2017年11月12日〜17日、スーパーコンピューター関連のトップカンファレンス、SC17が米国デンバー市で開催されました。ここでは、そのエキシビション会場で展示されていたVR/MR系の展示物についていくつか紹介したいと思います。

スーパーコンピューターという言葉は日常生活から縁遠い響きに感じますが、エキシビジョン会場で見かけるメーカー名などは皆さんご存知のものも多いはずです。特にVR/MR系のソフトウェア・ハードウェアはゲーム業界での活用事例が先行していることもあり、お馴染みのメーカー揃いとなっています。

ゲームの世界では高精細なグラフィック表示のために、高性能なCPUとGPU、周辺機器を必要とします。そのためハイエンドなPCは「ゲーミングPC」と銘打って売られることも多いようです。つまり、もともとゲーム業界と、HPC(High Performance Computing)業界はとても近い関係にあるわけですが、そこに昨今のVR/MRブームが組み合わされた結果、HPC業界側で何が起きているのか、をご覧いただければと思います。

ベンダー系出展

DELL

DELLのブースでは、BE A SUPEHERO(スーパーヒーローになろう)と銘打ったVR展示が行われていました。内容はスパイダーマンになって敵と戦うゲームのようです。ヘッドセットはOculusを使っていました。
ノートPCからスパコン用途のラックマウントサーバまで、全方位で製品を揃えるDELLですが、ゲーミングPCについては AlienWareというメーカーを2006年に買収し、そのブランド名を残して販売しています。DELLのブースで見つけたこのVR展示も、壁にそのブランド名が見えます。このデモでも使われているのかもしれません(未確認です)
なお、DELLは今年になってWindows対応のMRヘッドセットを発表していますが、ここでの展示はありませんでした。

Redhat

Linuxディストリビューションとして有名なredhatは、自社製品が複数のアーキテクチャで動作することを説明するコンテンツをVRで体験する展示を行っていました。コンテンツのベースはいわゆるライフゲーム(Wikipediaによる説明)で、そこに自社製品の説明を組み合わせているようです。
使っているVRデバイスはHTC Viveでした。

youtubeでも同じコンテンツの冒頭部分を見ることができます。

 

SUSE

redhat同様にLinuxディストリビューションを提供するSUSEのブースでは、ライトセーバーを振り回すスターウォーズのVRゲームが体験できました。参加者の得点ランキングボードまであって盛り上がっており、自然と人だかりが出来ます。
自社製品との関係は今ひとつ分かりませんでしたが、VRに限らず所謂客寄せイベントはメーカー系ブースでは頻繁に行われており、参加するとお土産がもらえたりします。ここではライトセーバーのオモチャがもらえたようです。

NVIDIA

NVIDIAのGPUはグラフィックス用途のみならず数値計算用途のプロセッサとして、HPCの世界ではメジャーな計算資源として認知されています。ご存知の通りゲームやVRの世界でもNVIDIAのGPU製品は欠かせないものであり、どんな展示があるのか、と期待していましたが、VRの展示は見当たりませんでした。(NVIDIAは巨大なブースで出展しており、見逃した可能性はあります)
写真は構造・流体ソルバのANSYS Discovery Liveによる車両の空力シミュレーション結果を、同社の最新のGPUを用いてリアルタイムかつインタラクティブに視点変更可能に動画として見せるデモです。NVIDIAはVRなどよりもこうした実用的なCAEツールのデモ展示がSCではふさわしいと判断したと思われます。

海外研究機関の出展

 米国エネルギー省(DOE)

米国エネルギー省のブースには、米国内の複数の研究機関が共同で出展しているようでした。駆け足で見て回った途中のこの展示の詳細は分からないのですが、大規模データ可視化を液晶シャッター方式のメガネをかけて立体視するデモのようです。

日本からの出展

産業技術総合研究所(AIST)

産総研では3枚の縦置き液晶ディスプレイで構成されたタイルドディスプレイが目を引きますが、表示しているのは写真中ほどに写る人物がVRヘッドセット(HTC Viveを使用)で見ているものです。表示データは日本全国の降雨量、河川水量など、17000以上のセンサーからの情報を立体棒グラフとして見せています。

海洋研究開発機構(JAMSTEC)

JAMSTECのVR展示は、VFIVEというアプリケーションの体験ができたようです。もともとCAVE(Wikipediaによる説明)向けのデータ可視化ソフトウェアだったものをHMD向けに移植したとこのこと。ヘッドセットをかぶると操作メニューが実際の視界の中に浮かんで見えるようですので、MR的な使い方になるでしょうか。
VFIVEの説明ページ: https://www.jamstec.go.jp/esc/research/Perception/vfive.ja.html

東京大学生産技術研究所 革新的シミュレーション研究センター

計算工学ナビを運営している東大生研 革新的シミュレーション研究センターも、SC17に出展しました。当センターで開発する解析アプリケーションによる大規模計算結果の可視化を、DOEのような液晶シャッター方式のメガネを使って立体視するデモでしたが、ちょっと変わっているのは、データを表示しているディスプレイの周囲にセンサーが着いており、これが液晶シャッターメガネの位置を把握し、メガネ位置、つまり観察者の視点に応じて表示物の向きが変えることができる点です。通常の可視化ソフトでインタラクティブに視点変更するときは、マウスで表示対象物をドラッグするなどして物体側を動かしますが、この装置を使うと観察者自身が動くので、より没入感を感じることが出来ます。

まとめ

以上、SC17で展示されていたVR・MR関係のデモを駆け足で見て回りました。SCは大変大きなエキシビションなため、全ての展示物を見て回れたわけではありませんが、他の参加者の感想なども総合すると、VR・MR関係の展示は昨年より格段に増えているようです。一方、その使われ方については、HPCによる計算結果に対して有効な可視化手法としての提示はまだまだ少ないという印象でした。HMDの性能向上も日進月歩ですので、来年のSC18ではより高度な展開が期待されます。

おまけ

VR・MRとは関係ありませんが、計算工学ナビとしては見逃せない展示がありましたのでご紹介します。

当サイトの人気コンテンツ、「RaspberryPiクラスタ製作記」でも示した通り、シングルボードコンピュータRaspberryPiをクラスタ化して大きな計算能力を得ようという試みは世界中で行われていますが、ついにそれをパッケージ化した製品が登場しました。このRasPi3Bを750台詰め込んだ製品は、ロスアラモス国立研究所とニューメキシコ州の3大学の共同研究で利用されるそうです。
製品説明へのリンク: http://www.bitscope.com/blog/FM/?p=GF13L

ABINIT-MP Openシリーズ

abopen00

2018年2月版に関する新しいページがあります

はじめに

logoABINIT-MPは、フラグメント分子軌道(FMO)計算を高速に行えるソフトウェアです[1]。専用GUIのBioStation Viewerとの連携により、入力データの作成~計算結果の解析が容易に行えます。4体フラグメント展開(FMO4)による2次摂動計算も可能です。また、部分構造最適化や分子動力学の機能もあります。FMOエネルギー計算では、小規模のサーバから超並列機の「京」まで対応しています(Flat MPIとOpenMP/MPI混成)。

特徴

ABINIT-MPは使いやすいFMOプログラムで、4体フラグメント展開までが可能です。研究室単位のLinux/Intel系サーバに標準搭載されているMPI環境で動作しますし、特別な設定も必要ありません。また、煩雑で注意深さを要するフラグメント分割を伴う入力データの作成は、随伴GUIのBioStation Viewer(Windowsで動作)を使うなどすれば容易に作成できます。また、フラグメント間相互作用エネルギー(IFIE)などの計算結果は膨大となりプリントからの理解はしばしば困難ですが、Viewerを使うと可視的・直観的に対象系の相互作用の様態を把握できます。

開発の経緯

ABINIT-MPプログラムは、東京大学生産技術研究所を拠点とする「戦略的基盤ソフトウェアの開発」、「革新的シミュレーションソフトウェアの開発」、「HPCI戦略分野4 次世代ものづくり」の一連のプロジェクト(代表:東京大学 加藤千幸教授)、さらにJST-CREST「シミュレーション技術の革新と実用化基盤の構築」(代表:神戸大学 田中成典教授)と立教大学SFR(担当:望月祐志)などの支援を得て、10年以上に渡って開発が進められてきました。Intel Xeon (IA64)系バイナリは、Ver.7が東京大学生産技術研究所の革新的シミュレーション研究センターで、また「京」向けのVer.6+が理化学研究所計算科学研究機構で利用可能となっています(2017年1月時点)。
現在は、東京大学工学研究科を代表拠点とする「フラッグシップ2020 重点課題6」(代表:東京大学 吉村忍教授)の中で、Openシリーズとして機能強化・高速化とリリースが行われています(取り纏め責任者:立教大学 望月祐志)。2016年12月の段階でまとまった第一版がVer. 1 Rev. 5になります。

Open Ver.1 Rev.5 (2016年12月版)の主な機能

Open Ver. 1 Rev. 5はこれまでバイナリで公開してきましたVer. 7に準拠していますが、モデル内殻ポテンシャル(MCP)が追加され、メモリ管理の改良によって動作の安定性が向上しています。

・エネルギー
→ FMO4: HF, MP2 (CD)
→ FMO2: HF, MP2, MP3
・エネルギー微分
→ FMO4: HF, MP2
→ FMO2: MP2構造最適化, MD
・その他機能
→ SCIFIE, CAFI, 重要データ書出し
→ MCP, PB水和, BSSE-CP
→ GUI(BioStation Viewer)
・並列化環境(PC~スパコン)
→ MPI, OpenMP/MPI混成
→ 最深部はBLAS処理

[図を表示]



Open Ver.1 Rev.5 (2016年12月版)の開発者(所属)

望月祐志*(立教大学 理学部), 中野達也(国立医薬品食品衛生研究所 医薬安全科学部), 坂倉耕太(NEC),沖山佳生(国立医薬品食品衛生研究所 医薬安全科学部), 秋永宜伸(ヴァイナス), 渡邊啓正(HPCシステムズ), 加藤幸一郎(みずほ情報総研), 山本純一(NECソリューションイノベータ), 山下勝美(元 NECソフト), 村瀬匡(元 NECソフト), 石川岳志(長崎大学 医歯薬学総合研究科), 古明地勇人(産業技術総合研究所 バイオシステム部門), 加藤雄司(元 立教大学 理学部), 渡辺尚貴(みずほ情報総研), 塚本貴志(みずほ情報総研), 森寛敏(お茶の水女子大学大学院 人間文化創成科学研究科), 田中成典(神戸大学大学院 システム情報学研究科), 加藤昭史(みずほ情報総研), 福澤薫(星薬科大学 薬学部), 渡邉千鶴(理研 横浜)
(*取り纏め責任者)

応用分野

ABINIT-MPのFMO計算は、開発当初から生体分子関係、特にタンパク質とリガンド(薬品分子)の複合系に対して主に用いられてきました。これは、計算で得られるフラグメント間相互作用エネルギーがアミノ酸残基間、あるいはリガンド-アミノ酸残基間の相互作用の状態を理解するのに好適なためです[1]
しかし、FMO計算は生体系に限られるだけでなく、水和凝集系や一般の高分子、あるいは固体なども扱える潜在力を持っています。実際、「フラッグシップ2020 重点課題6」の研究開発活動の中では、有効相互作用パラメータをFMOで求めて高分子の粗視化シミュレーションを行うマルチスケール計算手法と応用が進められています。ABINIT-MPの応用は、今後はこうした一般の化学工学や材料科学、あるいは応用物理関係の分野へも広がっていくことを期待していますし、そのための整備とエビデンスの集積を推進していきます。また、統計的な多構造サンプルの計算結果を機械学習によって自動的に解析する試みも始まっています。

abopen03

Openシリーズの今後のリリース

ABINIT-MPには、主に開発の経緯的な事由から「ローカル版」が存在しています[1]。これらでは、励起エネルギーや動的分極率の算定、さらに結合クラスター展開による高精度エネルギー計算などが利用出来ます。こうした機能に関心を持たれる方も居られますし、手持ちのマシン環境によっては再コンパイルやチューニングのためにソースを所望される場合もあります。こうした状況を改善すべく、「フラッグシップ2020 重点課題6」の研究開発の中で産官学を交えたコンソーシアム的な組織でABINIT-MPのソース共有を行い、継続的なコード開発・改良と保守を図っていく活動の中でリリースされていくのがOpenシリーズです。
2016年度に整備しているOpen Ver.2では、密度汎関数(DFT)のモジュールなどを分子科学研究所の石村和也研究員のSMASHから、また2電子積分の恒等分解(RI)のモジュール(C言語で記述)を長崎大学の石川岳志准教授のPAICSから移植しています。Open Ver. 2のリリースは2017年度内を予定しています。また、Open Ver. 1 Rev. 5をベースにメニーコアのIntel Xeon Phi (Knights Landing)に対応する作業も開始しました。Open Ver. 3では、「ローカル版」の機能も統合して公開とする予定です。BioStation Viewerについても、随時Openシリーズへの対応を図っていきます。

ソースの共有とは別にOpenシリーズでも従来のバイナリでの提供も続ける予定で、以下のようなプラットフォームを対象にしています(2017年1月時点)。

・PC: Wndows 7 (64 bit)
・小規模サーバ: Intel Xeon (IA64) & Xeon Phi (Knights Corner & Landing)
・スーパーコンピュータ: 富士通系{「京」, FX-10, FX-100, OakForest-PACS}

今後、PCではMac、スーパーコンピュータではNEC系のSXも対応していきます。

HPCIセンターでは「京」、東京工業大学TSUBAME、東京大学・筑波大学OakForest-PACSにOpen Ver. 1 Rev. 5が導入される予定です(2016年度内)。

FMO創薬コンソーシアム

2015年度から「FMO創薬コンソーシアム」(代表:星薬科大学 福澤薫 准教授)が産官学で組織され、「京」を計算資源としてABINIT-MPによるFMO計算基づくタンパク質・リガンドの相互作用解析が進められています。重要な創薬ターゲットが設定されており、当該領域の共有基盤となる知見(特にIFIEのデータセット)の蓄積が期待されます。ABINIT-MPはOpenシリーズとして今後も改良が続けられていきますが、このコンソーシアムは実践的な利用者コミュニティとして重要な役割を果たしていくことになります。

開発系コンソーシアム

ABINIT-MPのOpenシリーズの開発や保守にソースレベルでコミットしていただくための産官学枠組みです(コンタクト先:立教大学 望月祐志)。バグ情報と対策、新規開発の機能のシェアなど意図していますが、参画される企業様が商用に独自の高速化や改良を図ることは基本的に可とする方針です。現初期段階では、個別にご参画をお願い・確認させていただいて立上げようとしているところです。今後、このコンソーシアムについても情報を更新していく予定です。

コンタクト

ABINIT-MPのOpenシリーズのご利用、あるいは開発系コンソーシアムにご関心のある方は、立教大学の望月祐志(fullmoon -at- rikkyo.ac.jp)にメールにてご連絡いただければと思います(-at-を@に変換してください)。ご所望の利用形態に応じて、個別に契約書面の取り交わしをさせていただき、ご提供したいと思います。

[1] “Electron-correlated fragment-molecular-orbital calculations for biomolecular and nano systems”, S. Tanaka, Y. Mochizuki, Y. Komeiji, Y. Okiyama, K. Fukuzawa, Phys. Chem. Chem. Phys. 16 (2014) 10310-10344.

Windows10のubuntu互換環境でオープンソース流体ソフトウェアを動かしてみた

東京大学生産技術研究所 革新的シミュレーション研究センター

鵜沢 憲 (uzawa@iis.u-tokyo.ac.jp)

14274439_10208515693423093_1321850254_o

背景

2016年8月3日に提供された64ビット版Windows10のバージョン1607(ビルド番号14393, Anniversary Update)から,Windows上でubuntu互換の実行環境(Windows Subsystem for Linux, 以降WSL)[1],及びシェル(Bash on Ubuntu on Windows, 以降BUW)が使用可能となった.

これまでWindows上で流体ソフトウェアを動かす場合,Windowsのバイナリで提供してもらって実行する,もしくはVMware[2], VirtualBox[3]等の仮想環境やCygwin[4]等のエミュレータでUNIXのバイナリを実行するようなケースがほとんどであろう.

Microsoft社のWSL開発グループによれば,それらの仮想環境と比較して,今回リリースされたWSLは必要とするリソース(CPU, メモリ, ストレージ)が少なくて済むと述べている[5].また,これまでの仮想環境やエミュレータで不便を感じることもあったWindowsとLinuxとの間でのファイルやディレクトリ,コマンドの互換性の問題も回避されている.これらの特徴は,Windowsで流体解析を行う際のハードルが下がる可能性がある.

そこで,試しにオープンソースの流体ソフトウェアをインストールし,流体解析の一連の流れを通じてWSLの使い勝手を調べるともに,簡単なベンチマーク問題を対象に計算性能を評価し,WSLにおける流体解析の可能性を調査することとした.

なお,流体ソフトは文科省フラッグシップ2020プロジェクト重点課題8「近未来型ものづくりを先導する革新的設計・製造プロセスの開発」サブ課題A「設計を革新する多目的設計探査・高速計算技術の研究開発」で開発が進められているFrontFlow/violet-Cartesian(FFV-C)[6]を用いた.FFV-Cは任意のアーキテクチャ対応の性能評価ライブラリPMlib[7]をデフォルトで実装しており,計算終了後に計算時間の測定や計算負荷のホットスポット同定等を検証することができる.

今回,PMlibを利用してWSLでの計算時間や計算性能について調査したところ,いくつか興味深い結果が得られたので,WSLの使用感とともに,まずは第一報としてここに報告する次第である.

WSL及びBUWのインストール及び動作確認

WindowsへのWSL及びBUWの導入手順や不具合,使用感などはこれまでに多く報告されている[8-11].

今回筆者も上記の手順をなぞることにしたが,日頃の行いが悪いのだろう,第一歩目のバージョン1607へのアップデートに失敗してしまった.プリインストールされていたWindows10 HomeにAnniversary Updateをかける度に,途中でフリーズしてしまうのである.頑張って心折れずに調べたところ,システムをSSDに入れているPCにアップデートをかけるとフリーズする場合がある[12] とのことで,今回の原因もどうやらそのようであった.

対処方法として,今回はプリインストールされていたWindows10を完全に削除し,イメージ形式で取得したバージョン1607[13]をUSBからクリーンインストールすることとした.クリーンインストール後は,上記の記事通りになぞることで,無事WSL及びBUWを入手することができた.

インストールが上手くいくと,スタートメニューに「Bash on Ubuntu on Windows」が現れるようになる(図1).インストール時間を正確に測定したわけではないが,感覚的には,従来の仮想環境やエミュレータ環境を構築する場合と比較してはるかに短時間かつ容易に構築することができた.一般的なWindowsアップデートに毛が生えた程度の印象である.

図1Bash on Ubuntu on Windows on スタートメニュー

図1Bash on Ubuntu on Windows on スタートメニュー

クリックすると,普段使っているubuntuと同様のbashが立ち上がった.ubuntuとbashのバージョンは,それぞれ14.04と4.3.11である.(図2)

図2 夢にまで見たWindowsでのbash

図2 夢にまで見たWindowsでのbash

BUWを一通り触り,ネイティブbashと同様の操作感であることを確認.

FFV-Cのインストール及び動作確認

引き続き,流体ソフトウェアのFFV-Cをインストールする.なお,WSLには必要最低限の機能しか入っていないので,FFV-Cの計算やプリ・ポスト処理に必要なソフトウェアやライブラリを予めインストールしておく.

GNUコンパイラ(gcc, g++, gfortran)及びgnuplotのインストール

ネイティブubuntu下と同様に,それぞれsudo apt-get install * とすれば良い.

$ sudo apt-get install build-essential
$ sudo apt-get install gfortran
$ sudo apt-get install gnuplot-x11

(もちろん,まとめてインストールしても良い.)

なお,sudo実行時に「***の名前解決ができません」と出るときは,WindowsのIPアドレスをetc/hostsに記入すれば,毎回怒られずに済む.(図3)

図3 /etc/hosts ファイル

図3 /etc/hosts ファイル

OpenMPIのインストール

FFV-Cは,OpenMPIによるプロセス並列とOpenMPによるスレッド並列を組み合わせたハイブリッド並列でコーディングされている.したがって,OpenMPIのソースコードを公式サイト[14]等から入手し,所望のディレクトリ下で展開,コンパイル・実行しておく.

この際configure用に以下のスクリプトを用意しておくと便利である[15].

 

$ vi config.sh
#!/bin/bash
export CC=gcc
export CFLAGS=-O3
export CXX=g++
export CXXFLAGS=-O3
export F77=gfortran
export FFLAGS=-O3
export FC= gfortran
export FCFLAGS=-O3
./configure --prefix=$1

問題なくconfigureできたら,コンパイルとインストールをする.

 

$ make
$ make install

MobaXterm のインストール

プリ・ポスト処理のために,Windows上の代表的なXサーバであるMobaXterm[16]をインストールする.MobaXtermをインストールしておくと,入力ファイルを外部エディタで修正したり,計算結果を可視化したりできるようになるので便利である.

インストールはほぼ一直線なので割愛する.無事にインストールが完了すると,MobaXtermを立ち上げることができる.(図4)

図4 MobaXterm の初期画面

図4 MobaXterm の初期画面

MobaXterm を確認すると,WindowsのIPアドレスが192.168.103.2:0.0と表示されているので,BUW側で

$ export DISPLAY=192.168.103.2:0.0

と設定する.これでXサーバが利用可能になる.

V-Isio のインストール

ポスト処理のために,軽量のオープンソース可視化ソフトウェアV-Isio[17]もインストールしておく.手順は以下の通り.

 

alien パッケージのインストール

$ sudo apt-get install alien

alien で rpm 形式のパッケージを deb 形式に変換

$ sudo alien Visio-2.4-6.el6.x86_64.rpm

成功するとvisio_2.4-7_amd64.debができる.

 

deb パッケージのインストール

$ sudo dpkg -i visio_2.4-7_amd64.deb

パスを通す

$ export PATH=/usr/local/Vtools/bin:$PATH

事前に足りないライブラリを入れておく

$ sudo apt-get install libgtk2.0-0
$ sudo apt-get install libpangox-1.0-0
$ sudo apt-get install libjpeg62

これでも

$ Visio: error while loading shared libraries: libtiff.so.3:
 cannot open shared object file: No such file or directory

と怒られるので,libtiff.so.* を適当に探し,シンボリックリンクを作成する.

$ sudo find . -name libtiff.so.*
$ ./usr/lib/x86_64-linux-gnu/libtiff.so.5
$ sudo ln -s /usr/lib/x86_64-linux-gnu/libtiff.so.5 \
/usr/lib/x86_64-linux-gnu/libtiff.so.3
$ Visio

アクセス許可を求めるポップアップが出るが,ここで「はい」とすることで,無事にV-Isioが立ち上がる.(図5)

図5 V-Isio の初期画面

図5 V-Isio の初期画面

 

今回は割愛するが,V-Isioの他にも,ParaViewやVisIt等の可視化ソフトウェアもインストールできるので,必要に応じて試して頂きたいと思う.

FFV-Cのインストール

GNU コンパイラ(もしくは Intel コンパイラ)と OpenMPI があれば FFV-C のインストールが可能になる.

$ http://avr-aics-riken.github.io/ffvc_package/

で最新版FFV-C(バージョン2.4.3)をtar.tz形式もしくはzip形式でダウンロードしたのち,所望のディレクトリに展開し,インストール.

なお,FFV-C には GNU 環境用と Intel 環境用の両方に自動インストールスクリプトが付属しているので,これを利用すると良い

$ tar xvfz avr-aics-riken-ffvc_package-x.x.x.tar.gz
$ cd avr-aics-riken-ffvc_package-x.x.x
$ ./install_intel.sh

お茶を一杯飲んでいる間にインストールが終わる.

試しに組み込み例題の2次元キャビティ問題を計算する.プリ処理としてviエディタで入力ファイルに問題ないことを確認した後,実行.

無事にFFV-Cが動作することが確認できた.(図6)

図6 FFV-C on Bash on Ubuntu on Windows

図6 FFV-C on Bash on Ubuntu on Windows

計算ログをgnuplotで確認.(図7)

速度の発散値や相対残差ノルム値の時間発展を確認し,収束性に問題がないかどうかを確認する.

図7 gnuplot を用いた計算ログの表示

図7 gnuplot を用いた計算ログの表示

速度の絶対値をV-Isioで可視化してみる.(図8)

物理的に奇妙な挙動を示していないことを確認する.

図8 2次元キャビティ問題における速度の絶対値のプロット図.ubuntuにインストールしたV-Isioで可視化

図8 2次元キャビティ問題における速度の絶対値のプロット図.ubuntuにインストールしたV-Isioで可視化.

ここまでで,プリからポストまでの一連の流体解析が問題なく実行できることが確認できた.

 

ところで,今回のWSLで筆者が個人的に大変便利だと感じていることは,ubuntuのファイルやディレクトリをWindows操作できる点である.このことにより,一連の流体解析の操作性が従来の仮想環境やエミュレータと比較して格段に向上している.本稿はこのために書いたといっても過言ではない.

WSLは,Windowsのファイルシステムの

C:¥Users¥「username」¥AppData¥Local¥lxss

に格納されている.(図9)

ただし,これを見るためには,「エクスプローラー」→「オプション」→「フォルダーと検索のオプションの変更」→「フォルダーオプション」→「表示」で,「保護されたオペレーティングシステムファイルを表示しない(推奨)」のチェックを外しておく必要がある.(図10)

図9 Windowsファイルシステム内のWSL格納箇所

図9 Windowsファイルシステム内のWSL格納箇所

図10 フォルダーオプション内のチェックを外す

図10 フォルダーオプション内のチェックを外す

すると,計算ディレクトリをWindows側からも見ることができるようになる.(図11)

Windows側からはファイルがフルコントロールになっているので,入力ファイルをWindows側のエディタで操作することもできる.(図12)これは,ちょっとした感動である.リンクを張っておくと,さらに操作性は向上する.もちろん,ファイルやディレクトリの名前変更や移動等も可能になっている.

図11 Windows から ubuntu のディレクトリが丸見え

図11 Windows から ubuntu のディレクトリが丸見え

図12 Windows のエディタで ubuntu の入力ファイルを直接編集することができる

図12 Windows のエディタで ubuntu の入力ファイルを直接編集することができる

同様に,Windowsファイルシステム内のファイルを読み込んで可視化することができる.先程はWSL内のV-Isioで可視化したが,今度はWindowsにインストールしたV-Isioで可視化してみる.V-Isioを立ち上げて,Windowsファイルシステム内のファイルを選択する.(図13)

すると,問題なくWindows側のV-Isioで可視化することができた.(図14)

当然だが図8と同様の可視化結果が得られている.

図13 Windows のV-Isioでubuntuの可視化データを直接読み込む

図13 Windows のV-Isioでubuntuの可視化データを直接読み込む

図14 2次元キャビティ問題における速度の絶対値のプロット図.Windows にインストールしたV-Isioで可視化.

図14 2次元キャビティ問題における速度の絶対値のプロット図.Windows にインストールしたV-Isioで可視化.

性能評価結果

これまでに,プリからポストまでの一連の流体解析を通じ,従来の仮想環境やエミュレータと同等以上の操作性を実感した.

とは言っても,計算性能に難があるようではやはり実用的には使い物にならないため,簡単にWSL上での計算時間や実行性能を調査することとした.

方法として,仮想環境(VMware)上にWSL環境と同一のバージョンのubuntuとFFV-Cを用意し,計算時間や計算性能を両者で比較した.ベンチマークテストとしては,2次元キャビティ問題を選んだ.総セル数は64×64×1=4096であり,圧力ポアソン方程式の反復法は点過緩和SORで,反復回数は最大20回とし,相対残差の閾値は10-4とした.なお,MPIプロセス数は1とし,スレッド数は4とした(図15中の(1)).

それぞれのプロファイルレポートを,図15と図16に示す.

Total execution time (マスタープロセスの経過時間)を両者で比較すると,後者が約3.80秒なのに対し前者は2.78秒で済んでおり,WSLでの計算が約1.37倍早いことが分かった(図15, 16中の(2)).総計算時間に対する各サブルーチンの割合を調べると,どちらの場合にも上位2つはProjection_Velocityと,Poisson_PSORであり(図15, 16中の(3)),これはどちらもフラクショナルステップの一部であり,ナビエ-ストークス方程式の演算部分にあたる.flop counts or byte counts 欄を見ると,どちらのサブルーチンもWSLのほうが1.1-1.2倍程度高い実効性能が出ていることが分かり,WSLは仮想環境と比較して独自のOSを立ち上げる必要がないためにCPUやメモリ等のリソースを有効活用されていることが示唆される.

その一方で,WSLでのFile_Outputはたった40回のコールで総計算時間の20パーセント弱を食っており,実効性能値を見てもVMwareでのそれと比較して1/10以下であることが分かった.他のファイルI/Oサブルーチンである History_outも同様の傾向を示しており,WSLでのファイルI/Oの性能がVMwareでのそれと比較して,極めて高コストであることを示している.

図15 プロファイルレポート(WSL)

図15 プロファイルレポート(WSL)

図16 プロファイルレポート(VMware)

図16 プロファイルレポート(VMware)

まとめ

Windows10上の ubuntu互換環境(Windows Subsystem for Linux, WSL)にオープンソースの流体ソフトウェアFFV-Cをインストールし,流体解析の一連の流れを通じてWSLの使い勝手を検証するともに,流体ソフトウェアの簡単な性能評価を行い,WSLにおける流体解析の可能性を調査した.

FFV-Cのインストールでは,必要とされるライブラリやソフトウェアがほとんどubuntuネイティブ環境下と同等であることが分かった.また,プリからポストまでの一連の流体解析も,従来のubuntuネイティブ環境下と全く同様に実行できることが確認できた.

もっとも,記事執筆時(2016/9/9)において WSLはベータ版であり,64ビット版限定での提供やシェルの日本語が一部文字化けする等,多少機能に不十分な点も見受けられた.しかし, Microsoft社の本気度(開発項目の優先順位などは[5]参照),導入の容易さ等から考えると,近い将来に従来の仮想環境やエミュレータを脅かす,ないしは置き換える存在になり得るものと考えている.

2次元キャビティ問題を対象にWSLの計算性能を調査した.その結果,WSLでの計算が従来の仮想環境での計算と比較して約1.37倍早いことが分かった.これは,WSLが仮想環境と比較して独自のOSを立ち上げる必要がないため,CPUやメモリ等のリソースが有効活用されていることを示唆している.一方で,WSLのファイルI/Oの実効性能値がVMwareでのそれと比較して1/10程度に留まり,WSLのファイルI/Oが極めて高コストであることが分かった.WSLでの計算では,以上の特性を留意しておく必要があると考えられる.今後は,プロセス/スレッド数依存性の調査や,他のオープンソース流体ソフトウェア(FrontFlow/BlueやOpenFOAM等)を対象とした同様の検証を行うことも検討したい.

近年,PCの性能向上や計算手法・格子生成技術の発達等により,ある程度大規模な計算がローカルPCでも可能になってきた.一般に業務用PCはWindowsマシンであるが,プリからポストまでの流体解析をほぼWindows操作することが可能なubuntu互換環境WSLを用いることで,従来の流体解析がさらに身近になったのではないかと考えられる.

 

参考文献およびウェブサイト

[1] https://msdn.microsoft.com/en-us/commandline/wsl/about

[2] http://www.vmware.com/jp.html

[3] https://www.virtualbox.org/

[4] https://www.cygwin.com/

[5] https://msdn.microsoft.com/en-us/commandline/wsl/faq

[6] http://avr-aics-riken.github.io/ffvc_package/

[7] https://github.com/avr-aics-riken/PMlib

[8] http://pc.watch.impress.co.jp/docs/column/nishikawa/1017333.html

[9] http://www.atmarkit.co.jp/ait/articles/1608/08/news039.html

[10] http://rcmdnk.github.io/blog/2016/06/05/computer-windows-ubuntu-bash/

[11] http://cabonera.hateblo.jp/entry/2016/08/04/003300

[12]http://answers.microsoft.com/ja-jp/windows/forum/windows_10-performance/anniversary-update/66e03b07-4845-4a66-be07-0feda12bd34e

[13] https://www.microsoft.com/ja-jp/software-download/windows10

[14] https://www.open-mpi.org/

[15] User Guide of FFV-C Frontflow/violet Cartesian

[16] http://mobaxterm.mobatek.net/

[17] http://avr-aics-riken.github.io/V-Isio


次のページ↓