みなさん、こんばんは。

パフォーマンスの話が出たので、それに続く話題として・・・・

最近作ったプログラムで、固定長カラムのtextファイルを読みこむ
プログラムを作りました。一行単位で文字列を分解して、2つ以上の
カラムに分解したり、文字列を置き換えたりするプログラムです。

最初FileOpen関数をラインモードで開いて、FileRead関数で一行づ
づ処理していくロジックにしたのですが、これがむちゃくちゃ遅い。
20,000行程度のファイルを処理すると、20分ぐらい掛かってしまい、
実用に耐えられませんでした。
問題はやはりFileRead関数のファイル・スキャンに時間が掛かって
いるようでした。File I/Oの関数はやはい遅い・・・

それで直接関数でファイルを読むのを止めて、外部ソースのDWを作っ
て、そこでファイルを読みこむようにしました。DWのInportFile関
数は拡張子.txtでないと読んでくれないので、一旦テンポラリの
**.txtファイルへコピーして読込みます。
あと文字列操作のロジックをFind関数を使ったりするように変更した
ところ、DWの読込が4秒、文字列操作が40秒まで短縮することができ
ました。約27倍の改善です。あ、時間のデータは参考程度にしてくだ
さいね。条件で変わってきますので。

あとFind関数もオーバヘッドが大きい(処理的には逐次検索)ので、
使い方には注意が必要です。行数が多い場合はロジックで二分検索
とかした方がいいです。