PB 電子会議室

コメント

発言No. 更新日 題名(クリックすると発言内容と関連するコメントが表示されます)
16155 01/08/30 20:56:51 RE(4):PB5.0.04: 出来るだけ速くテキストデータをDBへ取り込むには By qoo
16154 01/08/30 16:14:03 RE(3):PB5.0.04: 出来るだけ速くテキストデータをDBへ取り込むには By qoo
16152 01/08/30 16:04:59 RE(2):PB5.0.04: 出来るだけ速くテキストデータをDBへ取り込むには By M.M
16148 01/08/30 13:59:12 RE(1):PB5.0.04: 出来るだけ速くテキストデータをDBへ取り込むには By こてちゅ
16145 01/08/30 13:09:00 PB5.0.04: 出来るだけ速くテキストデータをDBへ取り込むには By qoo

カテゴリ:スクリプトの記述
日付:2001年08月30日 13:59 発信者:こてちゅ
題名:RE(1):PB5.0.04: 出来るだけ速くテキストデータをDBへ取り込むには

qooさん、こんにちは。

>一気に取り込む方法としてはImportFileがあると思いますが、まだ試してはおりません。
>処理スピードは速いのでしょうか?

ご自分で実験して、体感してみるべきではないでしょうか?

>また、他の方法で速く取り込む方法があるでしょうか?

やり方はいろいろだと思います。
テキストファイルからのデータをどのようにInsertRowしたDWにセットしているかとかです。
1 ファイルを1行ずつ読み込むなどして、ループでSetItemする
2 構造体をつくり、SetItemを使わずにデータをセットする(1と似てるけど・・・)
3 ImportFileする
などなど・・・
1の場合、ループを工夫するだけで処理速度が向上する場合もあります。

余談;
処理速度に関しては、まずはボトルネックになっている処理を発見するところが重要だと思います。
・シーケンスファイルを読み込むところが遅い。
・DWにセットするところが遅い。
・DBへのUPDATEが遅い。
・ロジックの組み方自体が遅い(余計な処理をしていたり・・・)。
・メモリのリソース不足により遅い(メモリ展開しないようにロジックの見直し)。
・I/Oのオーバヘッドが頻繁で遅い(ファイルへのI/OとメモリへのI/Oのスピードも考慮)。
などどの場所で遅くなっているのかをはっきりさせ、その場所を改善するべきです。
まぁ、通常はループは件数が多くなればなるほど倍々的に処理速度が低下します。

と、ヒントになりますかね。
ループやSetItemなどの処理速度に関しては、何度か議論されていますから、
ちょっと見てみるといろいろと面白いかもしれませんよ。

余談の余談;
#お、そういえば、「日経ソフトウェア10月号」の特集がまさに処理速度だった気がするぞ

付加情報:

PowerBuilder Version (記載なし)

Client SoftWare

OS Windows NT 4.0
DBMS Oracle SQL*Net 2.3
Browser (記載なし)

Server SoftWare

OS (記載なし)
DBMS Oracle 7.3
WebServer (記載なし)

PowerSpaceの運営は、パワーフューチャー株式会社が行っております。
Copyright © 2013 Power Future Co., Ltd.