marusさん、こんばんは。

＞その後いろいろ検証した結果、ユーザが「anonymous」だと、なぜかFTPFindFirstFileが
＞正常に作動しないようです。（引数を修正後もダメでした）
＞特定のユーザで行ったところ、正常に動作しましたので、そういう仕様なのかもしれません。

「正常に動作しない」の詳細がわかりませんが、セキュリティ設定上の問題ではないのですか？
（指定したディレクトリが、自分のみしかアクセスを許可していないとか）
他のFTPソフトを動かしてみて、同じ結果なら問題ありません。

＞ただ、新たな問題が出まして、
＞一覧を取得してファイルをダウンロードし、該当のフォルダを削除しようとすると
＞どうもうまくいきません。

削除しようとするディレクトリは、FTPサーバ側ですか？
指定したディレクトリにファイルが存在すると、削除できないのはFTPの仕様です。
内側のファイルから削除していく必要があります。

追記：
＞どうもダウンロードする際の、キャッシュの設定が怪しいとは思うのですが、

wininet.dllのキャッシュにかかわる問題については、あちこちで指摘されているようです。
ファイル一覧を取得する時やダウンロードする時、キャッシュを使わないフラグをパラメータに
含めて呼び出せば良いと思いますが、それでもFTP鯖がIISの場合、それすらも効かないという話も
あるようです。

これ以上はPBと関係ないので、そっち系のサイトや技術資料を参考にしてください。