マルボロＢさん、こんばんは。

＞APIのヘルプを見て、
＞GetModukeHandleWという関数があったのですが、
＞うまく起動しません。
＞上記の関数はアプリケーションのＥＸＥの絶対パスを指定して、
＞戻り値が０以外だったら起動しているという関数なんですが、
＞戻り値がすべて０になってしまいました。。。

GetModuleHandleは、カレントプロセス内でロードされているモジュールのハンドルしか取得できません。
昔（Win3.1）はシングルタスクだったのでこのAPIでいろいろチェックできたのですが、マルチタスク環境では
自分と異なるプロセス配下でロードされているファイルは GetModuleHandleでは取得できないんです。

＞ＰＢからマイトークＦＡＸの起動チェックをしたいのですが、
＞FindWindowA関数以外でチェックできないでしょうか？

FindWindowを使いたくない理由がわかりませんが、指定したEXEファイル名が起動中かどうかの判定は可能です。
以降のコメントを参照してください。
（Win95/98とWinNTでは方法が違うので注意してください）