ponta20さん、こんにちは。
もう一度、オンラインブックをよく読み返してください。

＞このとき、引数A,B にある値を関数の引数として渡し、関数内での処理で収録した
＞値を引数Cにセットするなんてこと可能ですか？
＞戻り値li_rtnには正常終了かどうかの結果を返したいのです。

PBでは、「引数C」を【reference 渡し】します。
（変数のアドレス渡し、ポインタ参照、をしていると言ったら判るでしょうか。）

＞ＰＢのことはよくわからないのですが、こういうとき通常どのように作られてるんで
＞しょうか。インスタンス変数に入れても同じ画面の中でしか使えないし、
＞いちいち構造体使うのもちょっと、と思っています。

インスタンス変数は、スコープ（使える範囲）を Public で宣言している限り

ウィンドウ名.インスタンス変数

という修飾付きで、プログラム中のどこからでも参照できます。

構造体についても多少思い違いをされているように思いますが、
ひとつひとつ（PBというよりむしろ）プログラミングの基本を
覚えていってください。