tomotakaさん、おはようございます。

＞  現在はチェックボックスのプロパティでオン状態が１、オフ状態が０としています。
＞スクリプトはデータウィンドウのクリックイベントで１１個目のチェックボックスが
＞チェックされたときにエラーを表示し、１１番目に選択された行のチェックボックスの
＞値を０にセットしているのですが、それではうまくいかず、
＞どうしても１１個めのチェックボックスにチェックが入ってしまいます。

ItemChanged イベントかなんかで SetItem したりしてませんか？

ユーザーが値を変えた（チェックを付けた）というイベント通知を抜けた後で
スクリプトで上書きしないといけません。
何らかのユーザーイベントかユーザー関数を作って Post するか、
あるいは ItemChanged イベントであっても

post setitem(row, dwo.name, 0)

などとすればいけるんじゃないかと思います。

＞そのような場合、たとえば最大１０個しかチェックボックスはクリックできず、
＞１１個目のチェックボックスがクリックされたら、「１０個までしか選択できません」
＞と言うエラーを表示し、クリックされてもチェックをつけない、という処理です。

この判断はたこさんの方法がカクジツで、参考になりますね。(^^)