<掲示板編>
掲示板編 | 総合編 | メール編 |
Q&A集 | 対策編 |
裏話 |
スパム・ロボット対策秘伝公開 |
<掲示板編>
NO.1 副作用
NO.2 掲示板スパムの手先はスパム・ロボットのみ
NO.3 <対策手法>
NO.3−1 <対策手法1>準備として、するべき事
NO.3−2 <対策手法2>ロボット除けメタ・タグの挿入方法
<対策手法2−1>ロボット除けメタ・タグの挿入方法
<対策手法2−2>レンタル掲示板で、加工出来ない仕様のロボット除けメタ・タグの挿入方法
NO.3−3 <対策手法3>掲示板自動投稿ロボット対策
<対策手法3−1>掲示板が加工出来る場合、投稿者のメール・アドレス入力欄を削除
<対策手法3−2>英文投稿を許可しない
<対策手法3−3>連続投稿を制限する
<対策手法3−4>URLが多数含まれる投稿を許可しない
<対策手法3−5>画像認証、パスワード方式について
NO.3−4 <対策手法4>その他
<対策手法4−1>掲示板スパムでは無い、イタズラ投稿防止
<対策手法4−2>管理人が投稿内容を確認の上、掲示板に掲載
NO.3−5 <要注意事項>禁止ワードについて
NO.3−6 対策のまとめ
NO.4 参考
1.レンタル掲示板の老舗は、TeaCup
2.余所のサイトの掲示板をスパム対策面から、観察するべし
3.掲示板スパム対策の経過
4.掲示板スパムの発信元(IPアドレス等)は偽装されている
5.レンタル掲示板のメタ・タグの設置主旨は検索ロボット除け
6.余談・レンタル掲示板屋から突然のサービス停止通知受理
NO.1 副作用
一番最初に、私が推奨の掲示板スパム対策の最大の副作用(リスク)を明確にしておきます。
掲示板が、「Yahoo」「Google」等の、検索サイトで検索されない事です。
理由は、主たる対策内容が、検索ロボット、スパム・ロボットに捕獲されないようにするためです。
よって、検索ロボット(含む、スパム・ロボット)に捕獲される事を優先される場合は、検討の余地はありません。採用不可です。
逆には、検索ロボットに捕獲されないのを、許容される場合、レンタル掲示板であれ、CGIプログラム掲示板(自称自前掲示板)であっても、簡単に導入出来ます。
(09/06/08)
NO.2 掲示板スパムの手先はスパム・ロボットのみ
まず、最初に、スパム・メールの場合は、経路が様々ですが、掲示板スパムの経路は、スパム・ロボットのみです。
掲示板を対象に、この手法を一番最初に、採用し、サイト上に公開したのは、IT専門家でも、レンタル掲示板屋でも、CGI掲示板専門家でも無い、素人の、私であると自負しております。
少なくとも、掲示板スパムの手法から、阻止方法を思い当たった当時(2006年9月18日)は、メタ・タグで対策の情報がインターネット上にはありませんでした。
尚、メタ・タグの手法としては、特殊なものではありません。専門家でも無い、私が承知の範囲であり、一般的に広く使用されている方法ですが、特定ファイルのみ(例えば、掲示板)に適用する事については、元祖であると、自負しています。
検索で調べた限り、多くの専門家筋は、否定的でした。
私が公開の手法は、ロボット避けのメタ・タグですが、「robots」に対するメタ・タグは、単なる約束事であって、約束事を無視するスパム・ロボットには、何の意味も無く、効力を発揮しない。
又、検索サイトのロボットは、学生でも簡単にプログラミングが出来る程度のものであるとするものでしたが、現在では、専門家筋でも、それ以外でも、方々で、ロボット除けメタ・タグについて、散見するようになりました。
散見しても、今だに、間違った記述をしている専門家筋があります。
当然ですが、微妙に間違うと、効果はありませんが、次第に修正されています。
更に、自称の専門家筋、スパム対策専門サイトの掲示板が、掲示板スパムに荒らされているのが現状です。
この手の専門家筋、スパム対策専門サイトは掲示板スパムを対象にしたものでは無く、スパム・メールですが、「総合編」で記載の通り、スパム・ロボットの機能を知らなければ、何の意味もありません。
スパム・ロボットについて、知識として、承知であっても、机上の空論は役には立ちません。むしろ、邪魔なだけです。
繰り返しますが、掲示板スパムの手先は、たったの一つであり、スパム・ロボットだけですので、対策も簡単です。
但し、現時点での話であるのは云うまでもありません。次の瞬間にでも、突破される可能性は当然にしてあります。
しかし、2006年7月から、現時点までは、突破されておりません。
(09/06/08)
NO.3 <対策手法>
NO.3−1 <対策手法1>準備として、するべき事
対策の第一は、ロボット除けメタ・タグを掲示板に挿入し、ロボットから、掲示板を隠す事ですが、既に、掲示板スパムで汚染されている場合は、準備として、掲示板のURLを変更しなくてはなりません。
そのままのURLでは、メタ・タグを挿入しても、URLはスパム屋にバレていますので、スパム投稿をされます。
1)レンタル掲示板の場合は、新たな掲示板を設置してください。
2)CGIプログラム掲示板の場合は、格納先のフォルダ名称を変更してください。
(09/06/08)
NO.3−2 <対策手法2>ロボット除けメタ・タグの挿入方法
<対策手法2−1>ロボット除けメタ・タグの挿入方法
至って簡単です。
スパム・メールについては、経路が多種ありますが、掲示板スパムはスパム・ロボットのみです。
メタ・タグを一行、「HTML」構文の最上位に挿入するのみです。
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>
注1)ここでは、赤色、大文字、太字にしてますが、実際には、小文字(半角)です。
注2)実際の挿入場所等は、私の、掲示板の、「ソース」を参照してください。
注意事項
1.ロボット(robots)に対する、メタ・タグは何種類もありますが、ロボット除けに意味のある、メタ・タグは、上記一行のみです。
2.念のため、再度繰り返しますが、メタ・タグ記載の、「HTML」構文の最上位に挿入する事が最重要の事柄です。
余計なメタ・タグをその上に挿入しますと、意味が無くなります。
この事を無視し、例えば、「NOARCHIVE」を、安全のためとして、上位に挿入しますと、意味がありません。
「NOARCHIVE」等を挿入される場合は、必ず、二番目以下です。
メタ・タグを挿入されているにも関わらず、スパム投稿されている掲示板は、これが主たる原因であると推測します。
3.既に、スパムで、汚染されている掲示板のURLを変更しないで、メタ・タグを挿入しても、何の意味もありません。
1)レンタル掲示板で、メタ・タグを挿入出来るものがあります。
(参考;「分類不能の我楽多倉庫」の、「第四世代レンタル掲示板」参照)<省略・16/10/31>
2)CGIプログラム掲示板では、「HTML」は自由に加工出来ますので、何の問題もありません。
<対策手法2−2>レンタル掲示板で、加工出来ない仕様のロボット除けメタ・タグの挿入方法
レンタル掲示板によっては、ロボット除けメタ・タグを挿入出来ない場合があります。(注;現在では、挿入出来るものがあります。上記参照)
レンタル掲示板が加工出来ない当時に、私が挑戦した対策について、参考までに、記載します。
サイト全体を検索サイトのロボットから、検索されないように、「INDEXファイル」にメタ・タグを挿入は、結果的に、掲示板もスパム・ロボットに検出されません。
サイトとしては、検索サイトに登録したい場合、直接に掲示板URLをリンクでは、メタ・タグが挿入出来ないため、直接には掲示板をリンクせず、掲示板と、リンク元に一枚、ファイルを噛ませ、噛ませたファイルにメタ・タグを挿入する事で、スパム・ロボットに掲示板URLを捕獲される事から、防止します。
「INDEXファイル」→「掲示板リンク・ファイル」(ロボット除けメタ・タグ挿入)」→「掲示板」とします。
これで、掲示板をスパム・ロボットから、隠せます。
但し、抜け道として、第三者が、掲示板を直接にリンク等された場合は、「掲示板リンク・ファイル」を飛ばされますので、捕獲される可能性があります。
掲示板にメタ・タグを挿入されている場合は、捕獲されません。
(09/06/08)
NO.3−3 <対策手法3>掲示板自動投稿ロボット対策
<対策手法3−1>掲示板が加工出来る場合、投稿者のメール・アドレス入力欄を削除
1)スパム・ロボット除けのメタ・タグを挿入した上での、追加対策としてください。
2)掲示板スパムがメール・アドレスを入力する割合は94%です。あくまでも、私が設置していた掲示板でのデーターですが、残り6%は、メール・アドレスを入力しませんので、欄を削除しただけでは、100%の防止は出来ません。(参考資料)
3)メール・アドレス収集ロボットは、サイト、掲示板等々から、収集しますので、善意の投稿者をスパム・メールの被害から守るためにもメール・アドレス欄を設けない事は常識化しています。
<対策手法3−2>英文投稿を許可しない
1)スパム・ロボット除けのメタ・タグを挿入した上での、追加対策としてください。
2)英文投稿が不要な場合、設定してください。
3)掲示板方式により、設定可能な場合、英文投稿を、「許可しない」に設定する。
<対策手法3−3>連続投稿を制限する
1)スパム・ロボット除けのメタ・タグを挿入した上での、追加対策としてください。
2)特に、英文スパムの場合は、短時間に連続投稿をする傾向がありますので、一定時間以内に連続投稿を制限する設定にしてください。
3)掲示板方式により、設定可能な場合、「同一ホストからの連続投稿を制限する」に設定する。
<対策手法3−4>URLが多数含まれる投稿を許可しない
1)スパム・ロボット除けのメタ・タグを挿入した上での、追加対策としてください。
2)特に、英文スパムの場合は、URLを羅列する傾向がありますので、一定以上のURLが記載される場合は、個数を限定(例えば3個以内等)し、それ以上の場合は投稿を許可しない設定にしてください。
3)掲示板方式により、設定可能な場合、多数個のURL記載は、「許可しない」に設定する。
<対策手法3−5>画像認証、パスワード方式について
1)スパム・ロボット除けのメタ・タグは特に必要ありません。
2)画像認証、パスワード方式は、掲示板スパムが手動では無く、ツール(アプリケーション)による自動投稿である事を利用しての対策であり、スパム・ロボットから、掲示板を隠す目的は一緒です。
3)但し、善意の訪問者に、画像認証をして戴き、パスワードを入力する等の手間を掛ける事になります。
4)画像認証方式は、閲覧者が掲示板の入り口にアクセスの都度、アルファベット、数字等の画像が自動的に表示され、画像情報を入力窓に入力する事で、入室が出来ます。
5)パスワード方式には、二種類あります。
(1)主として、有料会員サイト等で採用される手法は、会員個々にパスワードを発行し、入力窓にパスワードを入力する事で、入室が出来ます。
(2)主として、個人サイトで採用される手法は、閲覧者にパスワードは発行せず、入力窓のファイルにパスワードを明記(公開)する事で、不特定多数の閲覧者が、入力窓に入力し、入室が出来ます。
6)検索ロボットにも、掲示板の中身は捕獲されませんが、一部不完全なものがあります。
(09/06/09)
NO.3−4 <対策手法4>その他
<対策手法4−1>掲示板スパムでは無い、イタズラ(掲示板アラシ)投稿防止
1)イタズラ投稿は、掲示板にツールによる自動投稿では無く、閲覧者が掲示板に訪問し、所謂誹謗中傷、不毛の議論(イチャモン)を仕掛ける投稿ですから、ロボット防止のメタ・タグ、画像認証、パスワード方式では、阻止出来ません。
2)ツールでの、自動投稿では無いため、投稿者のログ(記録)内容は正しく、IPアドレス、或いは、ホスト名で、閲覧、投稿を拒否設定する事で、簡単に排除出来ます。
(注;2001年から、拒否設定機能が出始め、2002年以降の掲示板では、機能付きは常識化していますが、掲示板屋も沢山あり、提供者のスキル(知識、技能)にもよりますので、管理人室に入室し、確認してください。万が一、機能が無ければ、あるものに変更する等、してください。)
3)拒否設定で、排除出来ていない場合は、掲示板スパムですから、URLを変更し、メタ・タグで、スパム・ロボットから、隠す必要があります。
<対策手法4−2>管理人が投稿内容を確認の上、掲示板に掲載
1)投稿者が投稿した中身(文面)をメールで、管理人に送信し、許可した投稿のみを掲示板に表示させる方式。(注;投稿されたと、同時にメールで管理人に通知の方式もあります。この場合は、掲示板に表示されます。)
2)投稿者が投稿した内容を投稿直後には確認出来ませんが、スパム投稿、イタズラ投稿が掲示板に掲載される事を防止出来ます。
3)但し、管理人の手間が要ります。
4)検索ロボットには、掲示板の中身は捕獲され、表示されます。(一部、出来ない形式のものもあります。)
上記以外にも、対策手法がありますが、主たるものは以上です。
(09/06/09)
NO.3−5 <要注意事項>「禁止ワード」について
1)安全策のためであっても、余りに色んな対策を併用しますと、善意の投稿者が撥ねられる危険性が増大します。
2)対策手法には、「禁止ワード」もあります。投稿文中に、「禁止ワード」があれば、投稿出来ない設定にするものです。
3)私の見解では、「禁止ワード」の設定は、慎重の上にも、慎重にするべきであり、むしろ、設定しない事が賢明です。
4)文字列での判定のため、予想外の文面で、文字が前後から連なり、該当してしまう場合があります。
5)善意の投稿者が掲示板で撥ねられるのは、「IPアドレス」以外では、「禁止ワード」が多いようです。
(09/06/13)
NO.3−6 対策のまとめ
1.以上の通り、現にホーム・ページを運営され、掲示板を設置する等の、若干の経験と、HTMLの知識さえあれば、メタ・タグ挿入の件は、本当にそんな程度で効果があるのかと、疑わしく思える程の、至って、初歩的で、簡単なものです。
私は、サイト開設の当時(1998年4月24日)、「HTML」ファイルの名称の付け方が分からず。ホーム・ページ・サーバーにファイルをアップ・ロードするのにさえ、四苦八苦しましたが、検索ロボットに検索を許可のメタ・タグの記載方法は承知していた程度のものです。(特別に調べたのでは無く、「ホーム・ページ・ビルダー<IBM製のホーム・ページ作成アプリーケーション>」の初心者向けの説明書に記載されておりました。)
2.レンタル掲示板では、そのままでは、スパム屋にURLが漏れてますので、新規に借り、URLを替える必要がありますが、CGIプログラムであれば、そのプログラムを格納のフォルダ名称を変更し、メタ・タグの挿入も自分で、直接に出来ますので、更に簡単です。
3.掲示板スパム(洟垂れ小僧)対策は、スパム・ロボット対策です。スパム・ロボットは検索サイトのロボットのコピー・ロボットです。
4.掲示板アラシ(悪意のイタズラ投稿)は、ロボットではありません。ツールを使わず、実際にサイトに来て、掲示板に投稿しています。
昨今の掲示板であれば、イタズラ小僧の締め出しは至って簡単です。掲示板に附属の、IPアドレス、ホスト名による拒否設定のみです。
これは、掲示板の「管理人室」の設定項目にあります。無ければ、ある掲示板にしてください。
5.基本的には、ここにご紹介の対策で、掲示板スパムも、アラシもサヨウナラです。あとは、安全のための、追加対策をしてください。
但し、余りの重装備は善意の投稿者を排除する危険性がありますので、考慮の上、個々人の環境、スパム状況に応じ、対策してください。
(09/06/13)
NO.4 参考
1.レンタル掲示板の一番の老舗は、TeaCup
振り返れば、私が掲示板アラシ(注;掲示板アラシと掲示板スパムは異なります。)に記念すべき、一発目の遭遇は、1999年1月かと。
レンタル掲示板(注;現在でも存在の、1997年に創業の、老舗レンタル屋、「TeaCup」)を設置して、約一ヶ月もしたら、掲示板に見知らぬ人からの、投稿がありまして。
アラシなる存在は承知で、興味本位で、リンクされたURLをクリックで、プラウザが振動するが如くに、上下、左右に動き、ビックリした事を記憶しています。
(注;現在のアラシや、スパムが張ったリンクをクリックしてはいけません。)
嗚呼、これが、掲示板アラシと称するものかと。ホーム・ページの運営そのものが、初心者であり、クリックをしてはいけない事さえも、知りませんでした。
当時、横行していたのは、掲示板アラシであり、面白半分に、余所様にチョッカイを出して、イタズラをして喜んでいる、単なるのイタズラ小僧であり、スパイウェア、ウィルスをブチ込める程の技量は全くありません。
主として、女性管理人を狙っており、誹謗中傷が得意であり、私のような、オッサン・サイトにご訪問は異常趣味かと。
兎に角、まさしく、イタズラ小僧のお遊び全盛時代です。
アラシ屋(悪意の投稿者)の、イタズラ小僧は、相当なる暇人で、粘着質で、一旦、出没し出しますと、一週間、一ヶ月で再訪問して来ましたが、気がつけば、無縁状態で、一寸は、大人になったかと。(掲示板に拒否設定機能はありませんので、拒否出来ませんでした。)
対して、スパム屋はロボットで、目的を持って、掲示板URLを捕獲し、自動投稿する洟垂れ小僧です。目的があるため、連発します。スパム・メールと一緒です。
要は、当時のレンタル掲示板は、投稿記事の削除のみが出来ました。よって、只、ヒタスラに、削除するのみ。(注;無料版の場合です。有料は知りません。)
尚、レンタル掲示板に投稿の拒否設定機能が追加されたのは、2001年からで、早速にも、機能付きの掲示板(jp−board)に乗り換えました。
(注;「jp−board」は掲示板レンタル業を辞め、現在存在しません。)
このアラシ屋イタズラ小僧は、2000年、2001年、2002年頃までが、全盛時代であったかと。
理由は、IPアドレス、ホストで、拒否設定機能のある、掲示板が主となったため、発信元を偽装出来ないイタズラ小僧は閉め出される事になります。
そして、所謂の、掲示板スパムが取って替わって、目立ち出したのは、2003年頃からと、記憶します。
私の掲示板的については、2005年6月から、データーを取り出しましたが、数値が示す通り、2006年、2007年(対策済みのため、以降のデーターは取れません。)が最盛期かと推測します。
掲示板スパムは、IPアドレスもホストも偽装出来るため、IPアドレスや、ホストの拒否設定機能では、突破されます。
私自身は、2006年9月に、スパム・ロボット除け、メタ・タグを導入しましたが、2007年後半に入ってからは、レンタル掲示板屋も、採用し始め、現在では、実効性のある掲示板スパム対策掲示板は常識化しつつあります。
CGIプログラム掲示板では、使用者が何とでも加工が出来ますが、提供元の独自手法が導入されているものも、多くなりました。
結果的に、掲示板スパムも、以前程には見掛ける事が少なくなって来ました。
但し、あくまでも、以前程にはです。
(09/06/09)
2.余所のサイトの掲示板をスパム対策面から、観察するべし
余所様の掲示板をスパム対策面から、観察するのは、重要な事です。
掲示板スパムが一杯あるもの、散見するものと、全く無いもので、何が違うのかです。
的ハズレでも、対策をしますと、一定の効果はあります。
対策を一切せずに、URLのみを変更した場合は、大略、一週間から、二ヶ月は保ちます。
的ハズレの対策でも、実施しておれば、半年保つ場合もあります。的確な対策なら、何年でも保つ事になります。
掲示板スパムの動向は、短期間では分かりませんが、長期間、無管理の掲示板では、顕著に分かります。
年単位で、放置された掲示板の多くは、掲示板スパムがあって、しかるべきですが、無い事があります。
掲示板と一口に申しましても、種類が沢山あり、管理人が承知していない部分で、対策がされている場合もあります。
掲示板を大きく大別では、「CGIプログラム掲示板」と、「レンタル掲示板」があり、URLで分かります。
URLの中に、「cgi」があれば、「CGIプログラム掲示板」であり、無ければ、「レンタル掲示板」です。どちらにしても、掲示板には、提供元のサイトがリンクされています。
又、「InternetExplorer」の、「表示」→「ソース」で、「HTML」構文が見えますので、メタ・タグ等を観察する事で、対策内容が分かります。
さて、私が紹介以外のメタ・タグで、スパムに関連したものがあります。
<META HTTP−EQUIV=”CACHE−CONTROL” CONTENT=”NO−CACHE”>
(注;実際には、文字の大きさ等が、違います。)
最近の、TeaCup、ロケットBBSでは、上記メタ・タグが採用されています。
Microsoftサポートで、解説されていますが、「[HOWTO] Internet Explorer でキャッシュを無効にする」ものですが、キャッシュの無効化は全てのプラウザに有効ではありません。
このメタ・タグでは、検索ロボットには、捕獲され、検索サイトに表示されます。
よって、スパム・ロボットにも捕獲されている筈ですが、キャッシュとスパム投稿の関係は不明ですが、現実として、この一行のある場合、私の承知の範囲では、スパム投稿が見受けられませんので、効果はあると云えます。(私自身は、現時点では、挑戦してません。理由は、掲示板の中身が検索サイトで表示される必要性は無いと考えています。)
但し、メタ・タグ以外の掲示板スパム拒否対策の相乗効果とも考えられますが、中身は分かりません。(私には、知識がありませんので。)
又、掲示板に、メタ・タグが設定されていないのに、スパムの無い、長期間無管理の、旧式掲示板があります。
この場合は、「INDEX」ファイルの、「ソース」を見ると、メタ・タグがあります。つまり、サイト全体にロボット除けが施してあり、サイト全体が、検索サイトでも、表示されません。
更には、メタ・タグがあって、スパムが散見する場合があります。
<1><META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>
<2><META NAME=”ROBOTS” CONTENT=”NOARCHIVE”>
記載の順番は、上記順番の通り、<1><2>が正解です。
元々が、<2>の行は不要です。<2>を加えたいなら、<1>を上位にする必要がありますが、順番が逆転している場合が多いです。
順番が正しい場合は、スペルが間違っています。
上記以外で、運営されている筈のサイトの掲示板にスパムが散見する場合は、云うまでもありません。対策が的ハズレか、充分ではない。或いは、スパム投稿を大して、気にされていないかです。
スパムを散見しない場合でも、投稿日付を見れば一目瞭然です。投稿間隔が異常に長過ぎる場合は、単純明快には、的ハズレに要塞化され過ぎ、善意の投稿者も拒否され、投稿が出来ない状態になっているか、奇跡的、幸運にも、スパム屋が検出していないのです。
(09/06/09)
3.掲示板スパム対策の経過
1)2006年7月21日;従来形式のレンタル掲示板に、ファイル一枚を噛ませたのみ。(この日より、ゼロを継続です。)
2)2006年9月18日;噛ませたファイルにロボット除けメタ・タグ挿入。
3)2008年6月10日;スパム対策掲示板を採用。(メタ・タグ挿入のファイルも併用であり、二重にロボット除けをしています。)
さて、上記より、IT専門家筋が、検索ロボットは学生レベルで、プログラミングが出来る。
「Robots」に対しては、定義付けしなくては、命令語を守る事が出来なく、スパム・ロボットが定義付けする筈がないとしてますが、学生レベル、研究員レベルのため、世間の実態を検証せず、ロボットのプログラムの中身を理解せずに、基幹の主要部分は、単純にコピーで済ませてるためかと、推測します。
スパム・ロボットの設計者は、洟垂れ小僧であり、意味も理解せず、単にコピーしているのは、一目瞭然の、データーが物語っていますが、スパム屋は、洟垂れ小僧として、幼稚なままで、宜しいです。
変に、学習されると、突破されますので。
(09/06/09)
4.掲示板スパムの発信元(IPアドレス等)は偽装されている
掲示板スパムや、スパム・メールの発信元が偽装されていないのであれば、初心者でも、対策に悩む事は無く、遮断は簡単です。
ここでは、掲示板スパムを対象にします。
2001年以降の掲示板であれば、拒否設定機能が常識化してますので、以来、8年も経った現在唯今、スパム屋は活動の場を失い、姿を消しています。イタズラ小僧と同じ運命です。
或いは、目覚めて、洟垂れ小僧を卒業し、洟垂れ青年にはなっている筈ですが、今だ、卒業していません。
結果的に、私の考えた程度の、幼稚な対策で、遮断出来ており、有り難い事です。
何故、断言しているかは、私以外の採用者も、同様にして、遮断出来ているからです。「CGIプログラム掲示板」でも、「レンタル掲示板」でも、一緒です。
そんな意味では、巨大掲示板Q&A専門サイト、そして、所謂、2チャンネル掲示板では、イタズラ小僧は散見(元々がイタズラ小僧の集合場所ですので。)しますが、相応の対策で、掲示板スパムを見事に阻止しています。私共、専門家では無い素人には、手法が分かりません。
イヤ、専門家でも、程度は知れてます。プログラミング、ITのプロと自賛のサイトで、スパム対策の記述があっても、内容は、初心者レベルであり、何処かで掲載されたものをコピーして、掲載してるだけです。(そんな意味では、スパム・メールの対策も同様です。)
よって、2チャンネルでは、色々と社会問題もありますが、掲示板スパム対策手法を確立し、企業化されました。
私は創業者である、西村博之氏(32歳)は人間性的に、大嫌いですが、技量は、IT専門家以上ですので、大したものと、思っております。
さて、当然ですが、個々人の掲示板で、対策状況も、使用環境等々、異なりますので、誰にでも、同一のものが届く訳がありません。
既載の通り、英文スパム屋に掲示板URLが捕獲された場合は、英文スパムがURLを羅列したものを執拗に投稿して来ますし、日本文スパム屋では、比較的大人しく、連続投稿しても、二発、三発程度であり、頻度は双方、週に一度であるとか、月に一度、不定期に投稿して来る場合が殆どです。
内容的には、スパム・メールと同一で、アダルト系、出会い系、薬販売が主です。
この事は、自身の掲示板の内容と、余所様の掲示板を探訪にて、分かる事です。そんな意味では、英文スパム屋に捕獲されると、大変です。投稿文面が長いものが多いです。
但し、英文が必ずしも、外人とは限りませんし、日本文が日本人でもありません。偽装のため、得体は不明です。
私が掲示板スパムのデーターを取り出したのは、2005年6月からです。
理由の一つは、従来二週間から、一ヶ月に一件程度であったのが、頻度が高くなったためです。
理由の二つめは、それまでには、掲示板スパムは削除し、IPアドレスで拒否設定してましたが、拒否設定に効果があるのか、重複はと。設定の数が多くなったため、管理が必要であると。
理由の三つめは、スパム投稿者の、IPアドレス等で、拒否設定をしても、大部分は、同じ内容で投稿されるためです。
よって、一旦、拒否設定を解除し、最初っから、重複を確認し乍ら、設定を開始しました。
拒否設定の、IPアドレス等が重複しておれば、設定の意味はありませんし、内容が同じで、重複していなければ、偽装されている事になります。
約一年間、231件のデーターを集計の結果、一度設定しても、同じ内容のものが、投稿され、設定に重複は無く、発信元は偽装されており、スパム・メールとホボ同じ状況であると、判断しました。
中には、同時に同じ、メール・アドレスで、スパム・メールを送信して来るのもありました。
さて、IPアドレスからは、当然にして、所管の国名、プロバイダを調べる事は出来ますが、アジアを主とした、外国が多いのは、自明ですが、日本のプロバイダも存在し、拒否設定を続けていますと、善意の閲覧者から、投稿が出来ないとの、メール連絡が届くようになりました。
当然ですが、一発目の掲示板に投稿が出来ないとする連絡からは、該当と推測される、IPアドレスは解除し、投稿が出来るかを、連絡を取りつつ、確認し、修正しましたが、この手法では、要塞化するだけで、何の意味も無いと、分かりますので、データーを取るだけに止め、拒否設定は全て解除しました。
その間には、「IPフィルター」ツールも出ていましたが、偽装されたIPアドレスをフィルター化(拒否設定)しても、意味がありません。
それ以前に、「CGIプログラム掲示板」対応のため、検討の余地はありませんでしたが、中身的には、疑問符が付きます。
要は、要塞化の勧めです。
これでは、善意の訪問者の書き込みが一発も拒否されない保証がありません。これが、要塞の意味です。
そんな意味では、ワザワザ、連絡して戴ける閲覧者なら、解除も出来ますが、連絡して戴ける閲覧者が存在している事は幸せであり、実際には、余程の知り合いか、親切心の無い限り、連絡もバカバカしくなるのが、人情です。
実際にも、「IPフィルター」のサポート掲示板には、その手の質問が多いです。又、サンプル掲示板にイタズラ小僧、洟垂れ小僧が散見しております。
開発者が意図的にスパム投稿の集積場にしているとも考えられますが。
そんな事で、何とか大学大学院出身で、何とか総合研究所所属で、作成論文が一杯での、自称専門家筋の掲載内容は、実情を知らずに理論を金科玉条の如くに記載しているだけの存在です。
但し、若干でも、データーがあるだけ、マシです。殆どは、具体性が無く、知ったかブリの専門用語を羅列のお話だけに終始しています。それで、何が云いたいのか。実績はと。
実績があるなら、相応の説明をされるべきです。
以上の通り、専門家筋の話を鵜呑みに出来ないのは、スパム・メールの話でもあります。(スパム・メールの編で解説予定です。)
只、私の立場からは、パソコン関係の話を掲載をし、「パソコン大魔神コーナー」では、威張り散らした回答もしてまして。
掲示板を見れば、スパムに汚染ではお話になりません。
よって、出来る限り、頻度高く、掲示板の様子を確認し、発見即、削除をしてましたが、余所様のサイトをそんな目で、観察しますと、掲示板には、直接のリンクをせず、ファイルを一枚噛ませまして、注意事項を記載のサイトを散見しました。
この手のサイトでは、スパム投稿を見掛ける事が少ないため、同じく、ファイルを一枚噛ませる事にしました。(当時はメタ・タグは何処様も挿入されていません。)
理屈的にも、理解が出来ます。ロボットである事を前提に、ロボットの能力からしても、少なくとも、一枚噛ませる事で、掲示板がファイル一枚分の、一層分、深くなり、検出がされ難い筈です。
検出されても、掲示板のURLを変更し、二枚、三枚と、極論すれば、十枚でも、二十枚でも、スパム・ロボットに対抗し、ファイルを幾重にでも、重ねる事で、スパム・ロボットから、遠ざける事が出来、ロボットの能力の限界も分かる筈であると考えました。
実際には、洟垂れ小僧のロボットです。一枚、二枚もあれば、充分ですが、当時は、洟垂れ小僧の手先のロボットが、壁を幾重なら突破出来るのか、試してやるから、掛かって来いとも、考えました。
そして、噛ませたファイルには、リンクしている掲示板のURLに、ロボットを騙すため、数値文字(プラウザでは読み取れる文字列)に変換。
更に、二ヶ月後には、目眩(めくら)ませを目的として、噛ませたファイルにメタ・タグを挿入しました。
要は掲示板に一枚噛ませる事を、注意事項、説明書きのためだけでは無く、掲示板スパム対策として用いる事が出来、結果的に、その後、発表された、レンタル掲示板で、メタ・タグが挿入出来る事になり、メタ・タグが、二重になりました。これは、安全の上には、安全のためです。方策があるなら、幾重にでもして、当然の事です。大した手間でもありません。一度の設定で管理は不要です。
実際には、どれが一番に効果があるかとなりますと、現在では、メタ・タグ一つだけかと、推測致します。
理由は簡単です。
現に出回り出した、メタ・タグ挿入可能なレンタル掲示板。
或いは、私の対策案を採用して戴いてる先様では、ファイル一枚も噛ませず(噛ませておられる先様もあります。)、数値文字は採用されてませんが、スパム投稿対策として、効果はあります。
つまり、スパム・ロボットのみを排除で、必要のないフィルター(拒否設定)は無くとも、防備可能です。
但し、この手法では、検索サイトで、掲示板は検索されません。メタ・タグを挿入した、ファイルも検索されません。
された段階では、危険信号と考えます。
ではありますが、スパム・ロボットに、「Robots」の命令語を突破されても、数値文字が。
数値文字を突破されても、ファイルで一層分、深くしているため、いの一番には、突破されません。
能力を数段上げた高級ロボットが開発されても、スパム屋洟垂れ小僧が入手出来て、使いこなせての話です。
但し、トンでも無い、ひつこい掲示板スパムも存在します。
(09/06/10)
5.レンタル掲示板のメタ・タグの設置主旨は検索ロボット除け
スパム・ロボット対策も、計算式の解法が見えてしまえば、道筋が分かり、簡単です。
見えなければ、要塞化で、難攻不落は結構でも、究極は何人(なんびと)も寄せ付け無い事になりまう。
メールも同様で、昨年(2008年)に、サイト移動のため、リンクして戴いてる先様にURL変更に伴うお知らせをするために、相互リンク先様は当然の事、検索で調べた範囲で、サイトを訪問し、メールなり、掲示板にその旨、連絡を試みましたが、時には、要塞化した、掲示板、メールに遭遇で、難儀しました。
結果的には、連絡を断念した先様もありました。
残念乍ら、複数回は止め、一度だけの、形式的で終わらせたサイトが沢山あります。
メールの返事が無いのは、メール・アドレスは生きてましても、実質的には使用されていない場合があります。掲示板では、投稿出来ての話になります。
さて、掲示板に挿入のメタ・タグは、ロボットだけを掲示板を検出させない対策手法であって、結果、検索ロボットも道連れになります。
むしろ、検索サイトのであれ、スパムの手先であれ、この手のロボットを無差別に拒否する事になりますが、検索サイトのロボットを指定して、検索を許可させる方法があるにはあります。
所謂、検索サイトのロボットに対する、ホワイト・リストですが、メールのように、容易ではありません。
あくまでも、参考ですが。
「Google」の場合、検索ロボットの名称は、「Googlebot」です。
<META NAME=”GOOGLEBOT” CONTENT=”INDEX、FOLLOW”>
として、「Google」に的を絞って、検索させる事が可能とされています。
反対に、「Google」のみ、検索をさせないなら、「NOINDEX」「NOFOLLOW」とする事で可能です。
又、「Google」の検索エンジンを利用している検索サイトは、「Infoseek」「Biglobe」「All About」「Excite」「Aol」「@Nifty」「So−net」「Goo」等々であり、有名処の、「Yahoo」のロボット名称は、「Slurp」とされています。
参考とした理由は、スパム・ロボットがメタ・タグを遵守しているため、検索サイトのロボットをコピーしているとは云えますが、どの検索サイトのロボットをコピーしているかが、不明です。
「Googlebot」をコピーしている場合、「Googlebot」を許可したのでは、何をしているかとなります。
分かるのなら、スパム・ロボットの名称を指定し、ブラック・リストとして、拒否設定出来ますが、名称があればの話で、あっても、正体不明ですから、出来ません。
よって、ロボットに対する、ブラック・リストもホワイト・リストも設定しておりません。
結果、検索サイトでは表示されません。
実は、この事、つまり、ロボットで掲示板URLなり、メール・アドレスを収集している事を承知していないスパム対策サイトが多いです。(メール・アドレスについては、ロボット以外の収集手段は沢山あります。)
ロボットの存在を承知の場合は、ロボットにより、メタ・タグを無視するものがある。数値文字を読破するものがある等々とされている事が多いです。
或いは、説明が飛び過ぎ、具体性が無く、意図不明な説明のサイトも散見されます。
実際には、メタ・タグ一発で、阻止が出来ています。
少なくとも、2006年9月に導入し、現時点2009年6月までの2年9ヶ月の期間、無傷です。
但し、メタ・タグの無い場合、数値文字を突破し、読破するロボットが存在する可能性があります。
可能性はあるのは分かりますが、無力とされてましても、検証について、明確ではありません。
スパム・ロボットについては、検索ロボットを学生レベルで構築可能なため、スパム・ロボットが、メタ・タグを無視するとされていますが、無視される実証がされていません。
メタ・タグを遵守する事については、私が体験しております。
数値文字については、ロボットが情報収集するとされている記載のサイトでの、多くは、スパム・メール対策としての一手法として紹介されていますが、効果については不明です。
効果について、否定的に触れておられるサイトでも、「突破された。」とは、されていません。
「ロボットにプログラミングする事で、簡単に突破出来る。」と記載されている事が多いようです。
理屈的には、ロボットは、組み込まれたプログラムで活動範囲等が決まるのであり、間違いではありませんが、実際に組み込まれているのか、いないのかが、明記されていません。
そんな意味では、ロボット除けメタ・タグについては、表現は様々ですが、肯定的な記載は無く、「気休め程度の効果。」とされています。
私の評価では、ロボット除けメタ・タグは、「気休め」では無く、「絶大」です。
以上は、私が、メタ・タグについて、検討当時、検索で調べた範囲での事であり、否定的な掲載が散見しましても、特段に気にもしておりませんでした。
理由は、実証されていないのと、理屈的には、検索サイトの問題以外には、副作用が見当たらなく、探しても、これと思える手段、ツールも無く、私の知識では、これ以外の手法で、スパム・ロボット対策案が考えられなかったためです。
謂わば、ツールなら、納得の出来るものを。出来れば、自力で可能な一番に簡単な手法です。
現在では、メタ・タグも一部のレンタル掲示板屋で採用されており、機能の宣伝材料になっております。
但し、スパム・ロボットに対してでは無く、検索ロボット除け対策としてです。理屈さえ、分かっておれば、同意ですが、私が探していた当時には、存在しませんでした。
存在しておれば、2006年9月時点で、飛び付いてますが、2008年6月に、発表されているのを検索で承知し、導入しました。
メタ・タグも、数値文字も、ロボットから、掲示板を隠すだけの役目しかありません。
メタ・タグはファイルの中身を。数値文字は、リンクした掲示板のURLを、ロボットから、隠すだけであり、訪問して戴く善意の閲覧者には、無関係です。
但し、誹謗中傷、言葉足らずで意図不明、イヤガラセのイタズラ小僧にも無力なため、これは、IPアドレス等で個別の拒否設定で、閉め出せば宜しいです。
検索サイトで検索される事が前提とされる掲示板が主であり、集合体のサイトでは、メタ・タグで、検索ロボットを、寄せ付けない設定は、検討の余地がありません。
更に、当世のスパム事情からしても、掲示板サイトは狙われ易く、常連さんも、不特定多数の閲覧者も、相応に多いと、相当なる知識が無ければ、スパムのみを排除を完璧に施すのは難しい事です。
そんな表現では、メタ・タグは、検索される事よりも、スパム投稿排除を最優先しています。
よって、検索により、必ず検索され、知名度のある、OKWaveを代表の巨大掲示板Q&A専門サイト、2チャンネルなどは、スパム投稿の排除を実現された事が、企業化、商品化の出来る所以と評価しております。
特には、OKWaveは、質問者も回答者も、会員登録(それだけの価値を認められた証左です。)の必要性があります。
会員登録は、それだけの価値を認められた証左であり、これがスパム投稿阻止の大きな対策です。対策を考案され、イヤガラセ投稿(悪意のイタズラ小僧)をも監視、徹底排除するシステムを構築された事が評価出来ます。
(09/06/11)
6.余談・レンタル掲示板屋から突然のサービス停止通知受理
掲示板スパムについての、多くのメールを有り難う御座います。
勉強になった。導入した。そして、ご質問も戴きました。
再度、有り難う御座います。光栄です。
ご質問内容は、対策のキッカケ、当時の掲示板の実情等々ですので、総合して、補足説明致します。
対策のキッカケは、むしろ、突然考えざるを得なくなったとするべきで、当時の、レンタル掲示板屋(jp−board)から、2006年8月末を以て、サービスを停止するとの通知を受理しました。
あくまでも推測ですが、当時はスパム投稿全盛期と考えます。
原因は、レンタル掲示板では、URLは似通っています(現在でも似通ってますが、対策されての似通っているのと、何の対策も無いのでは異なります。)ので、その弱点を突いて、単純なURLでは一連の掲示板がスパムに襲い掛かられる傾向にありました。
確かに、レンタル掲示板屋のサイトで、警告を発してるのを散見しておりました。
「スパム投稿が多いので、注意してください。」的、警告です。
一説では、メール・アドレスをアルファベットのランダム組み合わせで当てるツールと同様に、URLの一部の数字(数字の事が多いため)を組み合わせ、掲示板を当てる手法のツールが利用されたとするものです。
私はスパム屋ではありませんので、スパム・ツールの詳細な機能は分かりませんが、傾向からして、一説にはありましたの程度であり、メール・アドレスなら分かりますが、URLに対しては、疑問符が付きます。
検索サイトで、簡単に分かる事であり、運悪く、上位に表示されただけと考えます。
尚、検索での表示順位は検索のキー・ワードによりますので、必ずしも有名であるから、上位でもありません。
現に、老舗で有名処の、「TeaCup」は現存しております。(当時は投稿形式、表示のデザインが異なる程度で、スパム対策はIPアドレスの拒否設定程度です。)
今から思えば、CGIプログラムでも、基本は一緒ですので、メール・アドレス欄は常識で、投稿文に、URLを何個入れても、連続投稿も、フリー・パスです。
英文の遮断設定もありません。あっても、IPアドレスによる、拒否設定、更にあっても、禁止ワード程度でした。
当時は、まさしくのスパム天国であり、結果的、運悪く狙われたレンタル屋は、対応出来なければ、借り手が掲示板を封鎖、放棄し、余所に移動するため、掲示板のレンタル数が減り、新しい対策掲示板を推奨するか、対策掲示板が出せなければ、存在価値が無くなり、サービスを停止したり、CGIプログラム屋はバージョン・アップを迫られておりました。
実際には、殆どの掲示板屋(レンタル、CGIプログラム共)では、実質的には目先を替えた程度であり、大した改善はされていないと推測しております。
理由は、急遽借りた掲示板も、その後、移動した先の掲示板も、設定項目は沢山ありましたが、デザインの項目ばかりで、肝心のスパム対策としては、拒否設定のみです。(禁止ワードもあったかも分かりませんが、禁止ワードは下手な設定は危険です。)
そんな意味では、私は、只々、延々とスパム投稿を削除、削除で、削除しまくってただけでした。
データーは取っておりましたが、レンタル屋から、サービスを停止通告を受けなければ、そのまま続行していた可能性が大です。誰しも、基本的には、掲示板の変更は好まず。出来れば、継続していたいです。
CGIプログラムで、バージョン・アップされても、大したものではありませんでした。メール・アドレス入力欄はそのままですし。今だに、そんな掲示板が散見されます。
但し、古い掲示板では仕方がありません。又、別途の防備があれば、結構です。
兎に角、当時は、スパム投稿の単純な癖を承知していないレンタル屋にCGIプログラム屋が多かったです。もしろ、殆どが知らないとして過言ではありませんでした。
私は、データーに示す通り、メール・アドレスの件については当時から承知しておりましたが、確信はありません。全掲示板にメール・アドレス入力欄がありますから、無いのと比較は出来ません。
但し、スパム・メールには関係しており、インターネットの初心者でさえ、入力してしまってから、削除依頼のメールをして来る程に常識化しておりましたが、スパムは入力して来るのが圧倒的に多い、理由は分かりませんでした。
入力欄を削除し、無くす事で、スパム投稿がその分、減るか、否かも、定かでは無く、その後、諸般の状況より、自動投稿ツールによっては、必須にされている事があると、知りました。
連続投稿については、云うまでもありません。英文の場合、特に顕著で、URLを羅列して来ます。
この辺りをレンタル掲示板で対応し出したのが、概略、2008年からとなります。
対策とするよりは、借り手が該当箇所を加工の出来る掲示板ですので、掲示板のメール・アドレス入力欄は、私自身で削除しました。(元のでは、入力欄の有無を選択出来ません。有りのみです。)
話を元に戻しまして、レンタル掲示板屋から、サービス停止通告を受け、別途のレンタル掲示板を探す事を迫られ、出来れば、スパム対策の充実したものをと、思いましたが、これと云うのはありませんでしたので、適当なものを選定し、その際、単純にファイルを一枚噛ませ、様子見をする事にしました。
ファイルを一枚は、掲載の通りですが、詳しくなら、当時から、「SpamMailKiller」等、その他、セキュリティ関係のサイトでの、サポート掲示板では時折見受けた手法です。
スパム投稿がゼロとは云えませんが、格段に少ないと判断しておりました。流石にスパムの事を良く承知されております。
只、ファイル一枚で効果があるのか、別途の対策をされているのかを、「ソース」での確認では、何もされてませんでした。
何もとは、私が解読出来た範囲での事であり、見つければ、当然、流用しております。
当時には、薄々なら、ロボット除けメタ・タグの事は、気付き始めておりました。
或る意味、ファイル一枚を流用して以来、スパム投稿の少ない掲示板は出来る限り詳細を調査し、結果的に、「INDEX」ファイルにロボット除けメタ・タグはスパム・ゼロが多い事を察知しました。
それ以前の、実際には、ファイル一枚であれ、掲示板との間に挟む事は、閲覧者各位に手間を取らせる事になりますので、採用について、相当な抵抗がありましたが、スパム対策にご協力をと、閲覧者各位を拝むような感覚で、導入に至りました。
要は、手間暇と、スパム対策を比較し、スパム対策を取りました。
現在では、全く抵抗はありません。
スパム対策、アラシ対策は最重要と考えます。下らない投稿を許してるよりは、遙かに健全です。
掲示板は公開の場ですので、そのような投稿があれば、閲覧者各位に当方のセキュリティに対する意識、見識を疑われます。
当時、ファイル一枚を噛ませのは、スパム・ロボットから、掲示板を少しでも、遠ざける事を意味しますが、効果の程は、気休め程度で、即にも、捕獲されると覚悟してましたが、一週間、二週間と、約二ヶ月保ちました。
約二ヶ月経っても、スパム投稿はありませんでした。
何代目かの掲示板ですので、スパム投稿がどの程度の期間で出現するかは承知であり、ファイル一枚でも、相応の効果があると分かりました。
この時のレンタル掲示板はデザイン的な自由度、使い勝手的にも、悪かったため、設置して、早速にも、別途の気に入った掲示板を探し、採用の際には、噛ませたファイルには、対策を一段進めるため、メタ・タグを挿入しました。
つまり、ファイル一枚でも、日数が経つに従い、スパム投稿が無く、効果のあるのは、分かります。
こんな程度でも、防備に効果があるならと、ロボット除けのメタ・タグを挿入しました。
既載の通り、諸説紛々とするのか、否定的見解が散見されましたが、文脈からは、特に検証もされてませんし、ファイル一枚同様に、簡単に過ぎる事でもあり、ダメで元々的感覚で、取り入れました。
実際問題、メタ・タグの挿入だけであり、特に、難しい事をするのではありません。挿入による副作用も分かっております。むしろ、副作用がある事を期待しておりました。
検索サイトで表示されるなら、メタ・タグは検索ロボットには、無効になりますが、何週間経っても、「Google」「Yahoo」等に検索されませんので、有効であると、判断しました。
そんな見方からは、単にファイル一枚を挟んだだけの掲示板時代は、検索サイトで表示されておりました。よって、スパム・ロボットに捕獲されるのも、時間の問題かと。
手本にした、サポート掲示板でも散見しておりましたので、単なる紙一重の効果であると、認識しておりました。
等々の背景の下、「掲示板スパム件数」をご参照戴ければ、経緯をご理解して戴けると思います。
以上、主として、掲示板についての、スパム対策について解説して来ました。
解説と申しましても、内容的には、全て、「パソコンあれこれ」「ホーム・ページ構築の話」「パソコン雑談」等で、断片的に掲載しております。脱線等々が多く、場所が分かりませんので、解説をしております。
当然ですが、初期に掲載の事柄は、間違っている事もありますが、私も年数に応じ、若干なりともの、経験を積み、学習効果もありますが、周辺の環境も変化しており、この掲示板スパム対策も、近々にも、陳腐化するのは、自明です。
陳腐化の理由は、既に、検索ロボット除けとして、レンタル掲示板では出現し、色んなサイトで、メタ・タグについて、スパム対策の一つの手法として、取り上げられるようになりました。
その分、スパム投稿に悩まれる方の一助になり、非常に好ましいとする反面、スパム屋も商売ですので、ロボット屋に改善依頼する可能性も増し、ロボット屋がメタ・タグの事を認識するのも時間の問題と考えます。
それ以前に、メタ・タグ一つの事であり、目新しくも、難しくも無い手法であり、既に、察知されていても、何等、不思議ではありません。
プラウザで、「ソース」を見れば、誰にでもとは申しませんが、若干の知識があれば、一発で分かる事です。
アプリケーションのプログラムをコピーであれ、構築する技量のあるプログラマーですから、承知していて、当然です。
但し、メタ・タグは簡単に過ぎますので、スパム屋関係者殿は、そんな下らない手法の突破よりも、高度な技法である、「プロキシ経由の制限」「ホスト(DNS)を取得出来ない場合の制限」等の突破にご注力をと。
以上、あくまでも、スパム投稿対策の一つであり、当然にして、私如きのド素人の私見であり、絶対に正しいものではありません。
それをご理解の上で、個々人の環境に応じ、個々人が判断され、個々人の自己責任の下、より理に叶った手法で、より多くの掲示板に対策が適用され、より多くのスパム屋を遠避ける事が出来ればと、願う次第です。
(09/06/12)