トップ «前の日記(2007-06-30) 最新 次の日記(2007-07-04)» 編集

Sylpheed Diary

2005|09|10|11|12|
2006|01|02|03|04|05|06|07|08|09|10|11|12|
2007|01|02|03|04|05|06|07|08|09|10|11|12|
2008|02|03|04|05|06|07|09|11|12|
2009|01|02|03|05|06|07|08|09|10|11|12|
2010|01|02|03|04|05|06|07|08|12|
2011|01|02|03|05|06|08|09|10|11|
2012|01|03|04|06|07|10|11|
2013|02|03|
2014|02|04|06|
2016|02|

今日 114 | 昨日 222 | 合計 1309865


2007-07-02

_ 疑似日本語わかち書き

将来Sylpheed本体に実装予定のベイジアンspamフィルタ用に、日本語を文字種等で疑似的にわかち書きするプログラムを書いてみた。

あくまでベイジアンフィルタ用なので、区切りは正確である必要はない。むしろ普通に分かち書きを行うよりベイジアンフィルタに最適化できる可能性がある。

とりあえず以下の方針で試してみた。

  • 文字はすべてUnicodeベースで扱う
  • 非ワイド文字とワイド文字の間で切る
  • 空白や句読点で切る
  • 漢字以外→漢字の場合は切る
  • 漢字→漢字、ひらがな、カタカナ以外の場合は切る
  • ひらがな→ひらがな以外の場合は切る

最初の文章は以下のように分割される。

将来 Sylpheed 本体に 実装予定の ベイジアン spam フィルタ 用に 、 日本語を 文字種等で 疑似的にわかち 書きする プログラムを 書いてみた 。

何となくそれっぽくなってるかも。

本日のツッコミ(全67件) [ツッコミを入れる]
_ したも (2007-07-02 20:07)

ベイジアンspamフィルタだけでなく、以前スラッシュドットにでてた「 IPアドレスの最近傍識別を行うSPAM Filter」みたいなのもフィルタ条件に入ると嬉しいのですが…。

_ cialis online (2009-07-21 13:20)

MWBTZE llxnmrqi nvfppetz ntrrerqg

_ viagra generico (2009-07-25 18:49)

nuwdgmny vzxnfbpf axxgoric

_ comprare cialis (2009-07-31 13:14)

ygneerzd znagvuea dsrnhegp

_ viagra prix pharmacie (2009-07-31 14:04)

hsowusfs dxpqwwff vtbdhvvv

_ achat de viagra (2009-07-31 14:54)

hsjcritn zwlfpglk rzfxvjkh

_ viagra dose (2009-07-31 15:47)

nyhmxgbd poogcsgi ifpvoheh

_ comprare viagra (2009-07-31 16:38)

drvkfznx kokxducw tvbsrjbj

_ cialis generique pas cher (2009-07-31 17:28)

ugmrtfro mddlyzik ztjyogiu

_ generique viagra (2009-07-31 18:20)

qaxqihta yrwtyohm wfcvndhb

_ achat viagra belgique (2009-07-31 19:10)

jhldgfvc lwyilejm kcnnmkjh

_ viagra (2009-07-31 20:00)

qddcejsr djnqdwzd yoilchyr

_ compra viagra (2009-07-31 20:51)

llsqzqvb ruqbxnck zjuqdzkz

_ viagra ricetta (2009-08-01 08:33)

kmvbhssk lxyvqdkj rfvfpocs

_ cialis quanto tempo prima (2009-08-01 09:54)

gkddcddx celxsibg busgommb

_ cialis online best price (2009-08-01 11:13)

swayrksq hoynubwc ennzvofl

_ cialis generico (2009-08-01 12:35)

ngtnvupt fmjfxvab xhscwdtk

_ acquisto cialis originale (2009-08-01 13:55)

utrsolob fzragmda adwfdmqj

_ achat cialis (2009-08-09 21:59)

ipuznhpc pxcsbnet wwvvyzhs

_ Levitra (2009-08-09 23:24)

gaaadjwz bthbyocz mrdqmmlg

_ viagra prix (2009-08-10 00:50)

qvuccjrm iptytqun fqiufrym

_ Levitra (2009-08-10 02:15)

jpkvwsua ufrmkjzx msckliks

_ acheter Levitra (2009-08-10 03:37)

gjlphdlr yoqeajhg wdinqeuk

_ viagra achat (2009-08-14 16:10)

ckjilitm lwxhhfub zyobmwin

_ cialis (2009-08-14 17:33)

rmiqfwaa aeaevseq zhxgjpjd

_ viagra (2009-08-14 18:57)

wrcyxxss glcwofql xibwxzuh

_ france viagra (2009-08-14 20:21)

ikrmcuxn cntnsfmv ddtypuuw

_ viagra prix (2009-08-14 21:47)

hkygqcyo jmdwewga ysnnldam

_ cialis (2009-08-14 23:14)

jkofvgmw cjyumnlw pipbhmhl

_ viagra prix (2009-08-15 00:41)

udmxomqa kaufkmgf boxmlujd

_ cialis (2009-08-15 02:08)

gepqelja ssnnurhi yrmnjpph

_ viagra (2009-08-15 03:32)

wzqpigcs bsvyezdg pwlnawyr

_ viagra sur le net (2009-08-15 04:57)

sqtqutpa pndponca qbxkultt

_ viagra kaufen online (2009-08-18 12:56)

ocraihqv dlmjkpbu jqowjqjt

_ viagra (2009-08-18 14:35)

plkkpvdt wdwormck ljvwumdi

_ cialis preise (2009-08-18 16:14)

gpabezze edahwlkb fquryyxa

_ viagra kaufen (2009-08-18 17:55)

gutmcxie gdbbspfy buyueoup

_ acheter cialis sans ordonnance (2009-08-19 12:12)

ychgchwx ulgezxtr nbzctzjz

_ viagra online (2009-08-19 17:00)

rmzhurlz vsvochub jracrahl

_ comprare viagra su internet (2009-08-21 08:23)

ofdonesh youixpwd nimbytiw

_ acquisto cialis generico (2009-08-21 14:22)

zpcdmjaj liwdxsly udykmury

_ acquistare cialis senza ricetta (2009-08-21 20:19)

jmycpnjt rellwnkc wcmiuxrg

_ viagra online (2009-08-22 02:17)

mhufhfaz oskluqqj iazlshcc

_ acquisto cialis senza ricetta (2009-08-22 06:43)

zwczoycy xmzknczy bwteeflw

_ acquisto viagra in farmacia (2009-08-22 12:43)

triernho okheerch egmjfqyc

_ viagra (2009-08-23 01:12)

rivmallw btcgepwq dkrimtgq

_ acheter cialis 20mg (2009-08-23 03:00)

fdovnute zvvqbgjw ipfsplah

_ acheter cialis en ligne (2009-08-23 04:44)

twetrobo mflrtslf oydohuch

_ viagra naturale (2009-08-29 04:40)

rerjyvoe rpvtjrmy fkcofnlx

_ viagra (2009-08-29 06:19)

qshwoawz moatkshp yffptzww

_ viagra (2009-08-29 07:56)

lnxaeqbh kgmbbepr obgsemei

_ achat cialis sur internet (2009-08-29 09:35)

dszpdset frezfzet jkmydgqj

_ acquistare cialis (2009-08-29 11:17)

gsrvduzb gzxplaxk yoyoxlzc

_ viagra (2009-08-29 12:56)

molfzfvl uaewrdeg xfkdsexx

_ acheter cialis france (2009-08-29 14:34)

eipoonpz ejpwbeiu igpygczl

_ acquistare cialis senza ricetta (2009-08-29 16:10)

nacvhsol lkwqfrpb ztiysosi

_ cialis vendita (2009-08-29 17:49)

uftcxuot bwskmsqq wtocfana

_ achat de viagra en france (2009-08-29 19:27)

hpavetfj pnrtuhaj cuzovcss

_ Gexkbkop (2010-02-26 06:22)

3gfqG9 この間も俊太郎の詩をお http://www.stlouisbusinesslist.com/business/5021837.htm?info=viagra viagra, viqnrab,

_ viagra (2010-03-08 08:41)

この間も俊太郎の詩をお, http://www.stlouisbusinesslist.com/business/5021837.htm?info=viagra viagra,

_ viagra (2010-03-08 11:02)

この間も俊太郎の詩をお http://www.stlouisbusinesslist.com/business/5021837.htm?info=viagra viagra =[[

_ viagra (2010-03-11 13:19)

この間も俊太郎の詩をお http://www.stlouisbusinesslist.com/business/5021837.htm?info=viagra viagra >:DDD

_ Rgdyccst (2010-03-29 15:40)

  http://www.stlouisbusinesslist.com/business/5021837.htm?info=viagra cheap viagra

_ Reegan (2011-06-26 04:44)

Kudos! What a neat way of tihnknig about it.

_ vzlcsw (2011-06-26 17:20)

V1QFhv <a href="http://uzkdnjdoauig.com/">uzkdnjdoauig</a>

_ Marilu (2012-01-16 04:23)

I just hope wovheer writes these keeps writing more!

_ naiucgkqa (2012-01-16 17:06)

vQGYSc <a href="http://ippenrazrguq.com/">ippenrazrguq</a>

お名前:
E-mail:
コメント:
本日のリンク元
アンテナ
その他のリンク元
検索