老码农分享 http://blog.sciencenet.cn/u/seawan //敲键读书打酱油;

博文

mmseg4j: 中文分词

已有 4388 次阅读 2012-6-4 19:50 |个人分类:tm|系统分类:科研笔记|关键词:学者| 中文分词


这是一个96年发表的分词算法 的一个实现。算法页面:

下载试了试,对古文的效果也不错。估计使用自定义的词典后效果更好。

=============随便跳了两段话,直接在命令行中分词的结果====================
mmseg4j-complex>高上玉皇本行經髓一卷共3頁
高 | 上 | 玉皇 | 本行 | 經 | 髓 | 一卷 | 共 | 3 | 頁

mmseg4j-complex>撰人不詳。約出於元代。一卷,收入《道藏》洞真部本文類。此篇摘錄《
高上玉皇本行經》之要旨,係該經縮寫本。刪去原經中關於玉帝修道證果故事和玉皇大神咒
文,保留玉帝化身演說清靜解脫之道,以及世人誦經功德。篇末附"傳經源流",內稱至正四
年(1344)劉處源受此經于毗陵道士,可見本篇約出於元代。
撰 | 人 | 不 | 詳 | 約 | 出 | 於 | 元代 | 一卷 | 收入 | 道藏 | 洞 | 真 | 部 | 本
文 | 類 | 此 | 篇 | 摘 | 錄 | 高 | 上 | 玉皇 | 本行 | 經 | 之 | 要旨 | 係 | 該 |
 經 | 縮 | 寫 | 本 | 刪 | 去 | 原 | 經 | 中 | 關 | 於 | 玉帝 | 修道 | 證 | 果 |
故事 | 和 | 玉皇 | 大 | 神 | 咒文 | 保留 | 玉帝 | 化身 | 演 | 說 | 清 | 靜 | 解
| 脫 | 之道 | 以及 | 世人 | 誦 | 經 | 功德 | 篇 | 末 | 附 | 傳 | 經 | 源流 | 內
| 稱 | 至 | 正 | 四年 | 1344 | 劉 | 處 | 源 | 受 | 此 | 經 | 于 | 毗 | 陵 | 道士
 | 可 | 見 | 本 | 篇 | 約 | 出 | 於 | 元代


https://m.sciencenet.cn/blog-461456-578567.html

上一篇:刘厅长(可能)是一个做事的人
下一篇:在R下使用MMSeg4j中文分词

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-26 12:36

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部