Keywords as Technology and as Business Model. The entire search industry has relied on keywords as money-making machines. What are the limitations of keywords as technology? What are the limitations of keywords as business model? What are prospects beyond keywords? These are issues discussed in this blog and the next (in progress). 信息爆炸的时代，IT 领域风云多变，群雄争霸，此伏彼起。其中最精彩的故事之一就是搜索巨头的崛起。他们的谋生本领从技术和商业模式两方面看，都是所谓关键词（keywords）。于是关键词有了两个含义，一个是关键词的技术，另一个是作为广告基点的可以卖钱的关键词。 作为技术的关键词，从原理上看是再简单不过的了，就是给海量文本做个索引，以便检索。建索引是个相当古老的传统，严肃一点的教科书、手册和科技书籍，差不多都会在书前的目录之外，再建一个术语索引附于书后，以备读者查询。从满足信息需求的角度看，目录与索引的区别在方便随意浏览还是临时查询。一般人两种需求都有，譬如，每天查看新闻是很多人的习惯，那么进入新闻目录去分类浏览就是自然而然的了（这个需求的延伸就是如今手机上各类新闻推送，个性化服务，送货上门了）。一般而言，这个需求的特点是事先没有一个明确的问题需要解答，浏览看上去有点漫无目的，至少没有一个焦点，就是了解个动态。因此预制的目录和分类可以比较好的适应这种需求。第二个需求不同，信息需求者有个具体的焦点，或者疑问，他需要寻求答案。譬如家里抽水马桶坏了，查一查怎么修理抽水马桶。这类具体的需求千差万别，每个人每个不同的时间点，都可能产生一个特定的问题需要答案。因此，要想事先给这无限的开放的信息需求及其答案做目录式分类，是不可能的，因为有限的分类无法应付无限的问题。为了以不变应万变，关键词索引和检索应运而生，满足了这种需要。因为所有的具体问题或信息焦点，说到底都是由关键词组成的。前述抽水马桶的问题，心里的问题大概是“我的抽水马桶坏了，怎么修理呢”，电脑不懂人话，只好抽出表达主要概念的词（不抽的是所谓 stop words，就是”我“、“的”、“了、”呢“、”怎么“ 之类, 多是高频小词），其关键词就是：抽水马桶，坏，修理。关键词是语言表达的基本单位，因此从信息海洋中检索出来的网页只要按照这些关键词出现的密度（keyword density）排序，要寻找的答案应该就在里面了。（关键词密度排序是最基础的搜索技术，后来改进版的排序算法 Page Rank 更加注重网页本身的信誉度。） 互联网发展伊始，很快迎来了网页的爆发性增长，网人在信息的海洋中找不着北了。于是给网页做目录分类的雅虎兴盛了，门户网站门庭若市。人多了就好做生意，于是门户网站开始了网络时代的广告生意，各种闪烁的广告条让人眼花缭乱。后来人们发现，信息需求靠有限的目录和分类是无法满足的，需要一个工具来帮助搜索。谷歌百度等搜索引擎为支撑的公司遇到了历史的机遇。不过，刚开始的时候，他们也不知道怎样才能挣钱，他们不过是研制了这么一个搜索工具供网人自由使用，他们没有门户网站分门别类的丰富内容，对用户没有粘性，用户拿来就用，用完就走，很可能是回到了内容丰富规整的雅虎去浏览新闻去了。于是，他们就到各大网站去推销这套引擎，凡是大一点的门户或网站，都有一个支持网站内搜索的需求，也就需要搜索引擎，他们于是收取 license fee，这是典型的 B2B（企业对企业） 商业模式，卖的是技术（工具）本身。可这么做难以做大，不过是网站门户的补充而已。 直到有一天，新的 B2C （企业对消费者） 模式出来了，这才开启了搜索引擎大佬财源滚滚的时代。这个模式的基础就是发现了，关键词不仅仅是技术，是索引和查询的元件，而且关键词本身也可以卖大钱。卖给谁？当然是广告商，谁出钱多，就卖给谁，而且关键词数量巨大，加上关键词之间的组合（ 可以对关键词做与、或、非等操作），这个盘子可以做得很大，定期竞标，实现利润最大化（百度的所谓竞价排名：顺便说一下，比起谷歌的广告不得影响搜索排序结果的做法，百度有时太没品了，让人无语）。这一切的一切都基于关键词是最简单而且最容易掌控的语言表达的形式，广告商需要借助它与信息搜取者（潜在的用户）匹配上，这样就大大提高了广告的效益，因为广告从传统的被动轰炸客户（如传统媒体譬如电视）一下子提升到主动迎合客户的信息需求，因为在搜索过程中遇到的广告都是与所搜索的关键词密切相关的内容。这个关键词卖钱的商业模式是迄今互联网最成功的模式，经久不衰。 说到这里，我们可以问一下：用关键词来表达信息需求（譬如问题）、满足信息需求（譬如根据密度信誉度返回相关网页）以及代表广告内容，靠谱么？答案是 yes and no。从用户体验来看也是如此。很多时候似乎用关键词，再花点时间阅读反馈回来的前几个网页，就找到了问题的答案。也有的时候发现找不到答案，于是把自己的问题变换一下，抽取不同的关键词，譬如变成 “抽水马桶”，“不工作” 再去查询，答案就出来了，就在新返回的网页里。反正电脑检索是立等可取的，变换几次虽然要多费点儿劲儿尝试（trial and error），满足了需求也还是可以接受的。也确实有些时候，关键词怎么也玩不转，费了九牛二虎之力，尝试不同关键词的组合，可就是找不到答案。有的是心中的问题难以用关键词抽取来表达，譬如你想寻找产品发布的信息，就很难用关键词表达，第一，产品这个概念是一个开放集，没法用关键词去枚举。第二，“发布” 这个关键词是多义的，政治新闻的发布就与产品没有一毛钱的关系，没有动宾关系的制约，硬拿它做关键词去搜索，得到的就是信息巨多，太多杂音。总之，关键词作为语言的元件，表达信息不可能完整准确，它的好处是简单、鲁棒（robust）和查全率（recall）好，作为语言表达，关键词不过是一个最简单的近似，一个无奈的选择。 总结一下，关键词只是表象，它的价值植根于对信息的表达（载体）。是这种信息载体的身份使得它把用户的需求、网页的相关以及广告商的目标这三者联合起来，成为互联网经济的三大基石之一（电商交易和游戏服务是另外的两大互联网产业）。然而，关键词只是信息表达的最原始粗糙的元件，它没有抽象度，无法应对不可枚举的概念（譬如“产品”），它没有语词结构，最多只能用逻辑“与或非”操作关键词（术语叫 boolean query），而无法表达文法关系（譬如表达 “发布”的对象必须是产品）。所有这一切都是根子上的局限。因此，关键词不可能是信息时代的终点。关键词技术和关键词模式都面临而且需要一场颠覆式的革新。 下一讲预告 《立委科普：关键词革新》 ，谈关键词的三面都面临怎样的颠覆式改革。 【后记】 这篇是地地道道的科普，太浅显、白话、常识了，老妪能解了吧，只是结论部分从天下大势和技术基础的角度指出了关键词技术和关键词模式的根本局限，算是夹带了私货：关键词面临革命（或者叫颠覆式革新更易让人接受，也更妥帖，因为不可能杀掉关键词，只是要剥夺它的信息唯一载体的地位）。 【相关博文】 《立委科普：关键词革新》 2015-10-17 《泥沙龙笔记：铿锵众人行，parsing 可以颠覆关键词吗？》 2015-10-10 《泥沙龙笔记：铿锵三人行》 2015-10-08 泥沙龙笔记：漫谈语言形式 2015-10-03 泥沙龙笔记：parsing 是引擎的核武器，再论NLP与搜索 【研发笔记：没有语言结构可以解析语义么？浅论 LSA】 【立委科普：基于关键词的舆情分类系统面临挑战】 【置顶：立委科学网博客NLP博文一览（定期更新版）】
作者（ Author ）检索：所有的作者姓名都被标引，所有的作者姓名都可以被检索、显示、打印和输出。 首先输入姓氏，再输入空格和作者名字首字母 。建议使用首字母或截词符（ * ），因为作者名有时有不同的写法。 ① 一般规则：输入作者的姓，随后是一个空格，然后输入不超过五个的名的首字母，例如： 来源文献 J.R.W. Yates ， Web of Science 数据库 Yates JRW ， 检索为 yates j* or yates jrw 。 ② 姓名的不同形式：当姓可能不是放在最后时，用姓名的不同变化形式展开检索。例如： 来源文献 Shi-Wa Yen ， Web ofScience 数据库 Yen SW 或 Shi WY ， 检索为 yen swor shi wy 。 来源文献 Uzonyi Kiss Sandor ， Web of Science 数据库 Uzonyi KS 、 Sandor UK 、 Sandor UK 和 Kiss SU ， 检索为 uzonyi ks or sandor uk or kiss su 。 ③ 复姓：在 1997 年以前，复姓的部分是连在一起的。因此如果想得到完整的检索结果，应使用连在一起和分开表示两种方式，如表 1 所示。 表 1 复姓检索 来源文献 Web of Science 数据库 检 索 D. Lagadic-Gossmann Lagadic Gossmann D LagadicGossmann D lagadic gossmann d* or lagadicgossmann d* Geraldo Felipe de la Fuente De la Fuente GF DelaFuente GF de la fuente g* or delafuente g* M. D’Angelo D Angelo M Dangelo M d’angelo m* or dangelo m* ④ 头衔，等级头衔，世代名称（如 Junior 或者 Senior ）以及学术身份（学位忽略不计）检索： 例如，来源文献 Lord Duvall Edwards ， Web ofScience 数据库 Edwards D ， 检索为 edwards d* 。再如 来源文献 W.Brumfitt, Jr. ， Web of Science 数据库 Brumfitt W ， 检索为 brumfitt w* 。 ⑤ 2006 年和以后出版的论文记录中，可能会看到同一个姓名的两种形式。一种是姓氏 后跟名字首字母。另一种是用括号括起的完整姓名。请注意，仍须按照姓氏在先、一个或多个名字首字母在后的形式来检索作者。 ⑥ 自 1998 年的 数据开始，在姓氏中保留非字母文字字符（例如 O'Brian 中的撇号）和姓氏中的空格（例如 de la Rosa ）。 要有效地检索多年的数据，请确保充分考虑姓氏的所有可能不同拼写形式。 当检索包含连字号 (-) 和撇号 (') 的姓名时，应包括这些标记或用空格替代。 还可以检索不同的拼写形式。例如： Rivas-Martinez S* OR Rivas Martinez S* 与该姓名的两种不同形式匹配， O'BrienOR O Brien 与该姓名的两种不同形式匹配。 在 大多数姓名检索中，输入空格、连字号 ( - ) 或撇号 ( ' ) 将得到相同的记录。检索姓名 OBrien 可能返回与 O'Brien 和 O Brien 不同的检索结果。 建议 不要从含有连字号、撇号或空格的姓名中删除这些标记 使用检索运算符 AND 、 OR 和 NOT 将两个或两个以上姓名分开。检索包含空格的姓 氏时应同时使用带空格和不带空格的形式，以确保返回所有相关记录。 作者姓名中的变音符不可检索。例如，检索姓名 Schrder 会返回错误消息。姓名 Schrder 可能在数据库中显示为 Schroder 或 Schroeder 。检索这两种不同拼写形式。例如： Schroder OR Schroeder 例如： Herlert A* AND Vogel M* 查找由此二人撰写的论文记录。 Herlert A* OR Vogel M* 可查找由此二人或其中之一撰写的论文记录。 Herlert A* NOT Vogel M* 查找出现 Herlert A 但不出现 Vogel M 的论文记录。 De Marco* OR DeMarco* 可查找该姓名的两个不同形式（可能是同一位作者）。 Van Hecke T* OR Vanhecke T* 可查找该名称的两种不同形式（可能是同一位作者）。
检索字段： TS= Topic TI= Title AU=Author AI= Author Identifiers GP= Group Author ED= Editor SO= Publication Name DO= DOI PY= Year Published CF= Conference AD= Address OG= Organization Enhanced OO= Organization SG= Suborganization SA= Street Address CI= City PS= Province/State CU= Country ZP= Zip/Postal Code FO= Funding Agency FG= Grant Number FT= Funding Text SU=Research Area WC= Web of Science Category IS= ISSN/ISBN UT= Accession Number 通配符的使用： term* results in the retrieval of records in which this termoccurs followed by zero to many characters; term? results in the retrieval of records in which this termis followed by exactly one character; term?? results in the retrieval of records in which thisterm is followed by exactly two characters; term$ results in the retrieval of records in which this termis followed by zero or one character(s); The symbols ? and $ can also be used as wildcards inside asearch term: using t??th in a search results in records including the termsteeth or tooth, but also truth (for instance). 自动词性还原技术： “ Lemmatization automatically helps find variations by stemming for plurals (even complexplurals like tooth/teeth) and searching different verb tenses (run/running) anddegrees of comparison (big finds bigger and biggest). Lemmatization can beturned off by enclosing terms in quotation marks.” 英式英语 / 美式英语，虽词性不同，但在检索时会兼顾。使用双引号后，自动词性还原技术关闭。 例子： TS=harbor yields 80,894 results (Set #1). TS=harbour also yields 80,894 results (Set #2) TS=harbor yields 23,960 results (Set #3) and TS= (harbor or harbour) yields33,665 results (Set #4). TS=(harbor or harbour or harbors or harbours) yields 43,297 results (Set #5) and TS=(harbor or harbour or harbors or harbours or harboring or harbouring)yields 69,541 results (Set #6) TS=(harbor or harbour or harbors or harbours or harboring or harbouring or harbored or harboured) yields the required 80,894items (Set #7). As a check we see that #1 NOT #7 yields an empty set. So,lemmatization works. 使用通配符 $ 不关闭自动词性还原技术 TS=(harbor$ or harbour$) yields 80,923 records (Set #8),namely all those in Set #1 plus other ones containing e.g. the term Harbord. 使用通配符 ? 关闭自动词性还原技术 . TS=(harbor? or harbour?) yields 10,692 records (Set #9),while TS=(harbors or harbours) yields10,663 records (Set #10). Again records containing Harbord are in Set #9 andnot in Set #10. Moreover #9 NOT #10 yields the same result as #8 NOT #1. 使用通配符 * 关闭自动词性还原技术 . TS=harbor* (set #11) yields 59,605 but not including thosewith the term harbour (unless also harbor is included, which happens when, toan article written in British English KeyWords Plus added keywords in AmericanEnglish). 建议： 精确检索式，推荐使用双引号。追求查全率时，使用双引号下具体 terms ，加上 or 自动词性还原技术一起使用。 Ronald Rousseau. Advanced Search in Thomson Reuters’ Web of Science
标签: 检索
