科学网

 找回密码
  注册

tag 标签: 大数据处理

相关帖子

版块 作者 回复/查看 最后发表

没有相关内容

相关日志

以实际应用为突破口:接地气的三部曲
geneculture 2018-7-4 05:39
(狭义和广义)文本(非结构化数据处理) (示例与体系)知识(结构化的多学科专家系统) 一、文本处理 (化繁为简:提升各类大数据利用价值暨提升数据中心附加值的基本途径) 二、知识加工 (用户至上与学科至上也可各就各位:个性化与标准化的统一) 三、遵循规律 (指导实施三大系统工程)
个人分类: 学术研究|1343 次阅读|0 个评论
用Excel 中Vlookup等建立EstimatesRU软件需要的大数据
ynwaterbird 2015-5-11 00:48
问题:当抽样强度很大(时间强度+抽样强度),达上万条的数据时,如何将这些数据较快速度输入EXCEL表,符合Estimates 软件的格式(一般的Multiple Species-Multiply Samples),后继进行抽样强度估计(稀疏曲线估计)、物种多样性估计等。 数据EXCEL原始记录格式(举例): 年(2013.2014.2015)、月(1-12)、每月调查号(1、2、3)、样地编号(SAM.1、 SAM. 2…… SAM. 25)、物种名(Sp1、Sp2……)、ABUNDANCE 方法: Step1:数据检查和导入Spss。将数据检查无误后,用SPSS打开(过程会很慢,需要等3-5分钟,时间甚至会更长),数据在Spss显示完整后,定义变量的类型和长度。 Step2:各调查各样地各物种数量统计。在Spss-数据——分类汇总(按照年(A)、月(B)、调查号(C)、样地(D)、物种顺序;)——生成新表,导出为新Excel。(注意:如果原始记录各样地的各物种数量已经合成,则跳过此步骤) Step3:Samples 合并整理。把每次调查每个样地作为一个sample,每个SAMPLE 有一个固定的编号。比如(2年*12月*3次调查*32样地=2304个sample).在EXCEL 表里为每个sample生成一个编号:SAMPLE CODE=A2$B2$C2$D2,如1304325代表:2013年4月第3次调查第25个样地。(SHEET1) Step4:Estimates 表的制定。新建SHEET 2. 横列:物种(从第5列开始往后排序),第一列作为samples,第2、3列作为后面粘贴的预留位置,第4列作为计算的位置。 纵列:sample Step5:SHEET1和sheet2数据合并。选择sheet1中某个物种,选择性复制(CTRL+;)其sample和Abundance两列数据到sheet2第2、3列。 Step6:Vlookup函数调用和计算。在5列(E2)位置输入VLOOKUP(A2,$B$2:$C$56,2,0)回车,然后十字下拉其余数值,即可得到对应的样地物种数量值。(特别注意:上面的公式C$56中的56为假定,与每个物种的记录数相同;2为固定值,即返回查找区域的地2列)。 Step7:将新得到的数值粘贴到后面对应的物种列。注意选择粘贴数值,这样就从函数关联中脱离出来了。 Step8:当所有数据输入(合并完毕)后,将EXCEL的行和列作对调,就变成了Estimates所需要的数据格式了,即 列:物种 行:samples
3536 次阅读|0 个评论
【大数据分析】互联网银行起跑 核心在于大数据
raincent 2015-3-3 15:53
大数据分析 _大数据处理_大数据技术_云计算_网络数据与科学 网络大数据(www.raincent.com)整合了 大数据分析 , 大数据处理 , 大数据技术 , 云计算 为一体,力争打造国内数一数二的网络数据处理平台。 2014 年下半年,我国批设了两家互联网银行。光大证券将互联网银行的核心逻辑链归纳为:创设场景—导流— 大数据 —征信并授信。其中,将大数据转换为有用的信息,用以对借款人征信,是最为关键的环节。谁掌握了优异的 大数据技术 ,谁就能执互联网银行之牛耳。 腾讯旗下的微众银行和蚂蚁金融旗下的浙江网商银行,分别于 2014 年 7 月、 9 月获批筹建,预计将于 2015 年第一季度陆续开业,成为我国首批真正的互联网银行。两家银行的具体运营方式并未明确,但均定位于小微企业和个人,政府对他们也寄予了较高的希望,希望他们能够在解决小微企业融资难问题上发挥积极作用。 光大证券指出,互联网不是新生事物, 互联网 + 银行 也不是新生事物,只有大数据是新生事物。 大数据 来源于新型互联网模式,尤其是 web2.0 、 UGC 网络的兴趣,用户创造内容的过程中大数据开始迅速积累。典型的 UGC 网络包括资讯分享、社交、电商等。借助大数据,互联网银行能够批量、海量、快速、低廉地完成小微客户征信,从而使极小微的信贷成为可能。但这依赖于,将庞杂的大数据有效转换成为有价值的征信信息的能力,也就是大数据征信。 光大证券认为,大数据征信是互联网银行核心逻辑链上最关键的环节。和传统银行征信相比,大数据征信采用完全不同的逻辑。近期热门的美国 ZestFinance 公司是大数据征信的龙头,它广泛收集借款人的各种数据,通过机器学习等方式,最终形成信用分数,效果良好,且能覆盖传统征信系统不能服务的群体。我国目前已有芝麻信用、腾讯信用等公司在尝试大数据征信。 传统银行业也是一个 收集数据—征信—授信 的过程,互联网银行的创新在于将数据、征信的环节 互联网化 ( 而不是业务办理的互联网化 ) 。新建的互联网银行目前与传统银行错位竞争,对整个经济体形成有益补充,优化整体金融生态。传统银行也通过 借用 其他机构大数据的方式,进入互联网银行业务领域。 更多大数据、云计算最新资讯 敬请关注网络大数据: http://www.raincent.com/list-10-1.html
1559 次阅读|0 个评论
数据科学(大数据处理)领域的大牛和研究机构总结
bigdataage 2012-12-8 19:36
数据科学(大数据处理)领域的大牛和研究机构总结 (第3次修改) 1 Jeffrey David Ullman ( Stanford University) http://infolab.stanford.edu/~ullman/ Mining of Massive Datasets (大数据:互联网大规模数据挖掘与分布式处理) Compilers: Principles, Techniques, and Tools 这两本书的作者。 2 Anand Rajaraman Mining of Massive Datasets 的一作。 3 Jim Gray http://research.microsoft.com/en-us/um/people/gray/ 可惜已经消失在大海里,估计喂鱼了,非常可惜!! 4 Andrew Ng(吴恩达) , Stanford University, 会说中文, 很NB的一个人。 http://ai.stanford.edu/~ang/ 5 Daphne Koller , Stanford University http://ai.stanford.edu/~koller/index.html 6 Michael I. Jordan , University of California, Berkeley http://www.cs.berkeley.edu/~jordan/ 7 David M. Blei, Princeton University http://www.cs.princeton.edu/~blei/ 8 Geoffrey E. Hinton , University of Toronto godfather of neural networks, 人工神经网络之父 deep learning的领军人物 http://www.cs.toronto.edu/~hinton/
6549 次阅读|0 个评论

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-2 03:23

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部