科学网 › 标签 › 阿里云

标签: 阿里云

相关帖子	版块	作者	回复/查看	最后发表

没有相关内容

相关日志

阿里云打造Jupyterlab数据科学环境: GISdsq 2020-2-19 07:43; 本篇博客主要解决阿里云服务器上Jupyterlab配置方面的一些问题，关于安装教程详情见之前的这篇博客。 Windows的Linux子系统搭建数据科学环境 1 安装完无法启动Jupyterlab 首先声明，我在Anaconda3安装过程中已经设置了将安装相关的Python，ipython，Jupyter等添加到环境变量。但是一开始安装完，直接在命令行里敲入Jupyter lab仍旧提示找不到命令。造成这个问题的可能原因是仍然需要将安装路径设置到环境变量里，也有可能是没有更新环境变量（因为我没有先更新环境变量测试，所以现在不确定解决方式，但是可以两个都做，应该能解决）。设置环境变量与更新环境变量。。~/anaconda2/bin指Anaconda安装的位置，对应到我的jupyterlab就是Anaconda3的bin文件夹。后面那句命令行即为更新环境变量。 echo 'export PATH=~/anaconda2/bin:$PATH' ~/.bashrc source ~/.bashrc 2 解决第一个问题以后出现OSError 在解决第一个问题以后，运行jupyter lab，报错为”OSError: Cannot assign requested address”。谷歌搜索问题解决方式即在jupyter lab后面加上—ip=0.0.0.0 —port=8888，即命令如下。 jupyter lab --ip= 0.0 . 0.0 --port= 8888 3 允许root账户登录由于阿里云服务器一直是root账户登录，因此还需后面加上—allow-root，即命令如下。 jupyter lab --ip= 0.0 . 0.0 --port= 8888 --allow-root 当然阿里云上还需要在安全组上开放8888端口（如果你把port端口换成非8888，即使用更换后的数字）。 4 Jupyter lab配置文件生成每次赋值token码是比较麻烦的，这里采用生成配置文件修改密码的方式来操作。首先，敲入如下命令行。 jupyter lab --generate-config 然后用vim编辑打开配置文件。可以看到如下关于密码设置的注释。接着先进入Python3或ipython的命令行。 from notebook.auth import password password() 接着会让你设置密码，设置完密码以后会出现一串字符。将这段字符进行复制，然后打开前面生成的配置文件。找到以下几个地方做修改。 c.NotebookApp.ip = '0.0.0.0' c.NotebookApp.port = 8888 c.NotebookApp.allow_root = True c.NotebookApp.open_browser = False c.NotebookApp.password = '' #填入刚刚复制的字符这样后续只需要用jupyter lab即可启动Jupyter lab，然后将阿里云服务器的ip地址加上‘:8888/lab’，即可登录，当然阿里云服务器还需要设置8888端口安全组开放。这样就可以愉快地使用Jupyter lab做编程了。骨灰级matplotlib hello world测试。参考链接： 1. ubuntu16.04下anaconda3的安装和配置，jupyter notebook的简单使用 2. OSError: Errno 99 Cannot assign requested address 3. Jupyter Lab 简单配置; 个人分类: 技术干货|3017 次阅读|0 个评论

阿里云安装nginx配置网站: GISdsq 2019-12-2 00:11; 本期带来一篇最近在阿里云服务器上折腾nginx配置网站的教程。 1 nginx简介 nginx是一个轻量级的web服务器，我的认知，这东西跟负载平衡不分家。这里抄下度娘简介。 Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，在BSD-like 协议下发行。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。——百度百科接下来给出官网。 2 阿里云安装nginx 这里就不多说阿里云服务器的相关内容了，笔者长期有租用一台用于数据处理等工作。系统是Ubuntu 14.02，这里选用Xshell连接服务器进行一系列操作，并用Xftp来上传下载文件。这里安装nginx有两种方式，一种是apt-get的安装，但是这种安装一般不是最新版本。如果想要最新版本，就推荐下载源码，自行编译安装。这里我们就不使用最新版本了。至于编译安装的可以在网上搜索教程，关键就是先安装几个关键依赖库openssl，zlib，pcre，同时编译安装也比较自由，可以在自己定义的路径里安装。 apt-get update apt-get install nginx 如果apt-get报错如图的话。并且无法安装任何软件包的话，就必须执行第一行update的命令行。执行完update命令行，如图。接着执行安装语句。键盘敲入y即可安装。安装成功后，可以键入如下命令检测。 nginx -v 说起来这版本确实旧。目前官网最新版本为1.17。 3 配置nginx 我们首先了解下nginx的目录，默认安装的目录主要在/etc文件夹下。这个时候，只需要在命令行里敲入nginx，即运行了nginx。 nginx 由于我的阿里云之前只打开了22端口用于Xshell连接，这里就多打开默认的80端口访问网站。打开阿里云官网，登录账户，点击云服务器ECS，如图点击安全组。接着在主面板点击配置规则。然后点击添加安全组规则，按如图所示填写页面的80端口。0.0.0.0/0表示任意ip可以访问。接下来把服务器ip地址放到浏览器中，即可发现跳转到nginx的欢迎页面。接下来只需要把网页放到服务器中的指定位置即可，再针对配置文件做修改。有域名的条件下，可以把域名和自己服务器关联起来做解析。这个版本的nginx的文件配置不是nginx目录下的nginx.conf，而是site-available文件夹下的default。这里给出一个测试的配置。 root是网站的路径。这里采用二级域名来控制，所以还得去配置域名。具体的教程可以看后面的参考链接。这里就不赘述了。 4 基本命令以及错误这里的一些命令主要是开启nginx，关闭，重启，关闭所有nginx。 # 关闭 nginx -s stop # 查询80端口占用 netstat -ntpl | grep 80 # 杀死所有nginx进程 killall nginx 详细的命令可以参考后面的链接。另外我在启动nginx时报了两次80端口占用的信息。这个应该是多启动了一次nginx（猜想）。此外网上也有不少人遇到第二个端口ipv6占用问题，真正的措施并不是kill掉所有nginx，而是配置文件中的修改。这些参考链接我一并列出，有需要者自行取用。参考链接: 1. Nginx安装以及解决运行时端口被占用问题 2. nginx的启动和关闭 3. nginx - nginx: bind() to :80 failed (98: Address already in use) 4. Hugo 与 nginx 结合使用 5. 解决nginx: bind() to :80 failed (98: Address already in use) 6. 把域名和IP地址绑定后，利用域名+端口号访问自己搭建的网站 7. Nginx停止服务和各种命令; 个人分类: 技术干货|2068 次阅读|0 个评论

一文看懂阿里云“神龙架构”：集齐上云需求召唤神龙: bonjourgl 2019-9-30 15:25; 在我国云南东巴圣地玉水寨，有一处神泉。传说这神泉的泉眼处，是玉龙神出没的地方。每年玉龙神都要出来巡视丽江坝子，但见那神龙戏水而出、带风而下，轻盈灵动间把水翻折成三叠。水流的哗哗声跟神泉的安宁、祥和相映成趣，玉水寨美景“神龙三叠水”的美名便得乎于此。玉水寨美景“神龙三叠水” 传说总是美丽而虚幻，但是我们今天要说的“神龙三叠（迭）”，则是真真切切发生着的科技创新故事。一、神龙3·献礼阿里云10年从2009年到2019年，阿里云（也即“阿里云智能”）十岁了。回首当年IT领袖峰会，BAT掌门人分别就“云计算”发表观点。在“旧瓶新酒论”和“为时过早论”面前，只有“不懂技术”的马云坚定要做云计算。 2009年9月，阿里云正式成立。事实证明，抢跑了两年的阿里云真正掌握了先机，此后的阿里云在中国云计算市场一骑绝尘，丝毫不亚于亚马逊AWS 在海外的风头。阿里巴巴这个世界最大的数字经济体，从来不会躺在功劳簿上睡大觉或是沾沾自喜。尽管云计算越来越成为一门以规模取胜的生意，但阿里云并没有停下寻找新的（除规模外）核心竞争力的脚步。苦心人，天不负。 2017年10月，阿里云“神龙架构”横空出世。代表云数据中心虚拟化技术变革、致力于以软硬协同设计提升虚拟化效率的“X-Dragon”，与被称为“裸金属虚拟化的先行者”的第一代神龙服务器，双剑合璧，踏歌而来。 2017年10月神龙架构面世此后的2018、2019年，神龙架构一年一个台阶，第二代、第三代神龙服务器接踵而至。在今年的阿里云栖大会上，阿里云智能基础产品事业部总经理蒋江伟（小邪）透露，神龙架构已大规模应用于淘宝、天猫、菜鸟等业务；未来，阿里云遍布全球的百万服务器将全面升级至第三代神龙架构。神龙，真有这么神？二、神龙架构·缘起如果将“2006年亚马逊推出EC2和S3（以租赁计算力来为企业运行业务应用）”视为云计算商业化的起点的话，2015年前后，云计算市场已经网罗了大部分的互联网企业。这些“云原生企业”，对云这一弹性计算服务用得非常好，云计算也能很好地满足这些企业的需求。其实自云计算商用以来，在IaaS（基础设施即服务）层面，云计算的底层技术并没有根本性的变化：大规模标准化的X86服务器+（可以将这些资源池化并提供虚拟机服务的）Hypervisor系统软件。 Hypervisor系统通过管理标准X86计算机集群，为用户提供虚拟机服务；用户因此得到弹性的计算资源，也不需运维复杂的底层硬件，可以专注于业务创新。然而，小邪、阿里云弹性计算技术负责人张献涛（旭卿）他们逐渐发现了一个问题—— 那些非云原生企业，他们的软件栈构建在传统的物理机上，在上云的过程中，很多不愿意做架构改造或者无从改起。这样一来，就导致超过一半（50%~60%）的用户只能“部分上云”，甚至百分之七八十的业务仍然在线下。针对这个痛点，阿里云的技术专家们开始思考：如何打造一款既能够接入云基础设施，又能够提供类似物理机服务的计算产品？ “这就是我们当时做神龙的初衷。”小邪告诉《本来科技》。其他云厂商也有所行动，但他们当时提供的是一种如今可称作“托管云”的服务——将传统的物理机买回来放到云数据中心，提供用户“租赁服务”。小邪觉得这种模式行不通。 “它没办法持续：一千台服务器还能吃得消，一万台、三万五万台的时候呢？” 机器自己买，硬盘坏了算自己的、数据丢了用户找你算账，这么做云服务，早晚被拖垮。小邪说，国内一家这么做的云计算厂商，已经濒临崩溃了。客户真正想要什么？ “要的是物理机的资源，弹性的服务。其实就是‘定制化的物理机’——既能够享受物理机的性能，又能发挥云计算的优势。” 旭卿说，这在那时，是个“太过理想化的东西”。三、虚拟化·“黑洞” “阿里的工程师有个特点：遇到问题就兴奋。”旭卿告诉《本来科技》，当时想到要实现这个理想化的产品时，阿里云技术团队也是“抓瞎”：没有产品可以模仿，没有现成的芯片、板卡等硬件可以支撑。但这确是一个从需求出发驱动的技术实现。大型业务上云，容器化是最热门的，它也代表着趋势，因为它解决了运维的标准问题。但是，跑容器性能最好的是物理机（裸机服务器）。一旦上云，容器本身也要一次虚拟化，加上上云的虚拟化，就是两层虚拟化，虚拟化本身就有性能占用，虚拟化的嵌套，更是不可避免地带来新的性能损耗。 “技术人员都是有洁癖的。”小邪说：“这种性能的消耗会让他们不爽。” 这个性能消耗其实是可以量化的。“差不多10%。”小邪说。 10%的消耗意味着什么？意味着如果有1亿的预算，什么都没干，1千万就没了。另外，在同一物理机上的虚拟机之间，也会存在资源抢占的情况，这样一来，虚拟机的性能就会产生波动，影响计算的稳定性。用户会说：“既然如此，我为什么不用物理服务器？” 虚拟化，从来就是云计算的基础。数十年前诞生的虚拟化技术，通过软件定义的方式来管理数据中心的计算资源，让云计算厂商可以根据企业需求输出计算能力，收放自如。然而，云计算的弹性能力是以牺牲性能损耗的形式来换取的。总结来说，资源损耗来自于虚拟化自身的性能开销、虚拟机之间资源抢占造成的性能波动、虚拟化嵌套造成的效率下降等等。因此，虚拟化就像黑洞一样，吸走了机器的部分性能。举例来说，在一台96核的服务器上运行云服务系统，可能需要占用8核32GB内存来提供虚拟化的开销，用户得到的只有88核和剩余内存。四、阿里云·“造龙术” 面对虚拟化这些从娘胎里带出来的缺陷，在2016年“双十一”复盘会上，阿里巴巴集团CTO兼阿里云智能总裁张建锋（行癫）专门就此讨论过。他提出：业务应用上云之后虚拟化相关的性能开销，能不能解决掉？旭卿回顾那段历史时说：最初研发神龙架构的目的，就是为了应对虚拟化带来的资源损耗。 “从那开始，我们就尝试着从服务器架构优化的角度，把容器迁移上云后的开销抵消掉。”小邪说。从架构优化出发，可不是谁都能干的出来的事儿。但阿里云可以。还记得阿里云那时的核心竞争力吗？规模。作为云计算市场的头部，阿里云服务器部署的规模是百万级别的。这个级别，允许阿里云的技术专家们用全新的软硬件技术，变革服务器架构，改善现有云计算的性价比。旭卿介绍说，在2016到2017年的一年多的时间里，阿里云做了架构的研发和产品的研发，并在2017年正式推出了X-Dragon Hypervisor。 “它和一般的虚拟化技术不太一样，它做的是裸金属的虚拟化，要做的是性能超越物理机的虚拟机。”旭卿介绍，为了实现这个目标，阿里云研发了神龙系统。从神龙X-Dragon架构来看，阿里云研发了专用的芯片、定制的专用主板，开发了专用的MOC卡，甚至开发了整套配套的软件——从BIOS到应用层支撑软件，再到整体调度软件等一整套复杂的系统。这是非常巨大的投入，目前世界范围内有能力开发这样系统并投入使用的企业，只有两家。（点击链接发现另外一家）五、三年·三代“神龙” “加了X-Dragon Hypervisor之后，它可以把物理机变得像虚拟机一样灵活。”旭卿说，它可以使用弹性计算的OpenAPI直接去购买，直接去释放，而它的性能，比如性能关联的存储、网络，数据面全部进行加速，得到更高的性能、更低的资源利用率。这就是阿里云神龙一代的“裸金属服务器”。在X-Dragon Hypervisor的调度下，裸金属服务器就像漫威英雄“绿巨人”一样，兼具物理博士班纳的高智商和浩克的超强战斗力。神龙一代经发布后，在2018年初就实现了全面的商业化。旭卿介绍说，神龙架构满足了企业无顾虑大规模上云的需求，“以前上不了云的用户都能上了”。在实际应用中，他们又发现了另一个问题： “在云数据中心，传统的虚拟化产生虚拟机，因为与神龙服务器不同的计算架构，会形成两个资源池，这导致成本大幅度上升。” 可不可以让一套架构既支持裸金属服务器，又支持传统的虚拟机？这很快成为阿里云技术团队升级神龙架构的目标。阿里云技术专家是想让虚拟机在神龙架构下，也能“飞起来”。大规模部署的实践显示，第二代神龙做到了“一套软硬件，三种服务（裸金属服务器+虚拟机服务+容器）”，实现了“虚拟机性能接近裸金属”。并且，在这一代神龙架构上，阿里云实现了神龙架构的全组件“热升级”（FPGA毫秒级热升，业务零感知）——此中意义更大，可大大加速神龙的迭代蜕变。 “第二代神龙是阿里云融合虚拟化的重要实践。”旭卿说。第三代神龙对各项性能指标和参数进行了更极致的升级。小邪在云栖大会上发布第三代神龙架构时，介绍了它的威力：通过硬件加速虚拟化，神龙Hypervisor性能进一步提升，损耗接近零；神龙芯片IO加速，云盘读写速度达到100万IOPS，网络收发包能力达到2500万PPS，相较第一代神龙提升5倍；统一的弹性计算平台架构全面支持ECS虚拟机、裸金属、云原生容器；成为容器最佳载体，计算性能零损耗，计算成本下降50%；软硬一体化的安全，端到端的安全防护。可以说，在历经软件虚拟化、通用硬件虚拟化、专用硬件芯片虚拟化三个阶段后，第三代神龙架构实现了裸金属服务器、ECS虚拟机等计算平台的架构统一，用户将得到更高性能、更稳定、更便宜的高质量弹性计算资源。需求迁移，技术驱动。从第一代神龙到第三代，阿里云面向用户上云痛点，逐步帮助用户：全面上云、上高性能云，兼容上云、上可靠云，加速上云、上低成本云、上安全云。 “集齐7大上云痛点，召唤神龙。” 六、重新定义·云马云接班人、逍遥子张勇说： “阿里巴巴的云，是我们重新定义的云。” 从两层虚拟化做成“0层虚拟化”，从虚拟化抢占资源到把所有调度offload到一张MOC卡上，神龙架构的优势不仅是解决虚拟化开销“黑洞”。小邪告诉《本来科技》，它还通过“硬件隔离”让业务之间不再争抢资源，通过让用户“无感”的热迁移让整体计算服务稳如磐石，真正做到了让计算像电一样成为基础设施。 2016年双十一期间，淘宝曾一度不能下单，这源于不同系统业务“打架”争抢资源。在阿里云上，“争抢资源”可能永远不会再有了。 “12306”每逢佳节倍“死机”，这源于大规模并发需求给服务器造成的压力使CPU负荷激增，计算机群性能损耗过半，无法正常发挥计算性能。在阿里云上，“CPU过载”也不会再有了。如果用一句话总结神龙架构的创新，那就是：神龙架构实现了软硬件的深度结合，通过专用芯片来抵消虚拟化技术带来的性能损耗问题，完全发挥处理器和内存等计算资源的性能。在这个过程中，阿里的技术团队自研了X-Dragon虚拟化芯片、X-Dragon Hypervisor系统软件、X-Dragon服务器硬件架构等等。这是一个系统的、颠覆式的创新。部署神龙架构的云计算，不再是过去相互独立的“标准硬件+分布式系统软件”，而是转变成为一个软硬件融合的系统架构。七、神龙·未来10年三代神龙架构，生动诠释了阿里巴巴“需求迁移，技术驱动”的可持续发展理念。图灵奖得主、加州伯克利大学计算机科学教授David Patterson曾表示：“随着摩尔定律的终结，为了获得更高性能的计算机，唯一方法就是改进计算机的设计或‘架构’。” 阿里云在云计算上实现了。在此次云栖大会上，行癫在其演讲中总结数字经济的四大技术要素时，第一个点出阿里云： “我们十年坚持下来做云计算，使得现在IT设施云化。原来都是单个服务器，我们叫做信息化、自动化，到今天我们第一次进入云的时代。” “云第一次把整个IT设施从端到端的部件，变成归集在云端的基础设施，这和当年工厂自己发电变成提供完整的电网变革是一样的。”行癫说，云就是打基础，就是建设高楼大厦要打的地基，“必须精确规划”。可以说，这是神龙架构带给阿里云的自信，神龙架构不仅正在帮助阿里云做到了“用一朵云，实现万种数智场景”，还在为云计算谋划未来十年。作为计算机史上发展的一大步，云计算发展至今并非终点，云的未来依旧拥有极大的想象空间，新一轮创新已经开始。毕竟，接下来阿里云遍布全球的百万服务器就将全面升级至第三代神龙架构，最好的迭代，就蕴藏在规模最大的部署之中。彩蛋时间！！阿里云操作系统叫“飞天”，存储系统叫“盘古”，网络管理叫“洛神”，资源管理叫“伏羲”，飘在天上的这群阿里工程师，大概跟天庭打交道比较多，不约而同地想到，要让龙族的人来做“维稳部队”。喏~神龙系统，稳稳地镇压着水面下的千年妖兽。就像神龙阵一样，神龙架构也稳稳地“镇压”着云计算平稳运行背后的“幺蛾子”。听说《大圣归来2》将创新演绎“大闹天宫”，大圣将会抽走龙王盘踞着的那根“定海神针”。难以想象，没有了神龙架构的云计算将会面临什么？; 个人分类: 科技杂谈|5755 次阅读|0 个评论

阿里云OSS对象存储，linux命令行使用记录: chinapubmed 2018-8-26 09:34; 最近数据交付开始使用OSS了，以前都是快递硬盘。比较了下，发现OSS超级快，1小时下载了近200g的数据，极大节省了数据上传下载时间。传统的做法是测序公司邮寄移动硬盘（约1-2天），从移动硬盘拷贝到本地服务器（1-2h，若是云服务器的话可能还需要1-2天）。现在直接1h搞定。加快了50-100倍。 centos使用记录 1，安装python，及各种依赖 1.1 python安装略 1.2 依赖包 yum install python - devel 2，安装oss-python SDK包下载 https://github.com/aliyun/aliyun-oss-python-sdk 然后解压 python setup.py install 3，存配置（一次就行） python osscmd config --host=oss-cn-shanghai.aliyuncs.com --id=自己的id --key=自己的key 4，下载 python osscmd ls oss://你的目录 python osscmd get oss://你的目录/test.fastq.gz test.fastq.gz 就将test.fastq.gz下载到本地了，名字还是test.fastq.gz 批量下载： python osscmd downloadallobject oss://你的目录本地目录 --replace=false --thread_num=5 更多命令： getallbucket(gs) createbucket(cb,mb,pb) oss://bucket --acl= --location= deletebucket(db) oss://bucket deletewholebucket oss://bucket getbucketlocation(gl) oss://bucket putcors oss://bucket localfile getcors oss://bucket deletecors oss://bucket putlogging oss://source_bucket oss://target_bucket/ getlogging oss://bucket deletelogging oss://bucket putwebsite oss://bucket indexfile getwebsite oss://bucket deletewebsite oss://bucket putlifecycle oss://bucket localfile getlifecycle oss://bucket deletelifecycle oss://bucket putreferer oss://bucket --allow_empty_referer=true --referer=referer1,referer2,...,refererN getreferer oss://bucket getacl oss://bucket setacl oss://bucket --acl= allow private, public-read, public-read-write getobjectacl oss://bucket/object setobjectacl oss://bucket/object --acl= allow private, public-read, public-read-write ls(list) oss://bucket/ ls(list) oss://bucket/ --marker=xxx --delimiter=xxx --maxkeys=xxx --encoding_type=url mkdir oss://bucket/dirname listallobject oss://bucket/ listalldir oss://bucket/ deleteallobject oss://bucket/ --force=false downloadallobject oss://bucket/ localdir --replace=false --thread_num=5 downloadtodir oss://bucket/ localdir --replace=false --temp_dir=xxx --thread_num=5 uploadfromdir localdir oss://bucket/ --check_point=check_point_file --replace=false --check_md5=false --thread_num=5 put localfile oss://bucket/object --content_type= --headers=key1:value1#key2:value2 --check_md5=false appendfromfile localfile oss://bucket/object --content_type= --headers=key1:value1#key2:value2 upload localfile oss://bucket/object --content_type= --check_md5=false get oss://bucket/object localfile multiget(multi_get) oss://bucket/object localfile --thread_num=5 cat oss://bucket/object meta oss://bucket/object info oss://bucket/object copy oss://source_bucket/source_object oss://target_bucket/target_object --headers=key1:value1#key2:value2 copylargefile oss://source_bucket/source_object oss://target_bucket/target_object --part_size=10*1024*1024 --upload_id=xxx copybucket oss://source_bucket/ oss://target_bucket/ --headers=key1:value1 --replace=false rm(delete,del) oss://bucket/object --encoding_type=url signurl(sign) oss://bucket/object --timeout= createlinkfromfile oss://bucket/object object_name_list_file createlink oss://bucket/object object1 object2 ... objectN getlinkindex oss://bucket/object options oss://bucket/ --origin=xxx --method= uploaddisk localdir oss://bucket/ --device_id=xxx --check_md5=false init oss://bucket/object listpart oss://bucket/object --upload_id=xxx listparts oss://bucket getallpartsize oss://bucket cancel oss://bucket/object --upload_id=xxx multiupload(multi_upload,mp) localfile oss://bucket/object --check_md5=false --thread_num=10 multiupload(multi_upload,mp) localfile oss://bucket/object --upload_id=xxx --thread_num=10 --max_part_num=1000 --check_md5=false uploadpartfromfile (upff) localfile oss://bucket/object --upload_id=xxx --part_number=xxx uploadpartfromstring(upfs) oss://bucket/object --upload_id=xxx --part_number=xxx --data=xxx config --host=oss.aliyuncs.com --id=accessid --key=accesskey --sts_token=token; 个人分类: 生物信息|4492 次阅读|0 个评论

走近阿里巴巴: 热度 6 xuxfyuwp 2016-12-15 23:32; 从阿里员工的名片上看，人员被分为两类，一类是管理系列，即 M 系列，包括十级，最高为马云，仅此一个 M10 ；另一类是 P 系列，属科技研发系列，分十一个档次。有人调侃说实际还有一个 M11 ，即马云太太，因为她能管马云。在阿里工作过的正式员工可以获得唯一的工号，即便后来离开了，此号也会保留。所以现在阿里的正式职工有近 4 万人，但工号已近 11 万个。从阿里离开，被称为毕业，仍被认为是阿里的校友，一旦有校友聚会的活动，还会回来参加，相互交流，有的自己创业后，也与阿里保持着密切的业务联系。他们称马云为老师或校长，不称老板。阿里已构建了全国覆盖面最广的云服务系统，为阿里的各项业务运行提供了有力支撑，也对外提供服务。建立这样的系统，当初也是被逼无奈。在阿里的网上业务量还仅为几百万单 / 年时，马云就已乐观地宣布几年内将会突破一万亿单 / 年。但没想到这一愿景被阿里的技术人员泼了盆冷水：按当时的网络、服务器等的运行开销，若真是达到了一万亿单 / 年，阿里的末日也就来临了。为什么呢？那时阿里的 IT 系统完全依赖于国外厂商，如 IBM 、 ORACLE 、 EMC 等，从网络、服务器到数据库都是如此，为此开销很大，且随着业务量的拓展还会快速增长，吞噬着阿里发展进程中所获取的利润，显然难以持续。这一提醒使马云不得不下决心摆脱这一桎梏，制定了去 IOE 战略，开发、建立自己信息网络支撑体系。这一被逼无奈的举措，造就了阿里云系统的成功，在国内明显走在了前列，在国际上也极具竞争力。目前阿里巴巴每年业务量已超过 3 万单，网络支撑不再成为问题，心腹之患被完全消除。在阿里，一个很值得骄傲的项目是建立了一套完整的用户信用体系，这对整个国家而言也是很有借鉴价值的。由于在阿里的业务运行平台上，记录了每个用户的精准信息，包括通信方式、家庭或工作地址、购物种类及习惯等。基于这些信息，结合社会学、经济学、行为学等学科的相关成果，就可以设计并建立综合评分算法，给每个客户计算出一个信用评分。当这一分值累积达到一定水准时，便可转化为相应的信用效益，对人产生正面激励作用。且这一评分结果不但在阿里平台上使用，还在相当范围得到认同。如一个人若获得了 700 以上的信用评分，就可以从阿里巴巴获得 100 万元的融资贷款，无需任何抵押担保，一分钟申请， 3 分钟放款。依据这一评分，可以方便地获得去新加坡的签证，省掉其他审查。通过这一体系的建立，阿里践行着诚信等于财富的理念。阿里的存储的海量数据信息被认为是难以估量的财富，其大数据的应用面很广。在各类商品的定位和销售过程中就可以体现出准确的引导价值。如一个孕妇在怀孕后的不同时期会关注哪类产品，不断搜索哪些信息，都在阿里的系统里留下痕迹，经统计分析后就可以清楚看出这类客户的消费倾向，且是非常有规律的。通过阿里的高德导航系统，还可以掌握不同人开车时的驾驶习惯，这些信息对于交通管理、保险等领域应是很有价值的。为不同厂商提供的信息气温标签也受到了很高的关注度，在阿里提供的各类信息标签中排名第七，据说掌握这一信息可以为某些厂家提升 10% 以上的销售量。阿里已开始与气象部门合作探索提高天气预报准确率的数据分析技术，时间虽不长，但已显示出乐观的结果。通过对大量历史天气资料和实况资料的综合分析，可以使短时天气预报的结果有 10% 以上的提高，若能通过长时间的实际对比检验，无疑对改进目前的天气预报能力是会有所促进的。走近阿里，看到的是一个集多种信息技术服务于一身科技集团，并在面对和接受着技术发展与用户需求的多种挑战，不断向更深更广的领域和层次拓展，显然已完全超越了一个电商所涉及的业务空间。; 个人分类: 文章|5193 次阅读|6 个评论

庞俊英：OpenFlow与VxLAN在云网络的应用: SDNLAB123 2015-5-19 14:08; 我叫庞俊英，来自阿里巴巴技术保障部，整个阿里集团所有的支付宝、淘宝、阿里云都是在我们之上的业务。我两年前来过这里，去年我没来，因为觉得去年没什么可讲的，所以我向大家汇报的是有一个连续性的，就是我前年提了哪些问题，这些问题我现在解决了吗？然后还有哪些问题还需要解决，我希望业界帮我们做什么，所以我是这样一个思路来讲的。我是个工程师，所以我的 PPT 里面如果有很漂亮的图，一定是盗图，如果有横的一定是我画的。今年的问题是不是还是存在的？第一个网络的复杂性带来网络一直的停滞不前，是不是还存在？原来像计算、存储是不是有变化。第二个，很多复杂的东西，今天是不是还是这么用呢？第三个，提了这么些年弹性，是不是解决这个问题了。大家讲这个会不会便宜，因为我在阿里巴巴差不多五年前就在做资源交换机，很多人问这个问题，这个事情是不是今天还存在呢？所以想跟大家汇报一下。还有一个问题，这张图也是两年前大家见到的，大家说不清楚 SDN 是什么，说不清 OPENFLOW 是什么，后来又说 SDN 和 NFV 是什么关系，有个天才画出这么一张图，反正各说各话。我想这个答案是什么呢？半信半疑，可能到今天也是一个半信半疑。因为能看到的东西，也看到了，所以我们相信了，没看到的东西还是没看到，所以我们怀疑。这没关系。我今天跟大家汇报的是一个真正的，它正在发生的一个事情，一个网络的变化，你说是变革也好，但是它的的确确在发展，给大家一个信心，也是给产业链一个信心，这件事情是可以做的，我们自己也是有收益的，我们自己还是满意的。我们在很早之前就考虑，数据中心内部 OPENFLOW 是不可以用的，有很多原因，也在争吵这一层应该怎么做，大家都在争吵。那我们也在思考，就是这个东西能不能用，我们会遇到哪些问题，所以我简单的列了几点，一个我们真正的思考和我们要解决的驱动力，我们考虑在数据中心网络里面用 OPENFLOW 和 VxLAN 做驱动力有哪些，这些动东西是不是今天面了现实。第一个是大规模的区域的部署。在规模小的时候，二层就解决了，就会有人提大二层，当然我们也是一步一步走过来的。现在你一出门都是万台服务器或者几万台服务器，都是在 EV 多少多少以后，任何一种，我们跑了几年的二层技术都是不成的。很现实的一个问题，就是 VM 一定要迁移，怎么办？那这就是我们必须从传统的二层技术向这个变迁，那我们该选择哪种技术？第二个是扩展性的问题，五是因为这些问题，你做很多小集群，你的池化的能力一定会被降低，你要做一个大的集群，你今天所面临的所有问题都是存在的，那这个 Overlay 必须要分离。如果说你一层到 BN 了，你二层没办法做了，上面一定要有 Overlay 。怎么能够快速的部署，如果能够迅速的战略市场，你的 VM 的成本比较低，你的管理成本也要低，你的供应链的成本也要强，这个就是你的弹性和兼容性的问题，你如何做自动交付和变更。因为很早之前就做变更，最后一个需求就是到今天为止，我们一定要面对的一个问题，就是混合云是存在的，有的物理服务器就是不能够云化，你不能把它做虚拟化，但是这个物理服务器跟你的云之间一定要联通的，所以是怎么连的问题，所以混合云是一个很刚性的需求。就这样几条原因，促使我们做网络自动化的驱动力。这张图比较明确的讲了我们做的。这一点是 Overlay 和 Underlay 是分离的，其实物理是在一起，然后在上面有我们阿里云的管控系统，原理是这样的，当一个 VM 创建的时候，我们的管控系统会告诉我们一个 VM 要构建了，当这个 VM 被点亮。这个相关的转发表项就会到物理网络当中来，原理就是这么简单。所以从云的角度去看， Overlay 能够提供的是它自己的这样一个特性，是能够在 Overlay 里面去满足的。 Underlay 就是做交付、变更、配置，它是非常简单的，一次做完就 OK 了。这是一个 Overlay 。这一点是要明确告诉大家的，就是 Overlay 这一层，大家可以看一下，这里画的有蓝色的，有绿色的，有橙色的，这是一个二层域，用 VxLAN 隔成的二层域。网关是放在最上面的那个。然后这个用这样几个接口做的 OPENFLOW 。我们总结一下，我们用到的东西。第一个，我们用的就是今天用到的芯片，商用芯片，没有什么特别的东西。然后交换机是一个商用交换机。然后 Overlay 这个平面，中间有一个节点，你一定见过 face book 的中间节点，你自己管的了它就可以，它中间是没有要求的，一头一尾是一定要做 Overlay 的，我们是在上面一层做了 VxLAN 的。物理网这一块，我们的集群比较大，对于吞吐要求是比较高的，所以我们的容量很大。在管理这一块，很清楚的大家可以看到，就是用一个 API 去做部署、管理。关于 VM 的迁移域，我们是面向自己云的控制系统和交付系统，南向有两层。因为我后面也会讲。 ARP 这一块，我们没有用到任何机制，就是用 ARP 的管理，就是用静态的方式从控制系统下发。这个是我心里的一个愿景，就是 SDN 的全景图，你可以构建自己的虚拟网络。现在这个虚拟的网络，今天看不过是在一个 IDC 的内部，然后不同的区域之间，北京、上海、广州之间，这些不同的 IDC 怎么去构建还没有完全想好。但是在 IDC 内部已经搞的比较清楚了。然后你什么东西都可以跟你的 SDN 进行互动。无论你是一个物理服务器，比如说 IBM 的主机，你是支持 OPENFLOW 和一种虚拟化， Overlay 协议的，比如说 VxLAN ，那也是 OK 的。如果说数据库，这个交换机外面可以去实现。然后很多 BOX 都是在 X86 上实现的，路由器、交换机，然后做的 PCEP ，都 OK 的。包括 BOX ，光这一层也可以做，跟 SDN 和你的 IP 网、传输网做一个统一调度，统一视图和流量管理。所以从 SDN 的全景图来说，任何的网络设备，任何一个网络设备，就即使是一个数据库也要接到网络里面来，如果你自身不具备能力，我可以放进去。如果你可以虚拟化，那也是 OK 的，都可以进行 SDN 的调度。所有的东西放在一起，就是这样的一个愿景图。将那张图对应一个混合云的网络架构里面，就是我这里画出来的，我可以通过 VxLAN 做租户的隔离，这里有蓝色的租户，有红色的租户，大家可以看到，用 VxLAN 做一个 Overlay 是没有任何问题的。这个黑色的点是我们今天的用法。比如你的用户就是今天的网络，这个传统交换机不支持 VxLAN ，它没有 OPENFLOW 的接口，怎么办？那也没有问题，也可以实现，这样就非常灵活了。中间服务器那边， X86 服务器也可以做一些服务链的工作。如果你希望 Overlay 搭建在一个物理网络之上，你可以到一个网关上去，也可以到某一个核心交换机去，也可以沉到服务器。这是一个非常非常灵活的混合云的架构。这是我们所倡导的 P+V 的理念和体系架构，路由器、交换机， X86 ，可以放在服务器里面，也可以放在你自己定制的服务器里面都是 OK ，这一层网络设备只要能够支持 VxLAN 这个协议，支持 OPENFLOW 的接口，就可以做到我前面那张图讲的，我们都是可以做的。在这及之上都可以构建自己的虚拟的网络层。再往上，因为 NFV 是介于业务和基础架构之间的特殊的一层，所以把它放在中间的一层。如果是传统的网络和业务是可以进行承载的。在上面我们看到的业务系统，云的业务系统，流量调度系统，还有运营商所提供的那些服务都是可以的。这是我们倡导的 P+V 的虚拟网络架构的这样一个框架。在我们的实践里面，解决了哪些问题，大家也可以看到，我的 Operational ，这两层的分离是很灵活的，你今天可以提供一个整网，一个二层域，你也可以把它拆分，比如说明天跑完了，明天面对 100 个租户，都是可以的。原来网络的链路的探测都是非常非常难做的，我用 SIP 这种方式做检测，模拟业务流从一个服务器打到另一个服务器，都用这种方法去做。只要在物理链路上这样做，不一定把所有的网络都仿真出来，今天有了这个机制以后，我们发现非常非常容易，原来不敢想像的网络数据，现在都已经可以实现了，非常容易做。还有我们没有做到的事情是什么呢？没有以前想像的做一个 SDN 可以省钱，我是这么来看待这件事情的。前面五条我都看到了，我并没有多花钱，这个就已经可以了，今天这么去做没有比传统的网络便宜，但是也没有贵，但是你却可以得到前面的五项好处，这是现在的情况。仍然存在的问题，今天我跟大家开放的讲这个事情，就是希望产业链的这些同仁们，还有其他的用户来共同倡导这样一个理念，就是大家慢慢都去做，原来大家都不相信 OPENFLOW ，然后也都觉得用 OPENFLOW 有问题，当然我们也是觉得 OPENFLOW 是有问题的。但是我们觉得这条路是可以走下去的，产业的这么多同仁都来做，其实真的可以把这个事情做的很好的。如果那一天发生的话，我们没有把这个锁定去掉的话，这样自然而然可以便宜下来。因为在转发面，我们还是用了传统的方式。然后在控制面做了一些调整。所以所谓的对业务中段的，当时在 SDN 框架里面讲的几大好处这个好处其实是没有拿到的，这一层还没有完全做到，这点要是能够做到的话，还是需要向 OPENFLOW 去发展。是不是到了某一天，它叫 OPENFLOW ，我们也不用纠结，这个产业会往前走，但是我们今天的确在用 OPENFLOW 这个接口。现在我们提到的还有南向的标准化，其实南向和北向的标准化都有这个问题，南向还好，但是今天的北向，大家都说用户不一样，业务不一样，也会带来这个问题，其实标准化还是做的不好。那也会阻碍这件事情往前做好的一个点吧。还有一个，我觉得我可以建议大家，可能各个公司，还有传统的公司，就是关于做一个高性能的，更标准的接口是很重要的事情。还有一点。当真的 FLOW 做好了，这个想象空间会更大。我们发现我们的网络架构缺少一个，真的是软件太软，硬件太硬。前段时间参加培训，跟很多小孩在一起的时候，我非常担忧，他们对网络的理解非常非常少，做网络的人不理解网络。我们已经这样自学习了这么多年，所以我觉得这个理念一定要消除，怎么消除呢？我们缺少一个全站的架构师。最后因为时间也到了，这件事情是我非常想做的，我也会在行业里面和在我的同事去倡导这样一个思想，第一个 NETops 一定会向 DEVTops 转型的。谢谢大家。本文转载自 SDNLAB ，更多 2015 全球未来网络暨 SDN 技术大会演讲文章请关注 SDNLAB 。; 个人分类: 业界资讯|2494 次阅读|0 个评论

阿里巴巴是神马话儿: 热度 2 cgh 2014-9-20 20:57; 阿里巴巴是神马话儿 Out 了不是！打出租车用“快的”，但是不会用“支付宝”在线支付。网购进“京西”、“亚牛逊”、“二号店”，却没逛过“掏包”和“天贸”。知道“雅虎中国”关门，却不知道为啥改成“阿里云”了。 “公开资料显示，阿里的注册地即在开曼群岛，已在美国纽交所上市，其第一大股东是日本软银，持股占比 34.4% ，第二大股东是美国雅虎，持股占比 22.6% ；腾讯的注册地也是开曼群岛，已于 2004 年在港交所上市，其第一大股东是南非 MIH 集团，持股占比 33.93% ；百度的注册地同样是开曼群岛，已于 2005 年在美国纳斯达克上市，其第一大股东则是英国 Baillie Gifford Co Limited ，持股占比 7.1% 。” “支付宝已经被马云剥离阿里巴巴集团，成为马云控股的私人公司。”“软体银行专注于对 IT 业（网络、电信）的风险投资，在全球有 600 多家公司已得到过投资银行软银的投资。” “阿里巴巴于美国东岸时间 9 月 19 日上午 9 时上市。阿里巴巴当日开盘价 92.7 美元，成中国第二大市值公司，阿里巴巴市值已经接近于百度与腾讯之和，且仍未上市其独立资产支付宝。当日收盘价格为 93.89 美元，上涨 38.07% ，总市值 2314 亿美元。盘中最高价 99.70 美元，最低 89.95 美元。” “中国经济网记者了解到，按照阿里保守估值1500亿美元来算，日本软银的投资回报可高达440倍，腾讯大股东南非MIH所得到的回报更是高达1925倍，而外资机构从百度身上所获回报也同样令人惊叹。从这个角度来看，BAT上市之后获利最大的似乎都是外资机构，“中国互联网果实被外资攫取”的说法不胫而走。” 股票是什么？白条？你花一块钱买进来，然后十块钱卖出去，那么，你就赚了。如果你卖不出去，拿去上厕所糊墙了，就白搭了。和白条的制造成本没有关系，也和白条上写的什么没有关系，甚至和白条的本身没有关系。只和白条的别名相关。实在不理解，看看这个圈钱过程； “阿里巴巴挂牌上市后，其股价一度飙涨至 41.8 元，为挂牌价的三倍，赢得「香港新股王」的称号。但是到了 2008 年 7 月，阿里巴巴股价已暴跌 78% ，跌破 10 元票面价； 10 月，股价更曾跌破 4 元。 2012 年 2 月 21 日，宣布每股 13.5 元私有化。” 挂牌和私有化一个价，就算是真实价值吧。叫个高价卖出去有叫个低价买回来，钱从哪到哪了呢？ “2013 年全年阿里巴巴收入为 79.53 亿美元，按年升 62.3% ；纯利为 35.17 亿美元，大增 3 倍。” 难道这才是它的真实价值？与“总市值 2314 亿美元”是什么映射关系呢？ F(X1 ， X2 ，…… ) ＝ g （ y1 ， y2 ，……） http://finance.ce.cn/rolling/201406/30/t20140630_3060306.shtml 软银 - 维基百科，自由的百科全书阿里巴巴集團 - 維基百科，自由的百科全書 ……; 个人分类: 杂谈|3591 次阅读|3 个评论

[转载] ZT: Yahoo信箱的浮“云”化: 热度 3 等离子体科学 2013-4-29 14:51; 我有两个yahoo信箱，主要是给学生交作业用的。最近突然接到通知：都要变成“阿里云”了！怎么个故事？牵狗、摆渡，觉得下面这个故事应该有点靠谱吧。原文的题目是：三位华人高管埋葬了雅虎中国：邮箱关闭只是一个开始原文在这里有条链子： http://bbs.m4.cn/thread-3504764-1-1.html 大家节日快乐！; 个人分类: 假语村言|2727 次阅读|5 个评论

更多...

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

标签: 阿里云

相关帖子

相关日志

关闭安全验证