高级软件工程 -...

高级软件工程

第10节课：云计算案例和商业模式

主讲：刘 驰

2013年12月2日

Outline

(一) 云计算案例

案例一：Amazon Web Service 案例二：Yahoo!案例三：eBay案例四：Baidu案例五：Google

(二) 商业模式

Amazon Web Service

AWS’s core servicescomputestoragedatabaseMessaging

AWS客户广泛，其中包括著名的互联网公司和创业型公司

2010年，AWS部门的收入已达5亿美元，已经成为Amazon收入的重要组成部分

AWS ‐ Compute

Amazon Elastic Computing Cloud (EC2)IaaS, provide compute resources through virtualizationUsers can dynamically apply/stop resources based on their needs

Amazon Elastic MapReduceBased on Amazon EC2 and Amazon S3, build Hadoopframework

AWS ‐ Storage

Amazon Simple Storage Service (S3)Extendable storage sizeOther AWS services can directly access data on S3

AWS ‐ Database

Amazon SimpleDBBase on S3 and EC2Lightweight data store and query services

Amazon Relational Database Service (RDS)Provide functionalities to with MySQLSupport Oracle Database 11g

AWS ‐Messaging

Amazon Simple Queue Service (SQS)提供计算机之间传递和存储消息服务

Amazon Simple Notification Service (SNS)在云中建立、操作和发送通知的Web服务

Amazon Simple Email Service (SES)提供高扩展的大量事务性邮件发送服务

Example

Yahoo! Cloud ServicesROI & Innovation

Users

Applications

Functional CloudServices

Horizontal Cloud Services

Physical Layer

Y!OS, BOSS, YQL, APT,

Analytics, …

Storage, Batch, Edge

Serving,…

Yahoo! Cloud Services: Focus on PaaS offerings

ROI & Innovation

Users

Applications

Functional CloudServices

Horizontal Cloud Services

Physical LayerIaaS

PaaS

SaaS

Horizontal Cloud – Storage & HadoopAnalyze extremely large data sets

Functional Cloud – Content OptimizationRate content items based on various parameters

Application – Yahoo’s Front PageDisplay “high rating” items to the right usersBenefit consumers and advertisers and grow Yahoo!’s revenue

Front Page

The Inquisitor

Horizontal Cloud – HadoopAnalyze large search‐index data sets

Functional Cloud ‐ BOSS Expose the data in a structured, open, flexible and “cloud like” way

Applications ‐ iPhoneTM InquisitorLeverage BOSS to provide innovative consumer experienceBenefit consumers and grow Yahoo!’s revenue

Horizontal Cloud ServicesROI & Innovation

Users

Applications

Functional CloudServices

Horizontal Cloud Services

Physical Layer

Horizontal Cloud Services

Optimized for Yahoo!‐scaleYahoo!‐internal focusData processing and serving environments

Drive faster innovation and agilityShorter product development cyclesReduce labor and costs for infrastructure

Multi‐year effortStrategic investment across the company

Horizontal Cloud Services: Conceptual View

Common Approaches to QA, Production Engineering,Performance Engineering, Datacenter Management, and Optimization

ID & Account Management

Shared InfrastructureProvisioning & Virtualization (Xen)

Simple  API’s 

Operational Storage

Structured, unstructured

Batch Storage  & Processing

Hadoop, PIG

Edge Content Services

Caching, Proxies

Online Serving

Web, Data

Security and Authentication

Metering, Billing

Monitoring & QoS

Horizontal Cloud Services: Use Cases

Ads Optimization

Content Optimization

Search Index

Image/Video Storage &Delivery

Machine Learning 

(e.g. Spam filters)

AttachmentStorage

Yahoo! runs the largest Hadoop Clusters in the World

25,000+ nodes Clusters of up to 4,000 nodes

4 Tiers of clustersDevelopment & Testing, POCs, Science & Research, Production

Terasort Benchmarks62 seconds to sort One Terabyte (run on 1,500 nodes)16.25 hours to sort One Petabyte (run on 3,700 nodes)

Webmap application~490 TB shuffling~280 TB output

Case Study  ‐ Search Assist™

Database for Search Assist™ is built using Hadoop. 3 years of log‐data, 20‐steps of map‐reduce

• Leverage Hadoop’s scalability, load balancing and resiliency • Simplified access, flexibility for rapid innovation (from C++ to

Python)Before Hadoop After Hadoop

Time 26 days 20 minutes

Development Time 2-3 weeks 2-3 days

32

Functional Cloud ServicesROI & Innovation

Users

Applications

Functional CloudServices

Horizontal Cloud Services

Physical Layer

Functional Cloud ServicesProvides functional capabilities for applications

Help developers to accomplish integrated web experiences in a faster and easier wayProvide common set of functional “building blocks”

“Powered by” the horizontal cloud servicesAbstracts infrastructure services from the Application

e.g., Storage, Compute, Serving, Robustness and Scalability

Self‐Served, Global, Managed, Elastic and Metered

Functional Cloud Services: YQL & BOSS

A single endpoint service that enables developers to query, filter and

combine data across Yahoo! and beyond

http://developer.yahoo.com/yql/console/

Providing Yahoo! Search infrastructure and technology to

developers and companies to help them build their own search

experiences

Build your Own Search Service

http://developer.yahoo.com/search/boss/

Yahoo! Query Language

Build your Own Search Service (BOSS)Yahoo!'s open search web services platform

• Serving hundreds of millions of users across the Web.Goal: foster innovation in the search industryBuild and launch web‐scale search products that utilize the entire Yahoo! Search index. Access to Yahoo!'s investments in crawling and indexing, ranking and relevancy algorithms

Yahoo! Query Language (YQL)Single endpoint service to query, filter and combine data across Yahoo! and beyond

“Internet API”SQL‐like SELECT syntax for getting the right data

Quickly discover available data sources and structure Combined data from a single web browser

Easy‐to‐use Consolehttp://developer.yahoo.com/yql/console/

Y!OS and Cloud

Yahoo! Open Stagey (Y!OS): Goals

39

40

Y!OS and Cloud Strategy

CLOUD SERVICES

Open Collaborations around the globeM45  ‐ Yahoo!’s supercomputing cluster

4,000 cores, 3 TB RAM, 1.5 PB disks, 27 teraflops! Operational since November 2007, 4 major Universities Focus on highly parallel computing

Open Cirrus™ with HP & IntelA global, multi‐data center, open source test bedTarget to advance cloud computing research & educationSimulates a real‐life, Internet‐scale environment9 Global sites, more than 50 research projects

Cloud Computing at eBay

Hadoop在百度的应用

在百度，Hadoop主要应用于以下几个方面：

日志的存储和统计

网页数据的分析和挖掘

商业分析，如用户的行为、广告关注度

在线数据的反馈，及时得到在线广告的点击情况

用户网页的聚类，分析用户的推荐度及用户之间的关联度

框计算

需求分析

需求分析

基于互联网的一站式服务

服务集成

百度

框计算确定用户需求后会选择哪个服务提供者为用户提供服务

百度的选择甚至影响一些服务提供商的发展

云计算带来的影响不仅限于技术，任何互联网公司都不能置身事外。

Google

云计算技术

云计算产品

Google云计算技术

Google在云计算拥有著名的GFS、Bigtable、MapReduce三大技术GFS

针对数据密集型应用的分布式文件系统运行在廉价硬件环境上并拥有较高的容错性

Bigtable管理海量结构化数据的分布式存储系统提供简单的数据模式动态地控制数据部署通过维护稀疏的多维排序映射表来检索数据

MapReduce编程模型利用输入键/值对集输出新的键/值对集

将并行计算细节隐藏用户只需实现map函数和reduce函数即可

Google云计算产品

Googl AppEngine一种架构Web应用程序的平台提供SDK开发套件开发Web应用程序，并将其上传到平台上Google负责应用的管理和维护

平台还提供网页抓取、图像操作、邮件等多种服务

云端应用程序Google Docs

基于Web的文档处理程序

支持在线编辑和多人协作Google Cloud Connect

可以直接将本地Microsoft office和云端的Google Docs连结起来文档在本地保存的同时也保存在云中并通过链接向别人分享自己的文档

小结

小结

互联网公司云计算的主要提供者和使用者，也是云计算的重要推动者分析和处理海量数据新的商业模式

普通用户享受到高性能所带来的服务和便利

云计算的问题安全性

在云中如何保护用户的隐私并让用户放心？标准化

各大IT公司又能否推出统一的标准？

云计算商业模式

商业模式介绍

IT界商业模式案例探析

社会计算商业模式案例探析

云计算商业模式案例探析

云计算商业模式

什么是商业模式

为实现客户价值最大化，把能使企业运行的内外各要素整

合起来，形成一个完整的高效率的具有独特核心竞争力的运行系统，并通过最优实现形式满足客户需求、实现客户价值，同时使系统达成持续赢利目标的整体解决方案

商业模式商业模式

IT界商业模式案例探析

直销模式让我成为PC市场中的“大佬”直销模式让我成为PC市场中的“大佬”

“软硬兼施”让顾客为我疯狂“软硬兼施”让顾客为我疯狂

Dell：直销模式

•直接销售、提供资源•注重客户反馈•提供专人客户负责制

•直接销售、提供资源•注重客户反馈•提供专人客户负责制

苹果：软硬结合

社交网络商业模式探析

我们的服务都是免费的，如何赚钱我们的服务都是免费的，如何赚钱

咱们拥有庞大的用户群，何愁没有钱赚咱们拥有庞大的用户群，何愁没有钱赚

Twitter：广告业务+商家收费

微博营销

微博营销

网络广告

网络广告

• 向跟随者或其他用户发送广告• 购买搜索关键词、显示在主页趋势上

• 通过微博实时市场营销（向商家收费）• 名人效应

……

Facebook：方式多样

精准广告精准广告

开放平台第三方应用

开放平台第三方应用

虚拟用品虚拟用品

F‐connect社会化购物

F‐connect社会化购物

移动互联网移动互联网

……

云计算与商业模式

处处是黄金宝藏...

云计算现有商业模式探析

我们帮助别人建立云计算，卖出了更多的硬软件和服务

我们帮助别人建立云计算，卖出了更多的硬软件和服务

我们将闲置的资源出租出去，获得丰厚的经济回报

我们将闲置的资源出租出去，获得丰厚的经济回报

我们提供在线软件服务，客户不断增加我们提供在线软件服务，客户不断增加

Yahoo! BOSS Pricing

Amazon：提供云服务

计算服务计算服务

存储服务存储服务

数据库服务数据库服务

消息传送服务消息传送服务

管理

维护

按使用付费

IBM：构建云平台

宁波“物流云”宁波“物流云”

杭州“金融云”杭州“金融云”

北京“智慧城市云”北京“智慧城市云”

无锡IBM云计算中心无锡IBM云计算中心

打造构建云计算平台

打造构建云计算平台

……

政府企业

政府企业

Salesforce:软件即服务

在线软件租用服务提供商在线软件租用服务提供商

CRM在线软

件

CRM在线软

件软件租赁软件租赁

根据使用付费根据使用付费

云计算商业模式

云计算商业模式还未成熟

各大公司基于自身产品，在现有业务上进行扩展

更新、更好的云计算商业模式还在探索中…

是否有更好的想法，或许会诞生新的IT巨人