新闻中心_杭州俍辰科技有限公司

01-26

2018

Facebook如何运用机器学习进行亿级用户数据处理

2017年末，Facebook应用机器学习组发布最新论文，对整个Facebook的机器学习软硬件架构进行了介绍。纵览全文，我们也可以从中对Facebook各产品的机器学习策略一窥究竟。论文中涉及到机器学习在全球规模(上亿级数据处理)上的全新挑战，并给出了Facebook的应对策略和解决思路，对相关行业和研究极其有意义。摘要机器学习在Facebook的众多产品和服务中都有着举足轻重的地位。本文将详细介绍Facebook在机器学习方面的软硬件基础架构，如何来满足其全球规模的运算需求。Facebook的机器学习需求极其繁杂：需要运行大量不同的机器学习模型。这种复杂性已经深深刻在Facebook系统堆栈的所有层面上。此外，Facebook存储的所有数据，有相当大一部分会流经机器学习管道，这样的数据载荷为Facebook的分布式高性能训练流带来巨大的压力。计算需求也非常紧张，在保持用于训练的GPU/CPU平台的同时平衡出大量CPU容量用于实时推理，也带来了异常紧张的。这些问题及其他难题的解决，仍有待我们在跨越机器学习算法、软件和硬件设计上持久而不懈的努力。引言Facebook的使命是“为人类构建社交关系赋能，让世界联系更加紧密”。截至2017年12月，Facebook已经连接了全球超过20亿的人口。同时，过去几年来，机器学习同样在这样一种全球尺度的实际问题上进行着一场革命，包括在机器学习算法创新方面的良性循环，用于模型训练的海量数据以及高性能计算机体系结构的进步。在Facebook上，机器学习几乎在提升用户体验的所有层面都发挥着关键作用，包括诸如新闻推送语音和文本翻译以及照片和实时视频分类的排名等服务。Facebook在这些服务中用到了各种各样的机器学习算法，包括支持向量机，梯度boosted决策树和许多类型的神经网络。本文将介绍Facebook的数据中心架构支持机器学习需求的几个重要层面。其架构包括了内部的“ML-as-a-Service”流，开源机器学习框架，和分布式训练算法。从硬件角度来看，Facebook利用了大量的CPU和GPU平台来训练模型，以便在所需的服务延迟时间内支持模型的训练频率。对于机器学习推理过程，Facebook主要依靠CPU来处理所有主要的服务，而其中神经网络排名服务（比如新闻推送）占据着所有计算负载的大头。Facebook所存储的海量数据中，有一大部分要流经机器学习管道，并且为了提高模型质量，这一部分的数据量还在随着时间推移不断增加。提供机器学习服务所需的大量数据成为了Facebook的数据中心将要在全球规模上面临的挑战。目前已有的可被用来向模型高效地提供数据的技术有，数据反馈和训练的解耦操作，数据/计算协同定位和网络优化。与此同时，Facebook公司这样大的计算和数据规模自身还带来了一个独特的机会。在每天的负载周期内，非高峰期都会空闲出大量可以用来进行分布式训练算法的CPU。Facebook的计算集群（fleet）涉及到数十个数据中心，这样大的规模还提供了一种容灾能力。及时交付新的机器学习模型对于Facebook业务的运营是非常重要的，为了保证这一点，容灾规划也至关重要。展望未来，Facebook希望看到其现有的和新的服务中的机器学习使用频率快速增长。当然，这种增长也将为负责这些服务架构的团队在全球规模的拓展性上带来更加严峻的挑战。尽管在现有平台上优化基础架构对公司是一个重大的机遇，但我们仍然在积极评估和摸索新的硬件解决方案，同时保持对于算法创新的关注。本文（Facebook对机器学习的看法）的主要内容包括：机器学习正在被广泛应用在Facebook几乎所有的服务，而计算机视觉只占资源需求的一小部分。Facebook所需的大量机器学习算法极其繁杂，包括但不限于神经网络我们的机器学习管道正在处理海量的数据，而这会带来计算节点之外的工程和效率方面的挑战。Facebook目前的推理过程主要依靠CPU，训练过程则是同时依靠CPU和GPU。但是从性能功耗比的角度来看，应当不断对新的硬件解决方案进行摸索和评估。全球用户用来使用Facebook的设备每天都可达数亿台，而这会就会提供大量可以用于机器学习任务的机器，例如用来进行大规模的分布式训练。Facebook的机器学习机器学习（ML）是指利用一系列输入来建立一个可调模型，并利用该模型创建一种表示，预测或其他形式的有用信号的应用实例。图1. Facebook的机器学习流程和架构示例图1所示的流程由以下步骤组成，交替执行：建立模型的训练阶段。这个阶段通常离线运行。在应用中运行训练模型的推理阶段，并进行（一组）实时预测。这个阶段是在线执行的。模型进行训练的频率要比推理少得多——推理的时间规模虽然在不断变化，但一般在几天左右。训练也需要相当长的时间来完成，通常是几个小时或几天。同时，根据产品实际需求不同，在线推理阶段每天可能运行达数十万次，而且一般需要实时进行。在某些情况下，特别是对于推荐系统，还需要以这样连续的方式在线进行额外的训练。在Facebook，机器学习的一个显著特征就是有可用于模型训练的海量数据。这个数据的规模会带来很多涉及到整个机器学习架构的影响。使用机器学习的主要服务消息推送消息推送排名算法能够使用户在每次访问Facebook时，最先看到对他们来讲最重要的事情。一般模型会通过训练来确定影响内容排序的各种用户和环境因素。之后，当用户访问Facebook时，该模型会从数千个候选中生成一个最佳推送，它是一个图像和其他内容的个性化集合，以及所选内容的最佳排序。广告广告系统利用机器学习来确定向特定用户显示什么样的广告。通过对广告模型进行训练，我们可以了解用户特征，用户上下文，以前的互动和广告属性，进而学习预测用户在网站上最可能点击的广告。之后，当用户访问Facebook时，我们将输入传递进训练好的模型运行，就能立马确定要显示哪些广告。搜索搜索会针对各种垂直类型（例如，视频，照片，人物，活动等）启动一系列特定的子搜索进程。分类器层在各类垂直类型的搜索之前运行，以预测要搜索的是垂直类型中的哪一个，否则这样的垂直类型搜索将是无效的。分类器本身和各种垂直搜索都包含一个训练的离线阶段，和一个运行模型并执行分类和搜索功能的在线阶段。SigmaSigma是一个分类和异常检测通用框架，用于监测各种内部应用，包括站点的完整性，垃圾邮件检测，支付，注册，未经授权的员工访问以及事件推荐。Sigma包含了在生产中每天都要运行的数百个不同的模型，并且每个模型都会被训练来检测异常或更一般地分类内容。LumosLumos能够从图像及其内容中提取出高级属性和映射关系，使算法能够自动理解它们。这些数据可以用作其他产品和服务的输入，比如通过文本的形式。FacerFacer是Facebook的人脸检测和识别框架。给定一张图像，它首先会寻找该图像中所有的人脸。然后通过运行针对特定用户的人脸识别算法，来确定图中的人脸是否是该用户的好友。Facebook通过该服务为用户推荐想要在照片中标记的好友。语言翻译语言翻译是涉及Facebook内容的国际化交流的服务。Facebook支持超过45种语言之间的源语言或目标语言翻译，这意味着Facebook支持2000多个翻译方向，比如英语到西班牙语，阿拉伯语到英语。通过这2000多个翻译通道，Facebook每天提供4.5B字的翻译服务，通过翻译用户的消息推送，Facebook每天可为全球6亿人减轻语言障碍。目前，每种语言对方向都有其自己的模型，但是我们也正在考虑多语言模型[6]。语音识别语音识别是将音频流转换成文本的服务。它可以为视频自动填补字幕。目前，大部分流媒体都是英文的，但在未来其他语言的识别也将得到支持。另外，非语言的音频文件也可以用类似的系统（更简单的模型）来检测。除了上面提到的主要产品之外，还有更多的长尾服务也利用了各种形式的机器学习。 Facebook产品和服务的长尾数量达数百个。机器学习模型所有基于机器学习的服务都使用“特征”（或输入）来产生量化的输出。Facebook使用的机器学习算法包括Logistic回归（LR），支持向量机（SVM），梯度提升决策树（GBDT）和深度神经网络（DNN）。LR和SVM在训练和预测方面非常有效。GBDT可以通过增加计算资源来提高准确性。DNN是最具表达力的，能够提供最高的准确性，但利用的资源也是最多的（在计算量上，至少比LR和SVM等线性模型高出一个数量级）。这三种模型的自由参数都在变得越来越多，必须通过使用带标签的输入示例来优化预测的准确性。在深度神经网络中，有三类经常使用的网络：多层感知器（MLP），卷积神经网络（CNN）和递归神经网络（RNN / LSTM）。MLP网络通常运行在结构化输入特征（通常是排名）上，RNN / LSTM网络一般用来处理时域的数据，即用作序列处理器（通常是语言处理），相对的CNNs则是一种处理用来空间数据的工具（通常是图像处理）。表I显示了这些机器学习模型类型和产品/服务之间的映射关系。表1 利用机器学习算法的产品或服务Facebook中的ML-as-a-Service为了简化在产品中应用机器学习的任务，我们构建了一些内部平台和工具包，包括FBLearner，Caffe2和PyTorch。FBLearner是三种工具（FBLearner Feature Store，FBLearner Flow，FBLearner Predictor）的套装，其中每种工具分别负责机器学习管道上不同的部分。正如前面图1显示的那样，它利用了一种内部作业调度程序在GPU和CPU的共享资源池上分配资源和调度作业。Facebook大多数机器学习模型的训练过程都是在FBLearner平台上进行的。这些工具和平台被设计来帮助机器学习工程师提高效率，从而能够专注于算法创新。FBLearner Feature Store。任何机器学习建模任务的起点是收集和生成特征。 FBLearner Feature Store本质上是一系列特征生成器的目录，其特征生成器可以用于训练和实时预测，当然它也可以作为多个团队可以用来共享和寻找特征的公共空间（market place）。这样以个特征列表对于刚开始使用机器学习的团队来说是一个很好的平台，同时也有助于在现有模型中应用新特征。FBLearner Flow是Facebook用于训练模型的机器学习平台。Flow是一个管道管理系统，它会执行一个可以描述模型训练和/或评估所需步骤及其所需资源的工作流程（workflow）。这个工作流程由离散单元或操作符（operators）构成，每个单元都有输入和输出。操作符之间的连接会通过跟踪一个操作符到下一个操作符的数据流自动推理，Flow则通过处理调度和资源管理来执行工作流程。Flow还拥有一个可以用于实验管理的工具和一个简单的用户界面，这个界面可以跟踪每个workflow或实验生成的所有构件和指标，从而方便对比和管理这些实验。FBLearner Predictor是Facebook内部的推理引擎，它可以使用在Flow中训练的模型来提供实时的预测。Predictor可以用作多租户服务，也可以用作集成在特定产品的后端服务中的库。Facebook的很多产品团队都在使用Predictor，而其中许多团队都需要低延迟解决方案。Flow和Predictor之间的直接集成还有助于运行在线的实验以及在生产中管理多个版本的模型。深度学习框架我们在Facebook上利用了两种截然不同的协同框架来进行深度学习：针对研究优化的PyTorch和针对生产优化的Caffe2。Caffe2是Facebook的内部生产框架，它用于训练和部署大规模的机器学习模型。Caffe2专注于产品所需的几个关键特性：性能，跨平台支持和基本的机器学习算法，如卷积神经网络（CNN），递归神经网络（RNN）和多层感知器（MLP）。这些网络都具有稀疏或密集的连接以及高达数百亿的参数。该框架的设计采用模块化方法，在所有后端实现（CPU，GPU和加速器）之间共享统一的图表示。为了在不同平台上实现最佳的运行时间，Caffe2还抽象了包括cuDNN，MKL和Meta在内的第三方库。PyTorch是Facebook在AI研究领域的首选框架。它的前端注重灵活性、调试以及动态神经网络，能够快速进行实验。由于依赖于Python来执行，它并没有针对生产和移动端部署进行优化。当研究项目产生了有价值的结果时，模型就需要转移到生产上。过去，在生产环境中，我们通过使用其他框架重写产品环境的训练管道来完成模型转移。最近Facebook开始构建ONNX工具链来简化这个转移过程。比如，动态神经网络虽然被用于尖端的人工智能研究，但这些模型需要更长的时间才能被应用于产品中。通过解耦框架，我们避免了的为满足性能而设计更复杂的执行引擎（比如Caffe2）的需求。此外，相比模型速度，研究人员在进行研究时更看重其灵活性。举个栗子，在模型探索阶段，性能下降30％是可以容忍的，尤其是在它具有易测验和模型可视化的优点时。但是相同的方法并不适合于生产。这种取舍原则在PyTorch和Caffe2的框架设计中也可以看到，PyTorch提供了良好的默认参数和合理的性能，而Caffe2可以选择使用异步图执行，量化权重和多个专用后端等特性来达到最佳性能。虽然FBLearner平台本身不限制使用什么框架，无论是Caffe2，TensorFlow，PyTorch还是其他的框架都可以，但我们的AI软件平台（AI Software Platform）团队为了让FBLearner能够很好地与Caffe2集成还是进行了特定优化。总的来说，分离研究和生产框架（分别是PyTorch和Caffe2）使我们能够在两边灵活运作，减少约束数量的同时还能增加新特性。ONNX. 深度学习工具生态系统在整个行业还处于初级阶段。对于不同的问题子集，不同的工具有着不同的优势，并且在灵活性，性能和支持平台方面有着不同的折衷，这就跟我们之前对PyTorch和Caffe2所描述的权衡一样。因此，在不同的框架或平台之间交换训练模型的需求很大。为了弥补这个缺陷，2017年末，Facebook与几个合作伙伴共同推出了开放式神经网络交换（Open Neural Network Exchange , ONNX）。ONNX是一种以标准方式表示深度学习模型的格式，以便在不同的框架和供应商优化库之间实现互操作。同时，它能满足在不同的框架或平台之间交换训练好的模型的需求。ONNX被设计为一种开放的规范，允许框架作者和硬件供应商为其做出贡献，并拥有框架和库之间的各种转换器。Facebook正在努力使ONNX成为所有这些工具之间的协作伙伴，而不是一种具有排他性的官方标准。在Facebook内部，ONNX是我们将研究模型从PyTorch环境转移到Caffe2中的高性能生产环境的主要手段，它可以实现对模型的自动捕捉和固定部分的转换。在Facebook内部，ONNX是我们将研究模型从PyTorch环境转移到Caffe2中的高性能生产环境的主要手段。 ONNX提供了自动捕捉和转换模型的静态部分的能力。我们有一个额外的工具链，通过将它们映射到Caffe2中的控制流原函数或者以C ++作为自定义操作符重新实现它们，会有助于将模型从Python转移到动态图。机器学习的资源需求鉴于机器学习在训练和推理（inference）的阶段的资源要求、频率和持续时长不同，我们将分别讨论这两个阶段的细节和资源应用。Facebook硬件资源概况Facebook的基础架构部门（Facebook Infrastructure）很早之前就开始为主要软件服务构建的高效平台，包括针对每种主要工作负载的资源要求定制的服务器、存储以及网络支持。图2 基于CPU的计算服务器。单插槽服务器底座上有4个Monolake服务器卡，双插槽服务器底座还一个双插槽服务器，因此在2U机箱中共有三个双插槽服务器。所以在2U形式的组合中共有12个服务器。当前Facebook提供约八种主要的计算和存储架构，对应八种主要服务。这些主要架构类型足以满足Facebook主要服务的资源要求。例如，图2中展示了一个可以容纳三个计算Sleds模块的2U机架，这些模块可支持两种服务器类型。其中一种Sled模块是单插槽CPU服务器（1xCPU），多用于Web层——一种主要看重吞吐量的无状态服务，因此可以使用能效更高的CPU（Broadwell-D处理器）；它的DRAM（32GB）以及主板硬盘或闪存较少。另一种Sled模块是较大的双插槽CPU服务器（2x高功率Broadwell-EP或Skylake SP CPU），它配有大量的DRAM ，常用于涉及大量计算和存储的服务。图3. 搭载8个GPU的Big Basin GPU服务器（3U机架）由于我们训练的神经网络越来越大，并且越来越深，我们开发出了Big Basin GPU服务器（如图3所示），这是我们2017年最新的GPU服务器。最初的Big Basin GPU服务器配置了八个互相连接的NVIDIA Tesla P100 GPU加速器，它使用NVIDIA NVLink形成了一个八CPU混合立方网格，后来，这种设计经过改进之后又应用到了V100 GPU上。Big Basin是早前的Big Sur GPU的继承者，后者是Facebook数据中心首个广泛应用的高性能AI计算平台，用于支持于2015年开发并通过开放计算项目（Open Compute Project）发布的NVIDIA M40 GPU。与Big Sur相比，V100 Big Basin每瓦电可实现的性能更高，这得益于单精度浮点运算单元——每个GPU的运算速度从7 teraflops（每秒万亿次浮点运算）增加到了15.7 teraflops，以及可提供900GB/s的带宽的高带宽显存（HBM2）。这种新的架构还使得半精度运算的速度快了一倍，进一步提高了运算吞吐量。由于Big Basin的运算吞吐量更大，而且显存也从12 GB增加到了16 GB，因此它可以用来训练比先前模型大30%的模型。高带宽NVLink互连GPU通信还强化了分布式训练。在使用ResNet-50图像分类模型进行的测试中，Big Basin的运算吞吐量比Big Sur要高出300%，借助它我们可以以更快的速度训练比以往更复杂的模型。Facebook通过开放计算项目（Open Compute Project）公布了所有这些计算服务器的设计以及几种存储平台。离线训练的资源需求当前，不同的产品会使用不同的计算资源来完成各自的离线训练步骤。有些产品（例如Lumos）在GPU上完成所有的训练。其他产品（例如Sigama）则在双插槽 CPU计算服务器完成所有的训练。诸如Facer这样的产品采用双阶段训练流程，先在GPU上以很小的频率（几个月一次）队通用的面部检测和识别模型进行训练，然后在数千个1xCPU服务器上以很高的频率对每个用户的模型进行特定训练。在本部分，我们将围绕机器学习训练平台、训练频率和持续时长，具体介绍多种服务的细节，并在表II中进行了总结。另外，我们还讨论了数据集的趋势以及这些趋势对计算、内存、存储和网络架构的意义。计算类型和相对数据来源的位置。离线训练既可以在CPU上完成，也可以在GPU上完成，这取决于服务本身。虽然在多数情况下，在GPU上训练出的模型在性能上要比在CPU上训练的模型好，但是CPU强大的现成运算能力使得它成为了一个非常有用的平台。这一点在每天的非高峰期中尤为明显，因为在这期间CPU资源本来就无法得到利用，后面的图4会对此进行说明。下面我们给出了服务和计算资源训练模型的对应关系：在GPU上训练模型的服务: Lumos、语音识别、语言翻译在CPU上训练模型的服务：News Feed、Sigma在GPU和CPU上训练模型的服务：Facer （在GPU上每几年训练一次的通用模型，此类模型较为稳定；在1xCPU上训练的用户特定的模型，此类模型可以用于处理新图像数据）、搜索（利用多个独立的垂直搜索引擎，使用可以进行预测的分类器启动最合适的垂直搜索引擎）。目前，GPU主要被用于离线训练，而不是向用户提供实时数据。因为大多数GPU架构都针对运算吞吐量进行了优化，以克服延迟劣势。同时由于训练过程严重依赖从大型数据生成库中获取的数据，考虑到性能和带宽方面的原因，GPU必须靠近数据来源。由于训练模型所使用的数据量增长的相当快，GPU是否靠近数据来源变得越来越重要。内存、存储和网络：从内存储器容量的角度看，CPU和GPU平台都能为训练提供充足的存储容量。即使对于Facer这样的应用，也可以在1xCPU上用32GB RAM训练用户特定的SVM模型。如果可以尽可能地利用高效平台以及多余的存储容量，则平台的总体训练效率会非常优秀。表II 不同服务的离线训练的频率、持续时长和资源机器学习系统依赖于使用实例数据的训练。Facebook 使用了机器学习数据管道中的大量数据。这使得计算资源趋向于靠近数据库。随着时间的推移，大多数服务会显示出利用累积的用户数据的趋势，这将导致这些服务更加依赖Facebook的其他服务，并且需要更大的网络带宽来获取数据。因此，只有在数据源所在地或附近部署巨大的存储，以便从偏远的区域大规模转移数据，从而避免为了等待获取更多样本数据而关停训练管道。在部署训练机器的位置时，我们也可以使用这种方法来避免训练机群给附近的存储资源造成过大的压力。不同的服务在离线训练期间使用的数据量有很大的差别。几乎所有服务的训练数据集都呈现出持续增长甚至大幅增长的趋势。例如，有些服务在ROI降低之前会使用数百万行数据，其他服务则使用数百亿行数据（100多TB），并且只受到资源的限制。扩展（Scaling）考虑和分布式训练：训练神经网络的过程包含使用随机梯度下降法（SGD）对参数权重进行优化。这种方法用于拟合神经网络，通过评价标记实例的小子集（即“batch” 或“mini-batch”）来迭代更新权重。在数据并行中，网络会生成多个模型副本（并行实例），以并行的处理多批数据。当使用一台机器训练模型时，模型越大或更深都会带来更好的训练效果，准确度也会更高，但是训练此类模型往往需要处理更多的样本。当使用一台机器进行训练时，我们可以通过增加模型副本的数量并在多个GPU上执行数据并行，来最大化训练效果。当训练所需的数据量随时间增加，硬件限制会导致总体训练延迟和收敛时间增加。不过，我们可以使用分布式训练来克服这些硬件限制，减少延迟。这个研究领域在Facebook和整个AI研究界相当热门。一种普遍的假设是，在不同机器上实现数据并行需要使用一种专门的互连机制。但是，在我们对分布式训练的研究中，我们发现基于以太网(Ethernet)的网络就可以提供近似线性的扩展能力。能否实现近似线性的扩展，与模型的大小和网络带宽有密切的关系。如果网络带宽太小，执行参数同步所花的时间比执行梯度计算所花的时间还多，在不同机器上进行数据并行所带来的优势也会大打折扣。使用50G的以太网NIC，我们可以用Big Basin服务器扩展视觉模型的训练，而且机器间的同步完全不会造成问题。在所有情况下，更新都需要使用同步（每个副本都看到相同状态），一致性（每个副本生成正确更新）和性能（子线性缩放）的技术来与其他副本共享，这可能会影响训练质量。例如，翻译服务目前就不能在不降低模型质量的情况下进行大批量的小批量（mini-batches）训练。相反，如果使用特定的超参数设置，我们就可以在非常大的mini-batch数据集上训练图像分类模型，并且可以扩展到256个以上的GPU上。实验证明，在Facebook的某个大型服务中，在5倍的机器上执行数据并行可以实现4倍的训练效率（例如：训练一组训练时间超过4天的模型，以前总共可以训练100个不同模型的机器集群现在每天只能训练同样的20个模型，训练效率降低了20%，但是潜在的工程进度等待时间从4天减少到了1天）。如果模型变得超级大，这时候就可以使用并行训练，对模型的层进行分组和分布，以优化训练效率，各机器间可以传递激活单元。优化可能与网络带宽、延迟或平衡内部机器限制有关。这会增加模型的端对端延迟，因此，每一时步（time step）内原始性能的增强通常与步长（step）质量的下降有关。这可能会进一步降低模型在每个步长的准确度。各步长准确度的下降最终会累积起来，这样我们就可以得出并行处理的最佳步长数量。DNN模型本身的设计使得它只能在一台机器上运行，在推理阶段，在机器间分割模型图通常会导致机器与机器进行大量的沟通。但是Facebook的主要服务会不断地权衡扩展模型的利与弊。这些考虑可以决定网络容量需求的变化。表 III 在线推理服务的资源要求在线推理的资源需求在完成离线训练之后的线推理步骤中，我们需要将模型载入到机器中，使用实时输入运行模型来生成网站流量的实时结果。接下来我们将讨论，一种实际应用中的在线推理模型——广告排名模型。这种模型可以筛选成千上万条广告，在消息推送中显示排在1至5名的广告。这个过程是通过对依次减小的广告子集进行逐步复杂的排名运算循环（passes）来实现的。每一轮运算都会用到类似于多层感知模型（MLP）的模型，这种模型包含稀疏嵌入层，每一轮运算都会缩小广告的数量。稀疏嵌入层需要大量的内存，因此当进行到靠后的运算时，模型的超参数数量更多，它将在独立于MLP运算轮的一个服务器上运行。从计算的角度上看，绝大多数在线推理都是在大量1xCPU（单插槽）或2xCPU（双插槽）上运行的。由于1xCPU对Facebook的服务而言性能更高，而且性价比更高，因此Facebook提倡尽可能使用1xCPU服务器训练模型。随着高性能移动硬件的诞生，Facebook甚至可以在用户的移动设备上直接运行某些模型，来改进延迟和降低通信成本。但是，某些需要大量计算和内存资源的服务仍然需要使用2xCPU才能实现最佳性能。不同的产品在得出在线推理的结果时拥有不同的延迟要求。在某些情况下，得出的数据可能“十分优秀” ，也可能会在向用户返回初步快速评估后被重新输入到模型中。例如，在某些情况中将某个内容分类为合格是可以接受的，但是当运行更加复杂的模型时这个初步的分类结果就会被推翻。广告排名和消息推送之类的模型配置有稳定的SLA，可以向用户推送合适的内容。这些SLA决定着模型的复杂性和依赖性，因此如果拥有更加强大的计算能力，我们就可以训练出更加先进的模型。机器学习数据计算除了资源需求外，在数据中心部署机器学习时还需要考虑一些重要的因素，包括对重要数据的需求以及面对自然灾害的可靠性。从获取数据到模型Facebook公司的许多机器学习模型，成功的主要因素就是广泛而高质量的可用数据。快速处理并将这些数据提供给机器学习模型的能力能够确保我们部署快速有效的离线训练。对于复杂的机器学习应用程序，如广告和排名，每个训练任务所需的数据量都超过数百TB大小。此外，复杂的预处理逻辑的使用能确保数据被清理并归一化，以便高效地迁移和更轻松地学习。这些操作对资源的要求非常高，特别对存储量，网络和CPU的需求。作为一个通用的解决方案，我们尝试对训练工作量中的数据进行解耦。这两个工作量都有非常显著的特点。一方面，它非常复杂，具有临时的，依赖业务性的，且变化快等特点。另一方面，训练工作量通常是固定的（例如GEMM），稳定的（核心业务相对较少），高度优化，且更偏爱于“干净”的环境下工作（例如，独占高速缓存使用和最小线程争夺）。为了优化这两者，我们在物理上对不同的机器的不同工作负载进行隔离。数据处理机器，又名“readers”，从存储器中读取数据，处理和压缩它们，然后将结果反馈给一个叫做“trainers”的训练机器。另一方面，trainers只专注于快速有效地执行任务。readers和trainers可以分布以便提供更灵活性和可扩展性的应用。此外，我们还优化了不同工作负荷的机器配置。另一个重要的优化指标是网络使用。训练过程产生的数据流量非常重要的，并且有时候会突然产生。如果没有智能化处理的话，这很容易就会导致网络设备的饱和，甚至干扰到其他服务。为了解决这些问题，我们采用压缩优化，调度算法，数据/计算布局等等操作。利用规模作为一家为用户提供服务的全球性公司，Facebook必须保持大量服务器的设计能够满足在任何时间段内的峰值工作负载。如图所示，由于用户活动的变化取决于日常负荷以及特殊事件（例如地区节假日）期间的峰值，因此大量的服务器在特定的时间段内通常是闲置的。这就释放了非高峰时段内大量可用的计算资源。利用这些可能的异构资源，以弹性方式合理分配给各种任务。这是Facebook目前正努力探索的一大机会。对于机器学习应用程序，这提供了将可扩展的分布式训练机制的优势应用到大量的异构资源（例如具有不同RAM分配的CPU和GPU平台）的机会。但是，这也会带来一些挑战。在这些低利用率的时期，大量可用的计算资源将从根本上导致分布式训练方法的不同。调度程序首先必须正确地平衡跨越异构硬件的负载，这样主机就不必为了同步性而等待其他进程的执行。当训练跨越多个主机时，调度程序还必须要考虑网络拓扑结构和同步所需的成本。如果处理不当，机架内或机架间同步所产生的流量可能会很大，这将极大地降低训练的速度和质量。

01-22

2018

王健林：我犯了个错误，就是给了万达网科太多的钱

“我曾经犯的一个错误，就是给了曲德君太多的钱，我跟一些企业家讨论，他们说当初网科少给点钱，定个投资上限就好了。看来钱不能给得太多。”大连万达集团董事长王健林在集团2017年会上说道。“我曾经犯的一个错误，就是给了曲德君太多的钱”王健林表示，万达集团2018年计划收入2479亿元，增幅9%。值得一提的是，在王健林对万达集团2018年的工作计划中，并没有提到此前传出要进行业务整体转型、暂停现有业务及出售和IBM合作万达云项目的万达网络科技集团。王健林称，网科集团暂不安排收入计划，上半年内因与世界级网络巨头战略合作，待落地再安排。同时，要成立新的网科公司。王健林强调，要在战略合作确定之后，再来确定网科集团的业务目标。关于网科集团，王健林承认当初的方向有偏差，而且烧了太多的钱。王健林说：“我曾经犯的一个错误，就是给了曲德君太多的钱，我跟一些企业家讨论，他们说当初网科少给点钱，定个投资上限就好了。看来钱不能给得太多。不是说网科没有做出成绩，这一次跟别人合作谈判，使我和团队对网科有了全新认识，他们开发了一些有用的东西，只是这些东西有培育期，还不能马上被资本市场接受。原来方向也有偏差，老想大规模来做，如果就为万达广场、旅游度假区研发，可能早就整出名堂了。”文旅项目每年增加1000亿负债，十几年才能收回投资在过去的一年中，王健林以438.44亿元的价格将旗下13个文旅城项目卖给了融创中国（01918.HK），199.06亿元将77家酒店出售给了广东地产商富力地产（02777.HK）。由于万达商业转让文旅项目、酒店资产，使万达集团的资产、收入两项指标有所减少。万达集团2017年的收入为2273亿元，其中商业地产收入为1125.4亿元。而万达在海外的项目也多次被传出要找买家接手。此外，关于万达资金链紧张，多家银行停止对万达贷款的市场传言让万达经历了股债双杀，外界关于万达现如今的状况也一直猜测不断。“万达过去几年在海外投了一批项目，现在我们决定清偿海外债务，卖一半资产就能把全部债务清偿，说明我们买和卖之间赚钱了。”王健林在年会上表示：“万达卖酒店，我们搞酒店建设、管理的很多同志都说，卖了是不是太可惜？万达酒店是建得不错，成本也很低，但是酒店整体年平均回报率低于4%，全部酒店每年吃掉十几个万达广场的净利润，所以，我们决定把重资产的文旅项目和酒店卖掉，做轻资产这种只赚不赔的买卖，绝对是上策。不管社会上理不理解，也可能有些内部同志不理解，但是请大家三年以后再回头来看我们的决定是否正确。”对于出售13个文旅项目的原因，王健林称，“每个大型文化旅游项目需要七年、八年有息负债才能往下走，十几年才能收回投资。万达十几个文旅项目叠加在一起，虽然通过销售物业能回收大部分现金，但至少五到六年内，每年净增1000亿负债，压力相当大。现在全球和中国都在去杠杆、降负债，这样加杠杆、逆势而为是不科学的。”采用一切资本手段降低负债，在全球绝不会出现任何信用违约王健林说，2017年是万达集团历史上难忘的一年，万达经历了风波，承受了磨难。“转让资产减债四百多亿，回收现金近700亿，加上我们手头持有的现金，万达经营的安全性增加很多，就能承受风波的冲击。而且如果我们不转让这些资产，就不能把有限的资金投入到我们最需要发展的万达广场上去，就不能保证每年50个以上万达广场开业的计划。为了企业安全，为了保证核心产业发展，我们必须这样做。”王健林说道。关于负债的问题，王健林表示：“万达集团将采用一切资本手段降低企业负债，包括出售非核心资产、保持控制权前提下的股权交易、合作管理别人的资产等等。万达要逐步清偿全部海外有息负债，万达商业A股退市资金也有了可靠方案。同时计划用两到三年时间，将企业负债降到绝对安全的水平。今天我可以在这里负责任地说，万达集团在全球绝不会出现任何信用违约！万达30年没有出现一起信用违约，我们把信用看得比资产、利润更重要。”以下为总结全文：万达集团2017年工作总结董事长王健林2018年1月20日各位同仁，首先我代表集团董事会对大家前来参加万达集团2017年年会表示热烈欢迎！欢迎你们回家！2017年对万达来说是非常难忘的一年，经历了风波，也承受了一些磨难。在各级政府、各个方面的大力支持下，特别是万达全体员工团结奋斗，在比较困难的经营条件下，我们较好地完成了2017年各项工作任务，下面我对2017年工作进行总结。一、去年工作主要成绩（一）全面完成工作目标2017年，万达商业转让文旅项目和酒店资产，受其影响，万达集团的资产、收入两项指标有所减少。万达集团以成本计资产7000亿元，同比减少11.5%；其中国内资产占比93%，国外资产占比7%。为什么专门提这个数据？去年有人说万达把大量资产转移到海外去了，数据证明完全不符合事实。2017年万达集团收入2273.7亿元，完成计划的113%，同比减少10.8%。减少是因为转让的文旅项目收入没有计算在内，加上2016年底我们把万达旅业资产注入一个投资企业，接近200亿的旅游收入没有计入今年报表。如果考虑旅游收入变化的影响，尽管2017年万达集团转让了大量资产，收入同比只下降1.1%。净利润完成年目标的114%，同比基本持平，说明收入含金量不错。其中：商业地产收入1125.4亿元，完成年计划的104.1%，同比减少21%；租金收入255.2亿元，完成年计划的101.4%，同比增长30.3%；新开店数占总开业店数的21%，其中还有24个轻资产项目万达只分成部分租金，而总租金增长30.3%，说明老的开业店内生租金增长比例至少两位数，也就是说万达即使不开新店，租金也较高增长。租金收缴率101%，连续12年创造租金收缴率99.5%以上的世界行业纪录。新开业广场49个，万达茂1个，万达旅游小镇1个。其中开业轻资产广场24个，这是一个很不错的成绩；开业重资产广场26个，新增持有物业面积329.6万平方米，扣除转让文旅项目、酒店减少的几百万平方米持有物业面积，万达累计持有物业面积3151.1万平方米。万达仍然是世界规模最大的不动产企业。万达广场总客流31.9亿人次，同比增长28.1%。新开业店数增长21%，其中许多店下半年才开业，而客流增长28.1%，这是一个有力的证据，说明万达广场老店客流同比也在增长。房地产收入831.7亿元，完成年计划的104%，同比减少23.7%，主要因为转让文旅项目减少房地产收入。文化集团收入637.8亿元，完成年计划的100.1%，同比增长32.6%。这是扣减万达旅业收入后同比计算。影视集团收入532亿元，完成年计划98.5%，同比增长35.9%。2016年影视集团计划收入目标为540亿元。影视集团有点遗憾，去年能完成净利润目标的114%，但收入比目标差1.5%，如果再稍微努力一点就好了，我说的是整个影视集团含海外公司收入差一点，不过国内公司还是完成了年度目标。体育集团收入71.8亿元，完成年计划的104.3%，同比增长12.3%；文旅集团收入19.5亿元，完成年计划的139.5%。宝贝王集团收入14.4亿元，完成年计划的97%，同比增长176%。金融集团收入321.2亿元，完成年计划的125.5%，这里我要特别提一句，金融集团净利润完成年计划的1961%，创万达完成计划指标的历史纪录。网络科技集团收入58.6亿元，完成年计划的90.1%。集团其它公司收入130.7亿元，平均完成年计划的106%。万达集团2017年如果把转让文旅项目的收入和注入其它公司的旅游收入算上，同比增长可以达到两位数。（二）转型发展成效显著一百年来，全球大型房企无一例转型成功，万达已经改写商业历史，成功转型为服务型为主的企业。1、服务业收入占绝大多数。万达集团2017年收入中，服务业收入占比63.4%，同比提高8.4%。近几年，万达服务业收入每年都会大幅提高，今后还会继续提高。服务业收入中，租金收入占比约18%，增速远高于万达其它产业，已经连续多年平均实现超过30%的增长。租金是最长期、稳定的现金流之一，而且利润比例高，收入占比提高说明收入含金量增加。2、文化收入占比提高。2017年，万达文化产业收入占万达集团收入比重升至28.1%，接近30%，已成为万达另一个支柱产业。希望今年文化集团努努力，看能不能超过30%。3、轻资产战略超出预期。万达转型关键是万达商业转型，万达商业转型关键是从单一重资产企业转为轻资产为主、轻重并存发展的企业。说万达转型就不再持有物业，这完全错了，只是万达不像以前百分之百自己持有。去年年会，万达商业正式提出万达商业轻资产战略。万达轻资产分为两类，一种叫做投资类，一种叫做合作类。投资类就是别人出钱，万达帮别人找地、设计、建设、招商、竣工运营后移交给别人，其中还有一个资本化程序。合作类就是万达既不出钱，也不出地，觉得项目合适，跟别人签合同，帮别人建设，建成后租金三七分成，这是我们力推的模式。轻资产战略提出一年之内，轻资产万达广场开业24个，新发展轻资产万达广场47个，其中合作类轻资产万达广场签约37个，远超年初发展25个轻资产，其中投资类10个、合作类15个的目标，发展中心值得表扬。当然也不完全是发展中心功劳，相当多项目是商管和项目系统帮助促成的。这47个广场，万达不出一分钱，收益相当于投资持有16个广场，16个广场如果自己投资最少需要200亿元。更重要的是，2017年北京、杭州、广州、成都、天津、重庆等一线城市都有万达轻资产项目开业或签约，如果不是轻资产，这些城市自己投资持有很难获得项目，这说明万达广场品牌价值和投资者信任度。4、大幅降低企业负债。去年7月，万达和融创、富力签署了文旅项目、酒店资产转让协议，仅此一项协议就减债440亿元，回收现金670亿元，相当于减债1100亿元。对于这次转让，众说纷纭，很多解读，万达卖资产，是不是不行了，其实这是根本不理解商业的基本逻辑。第一、什么叫做生意？做生意用老百姓俗话说，叫做买卖。生意就是买和卖构成的，世上没有只买的生意，也没有只卖的生意。买就说这个公司好，卖就说这个公司不好，这是根本不懂商业思维。其实不管买也好、卖也好，关键看买卖之间能否赚钱。所以对万达的买买买和卖卖卖，关键看我们买的是什么价格，卖的是什么价格，万达过去几年在海外投了一批项目，现在我们决定清偿海外债务，卖一半资产就能把全部债务清偿，说明我们买和卖之间赚钱了。第二、万达广场本身是非常重的资产，过去万达广场全部自己持有，到2017年底开业236个广场，210个是重资产，按成本价计算都是几千亿规模。如果再持有文化旅游项目和酒店，重资产规模太大。文化旅游项目肯定可以收回投资的，经过数学模型分析，每个大型文化旅游项目需要七年、八年有息负债才能往下走，十几年才能收回投资。万达十几个文旅项目叠加在一起，虽然通过销售物业能回收大部分现金，但至少五到六年内，每年净增1000亿负债，压力相当大。现在全球和中国都在去杠杆、降负债，这样加杠杆、逆势而为是不科学的。第三、万达已持有大量较高收益的万达广场物业，没有必要再去持有文旅项目物业。万达卖酒店，我们搞酒店建设、管理的很多同志都说，卖了是不是太可惜？万达酒店是建得不错，成本也很低，但是酒店整体年平均回报率低于4%，全部酒店每年吃掉十几个万达广场的净利润，所以，我们决定把重资产的文旅项目和酒店卖掉，做轻资产这种只赚不赔的买卖，绝对是上策。不管社会上理不理解，也可能有些内部同志不理解，但是请大家三年以后再回头来看我们的决定是否正确。第四、企业经营安全第一。转让资产减债四百多亿，回收现金近700亿，加上我们手头持有的现金，万达经营的安全性增加很多，就能承受风波的冲击。而且如果我们不转让这些资产，就不能把有限的资金投入到我们最需要发展的万达广场上去，就不能保证每年50个以上万达广场开业的计划。为了企业安全，为了保证核心产业发展，我们必须这样做。（三）文化产业高速增长1、影视产业。影视集团去年收入增长35%，新增影城199家，新增屏幕1585块；累计开业影城1551家，屏幕数15932块，全球市场占有率和影响力进一步扩大。特别是在英语片市场，万达具有相当话语权。万达影城在中国并不都是开在万达广场，有一半左右开在非万达物业里，但万达影城单屏收入是国内平均水平1.9倍，线上收入超9成，会员收入近9成，表明万达电影收入非常稳定的增长。万达电影活跃会员突破1亿，这是重大成绩，也为长期稳定增长打下基础。万达电影花了9年时间使会员人数突破1亿。希望你们再用三年时间，看到2020年能不能把会员人数突破2亿。2、体育产业。万达体育收入两位数增长，净利润增长更为可观。在中国落地格力“中国杯”国际足球锦标赛，这是中国唯一获国际足联批准、每年定期举办的国际足球A级赛事。还落地格力“环广西”公路自行车世界巡回赛，这是中国唯一的男子公路自行车世界巡回赛，首届就有16支世界顶级车队参赛。男子公路自行车俱乐部分多个级别，有国家级、州级，世巡赛是最高级别。世巡赛级别的自行车队只有18支，世巡赛有多站比赛，只有环法是十八支车队都参加，其它如环意、环西都是十几支车队参加，“环广西”第一年就有16支车队参加，今年预计18支全部参赛。万达体育还落地铁人三项、摇滚马拉松、小轮车世界锦标赛等多项赛事。3、文旅产业。文旅产业去年表现良好，收入完成139%，净利润倍数递增。更重要的是，文旅产业实现了轻资产品牌经营的目标，由一个负债很重的企业转变为一个轻资产公司。酒店管理公司2017年首次实现公司整体盈利，新签约委托管理高星级酒店10家。自从酒店管理公司班子调整以后，业绩非常喜人,去年下半年酒店业绩大幅增长，几乎全部酒店都实现盈利，绝大多数酒店利润实现比较快的增长，再次证明管理就是生产力。4、儿童产业。十年前万达广场就想引进一个儿童娱乐综合公司，到美国、欧洲、日本、韩国去找，找了五、六年都没找到。全世界这种类型公司基本没有，有那么一两家，也不愿意到中国来。我们讨论要不要自己干，但这意味着要进入全新产业，也犹豫来犹豫去。但万达广场要实现全客层经营，光是年轻人喜欢不行，孩子也得喜欢。儿童意味着未来，所以下决心自己做，也是边探索边干。一开始公司定位搞儿童娱乐，名字就叫儿童娱乐连锁公司，去年才改名叫宝贝王集团，定位为以自有IP传播、衍生品销售为主，集儿童教育、游乐、美食于一体的综合性儿童产业公司。宝贝王集团2017年开业宝贝王乐园60家，早教中心50家；整体实现盈利，比指标提前一年。宝贝王不仅经营好，很多先行指标表现也非常好。如自有IP传播上半年全网收视率48亿人次，下半年飙升到150亿人次，估计2018年数字会更加喜人。这意味着宝贝王定位方向是绝对准确的。如果我们把宝贝王定位为一个游乐型公司，那就错了。（四）科技创新成果丰硕大家也许奇怪，万达谈什么科技创新，是不是附庸风雅，实际随着万达转型，文化旅游产业发展、线上线下融合，万达连续几年科技创新有所斩获。1、慧云。去年慧云升级3.0版本，被国际权威机构评为全球创新企业50强，是亚洲唯一获奖企业。慧云系统有十几个子系统，其中智慧消防子系统被公安部消防局列为中国城市智慧消防试点单位。2、筑云。2016年筑云在万达试行，去年正式实施，这是全球首款智慧工程管理软件，被国际权威机构评为全球数字化转型大奖。筑云可以对工程实施设计到竣工全过程的智能管控，改变工程建设行业控制成本凭经验、随意性大的问题。对还在快速推进城市化、建筑体量天文数字的中国来说，如果筑云得到推广，会在两方面作出贡献，一是可以给中国节约数以百亿、甚至千亿计的建设成本。二是遏制腐败，腐败现象很多发生在工程建设领域，主要因为工程建设是非标准化的，东西南北都不一样，地块也都不同，加上施工很多个体作业，工程智慧管控是一个大难题。筑云尽管还不完善，但万达在这方面迈出了重要步伐。3、创新加速器。去年信息中心利用万达海量线下场景作为开放平台，向全球高技术企业、科研机构、拥有核心技术的个人免费开放，可以到任何地方的万达广场做实验，吸引科创企业、个人为万达线上线下融合做贡献，我们对有前景的项目进行投资孵化。首届创新加速器活动从300个项目中选出15个进行孵化，涉及大数据分析、人工智能客服、楼宇节能黑科技、VR场景娱乐等。其中无人零售平台已在北京、杭州的万达广场试运行。我对创新加速器充满期待，如果每年成功孵化一个两个，一届一届干下去，将是一个非常有前途的项目。关键是选出来如何跟进，使它走上正路，这是孵化最重要的环节，这还不是信息中心能做的，需要更商业化的平台来做。4、飞凡大、小千帆软件。这是飞凡面向大中小型企业商户，一站式解决线上、线下融合的管理软件。签约商户6万家，日交易额超5000万元。还有“万益通”APP，这是中国首款数字权益交换平台，可进行积分、卡券和其它数字权益的交换，已有中石油、中石化、国家电网、海航、京东、顺丰等300多家大型企业参加。希望“万益通”数字交换平台能发展更多企业，争取中国大型企业都能参加，让他们的卡券在平台上都可以互换，这样平台的价值就会更大。5、曲面内显LED动感平台。这是全球首款新型观影科技设备，获得国内外知识产权。大家明年可以去广州万达城体验。2017年万达集团全球申报专利知识产权1278项，取得专利知识产权802件，全集团累计已获国内外专利知识产权5069件。（五）企业管理明显进步1、预算执行到位。去年所有在建、竣工、开业项目，结算与预算做到完全一致。西双版纳国际度假区、南昌万达城两个超大文旅项目，时间跨度5年，超百亿投资，由于我们的管理能力，加上与筑云软件相结合，也做到预决算一致，这是万达执行力和科技管理的成果。2、投资回报提升。万达广场轻资产推出来后，有人说凭什么万达一分钱不投分30%租金？光靠牌子响？肯定不是。只能解释，别人分70%大于他自己干100%。万达广场轻资产标准模板、工程管理软件研发成功和推行，使得万达广场投资回报平均达到2位数，是行业平均水平的两倍，这就可以解释为什么万达分30%租金还有那么多企业上门合作。3、严控管理费用。搞地产成本大，管理成本超一点还可以消化，但转型为服务管理企业，一旦成本超支，商业模式就不成立。所以在严控管理费用上，我们下了比较大的功夫，去年丁总带领有关部门专题研讨，优化管理环节，使万达总部在业务规模扩大的同时费用不升反降，节省管理费6.9亿元。4、反腐卓有成效。审计中心去年查处263起违规事件，解除劳动关系129人，司法立案三起，为企业挽回损失1.3亿元。万达审计有权威，在企业界也有耳闻。（六）带头履行社会责任1、精准扶贫。去年7月3日，万达捐建的贵州丹寨旅游小镇开业。9月29日，丹寨万达职业技术学院开学。由于商管、文旅等部门通力合作、精准定位、针对性推广，小镇开业半年游客超过300万人次。丹寨没有名山大川，没有独特景点，缺乏可以利用的优质旅游资源，完全是无中生有造了一个旅游小镇，就一跃成为贵州排名前3的景点，带动丹寨县2017年旅游收入翻了5倍。新增直接就业2000人，间接就业超万人，带动1.6万人脱贫。丹寨已逐步成为万达精准扶贫的新品牌。2、就业。2017年，万达新创造服务业就业岗位19.5万人，其中大学生8.4万人，占当年全国新增就业的1.5%，连续两年万达一家公司创造全国新增就业的1.5%，而且万达创造的都是有尊严的就业，在万达广场工作，风吹不着，雨淋不着，收入还稳定。3、捐赠。2017年，不含实物，万达现金捐赠7.7亿元。4、环保。2017年，万达获国家绿建标识126项，其中绿建设计标识77项，绿建运行标识49个，连续多年绿建标识获得数量全国排名第一，每年绿建总数占全国三分之一到四分之一。5、义工。去年组织义工活动2651次，10.76万人次参加，中国没有一家企业像万达连续二十几年持续组织义工活动，没有奖励、没有奖金，完全是发自内心。2017年企业取得很好成绩，但也存在不少问题。比如少部分企业没有完成年度目标、腐败现象依然严重，少部分高管本位主义，花钱大手大脚，线上线下融合不够。因为时间关系，只点个题目，有待大家下力气去解决。特别遗憾的是，去年因为有两三个单位指标没完成，使万达没有实现满堂红。二、2018年主要工作安排（一）今年工作主要目标2018年万达集团计划收入2479亿元。商业地产收入1245.4亿元，其中商管公司总收入366.4亿元，租金收入326.8亿元；新开业万达广场50个，万达茂2个；房地产收入879亿元；新发展重资产万达广场7个；轻资产万达广场50个，其中合作类40个，投资类10个。文化集团收入733亿元，其中影视集团收入581亿元；体育集团收入94.3亿元；文旅集团收入30.7亿元；宝贝王集团收入26.4亿元。金融集团收入408亿元。网科集团暂不安排收入计划，上半年内因与世界级网络巨头战略合作，待落地再安排。集团其它收入92.8亿元。（二）提升核心竞争优势1、加快万达广场发展速度。万达广场是万达的核心资产、核心企业、核心优势。随着中国城市化红利的减少，而且现在特大城市都划定了发展边界，想在中国再造一个万达已经没有可能。中国商业已进入线上线下融合发展新阶段，万达广场超大规模线下场景的价值巨大。一年前还不觉得，现在看万达广场超大规模、综合性消费场景的价值越来越凸显。商业中心有竞争半径，特别是在三四线城市，万达广场一旦落地，一定半径里竞争对手很难再投资。举个例子，我们在佛山某地，一个区域里规划了近10个大型城市综合体。我们拿了地，调研发现周边这么多项目，决定尽快开业。万达广场开业后，旁边几个项目到现在也没有开业。因为我们比较火，同类竞争业态就不好布点了，这就像下围棋一样，占了先手。所以我们要加快万达广场全国布局，尽快多签多建项目，更早将万达广场发展到千店规模，这就是万达的护城河计划。千店规模就意味这全国336个地级以上城市，万达广场能覆盖90%，剩下10%左右的地级市因为人口和消费不够；主要县级城市覆盖30%，因为中国一些县人口较多，也具备较强消费能力。万达广场建成全国网络是什么概念？打个比方，假设300公里地铁线每天可以运载300万人，600公里地铁线就不是运载600万人，而是1000万以上。因为一旦形成网络，容量就不是1加1等于2的关系，而是1加1大于2。1000个店我们能获得的租金收入、广告收入、线上线下融合的价值，绝不是现在的5倍。加快发展关键要加快轻资产，从2018年开始万达将每年提高万达广场开业数量。2、提升体验消费占比。增加万达广场黏性最好的办法就是增加体验业态，这是重中之重的工作。体验消费具有不可替代性，有人说美食也可以打包，但打包来的美食还有鲜味吗？娱乐、健身、唱歌、观影都要到现场体验，不是网络可以替代的。还要逐渐提升文化业态占比，社会发展到一定程度，人们对精神的追求就会大过对物质追求。不然就不能理解，为什么文化的东西能传承几百几千年，一本书、一部电影、一首歌曲、一部歌剧能广为流传。三年内要将万达广场体验业提升到65%，五年力争提升到70%。这不仅是商管的事，规划设计部门也要创新。希望从2018年开始，每年评几个创新广场，主要看体验业态、文化业态、更有新意这些方面。3、配置优秀管理人才。今后优秀人才向商管倾斜，万达学院培训也要向商管倾斜，形成风气。（三）持续不断企业转型企业转型没有终点，这是企业管理永恒主题。不要以为企业转型几年就完成了，企业转型没有完成时。1、加快轻资产步伐。万达品牌是非常管用的，要加快万达广场轻资产发展速度，每年不少于50个，合作项目数量上不封顶。有人写文章说商业中心建设，一个企业一年建设50个是极限，他可能是以万达作为分析条件。但万达要突破这个 “极限”。今年万达轻资产租金分成超过10亿元，以后可能每年以十亿级别增加，可以看出轻资产的前景很好。万达电影、宝贝王、文化旅游这些轻资产公司也要加快发展速度。2、形成新的支柱产业。万达广场是万达集团的核心产业，我们还要发展新的核心企业和新的支柱产业。一是影视产业。要继续保持高增长，补上内容短板，实现影视的企业中长期目标。二是体育产业。把精力放在自有IP赛事上，把中国区作为体育产业的增长极。三是文旅产业。要研究跨出万达城，发展管理其它业主的大型文旅项目，酒管也是从管理万达自己的酒店跨出来的。酒管尽早做到管理百家高星级酒店，今年新签约15家高星级酒店委管合同。四是宝贝王集团。宝贝王要把IP传播、衍生品收入作为发展方向，去年宝贝王一下子火起来，原因就是有了一个IP，讲故事吸引人。万达城和迪士尼、环球的差距在什么地方？就是娱乐主题不是自己的故事。如果有故事，有IP，再来传播，就完全不一样。去年宝贝王衍生品净利润近亿元，如果有一天宝贝王发展到几十亿、上百亿衍生品收入，线下千店的场景，做人气就可以了，实体店不盈利也可以。这就是发展模式。我相信，宝贝王有可能超过万达电影，成为万达集团又一个新的核心企业。一是这个产业可以做大。中国儿童数量众多，有3亿，二胎政策后还会继续扩大。中国家长舍得为孩子花钱，特别是在教育方面。二是没有竞争对手。中国没有一个企业像宝贝王这样把IP传播和衍生品收入作为核心来考虑，光有资金玩不了，这就是高门槛。再加上我们占了先机，到2020年开业800家店，谁能和我们竞争？三是企业高估值。宝贝王非传统产业，而且一开始就着手线上线下融合发展，以IP传播、衍生品销售、教育游乐为主要内容，这种企业在国内外估值都很高。四是成长性看好。看了宝贝王的5年测算，非常高兴，希望你们把测算变成现实。3、继续降低企业负债。万达集团将采用一切资本手段降低企业负债，包括出售非核心资产、保持控制权前提下的股权交易、合作管理别人的资产等等。万达要逐步清偿全部海外有息负债，万达商业A股退市资金也有了可靠方案。同时计划用两到三年时间，将企业负债降到绝对安全的水平。今天我可以在这里负责任地说，万达集团在全球绝不会出现任何信用违约！万达30年没有出现一起信用违约，我们把信用看得比资产、利润更重要。（四）线上线下融合发展实践证明，今后很难区分线上线下企业了，四五年之前我和小马哥还有一争论，现在看我俩合二为一了，线上线下要融合。形势比人强，互联网正走向物联网，这就是趋势。1、关键是思想要融合。万达所有系统领导，关键是坐在第一排这些人，要认识到融合发展是趋势，不融合就要被淘汰。所有系统都要推出自己有用的应用软件，特别是商管、影视、宝贝王这些重点企业。要整合万达商管、网科和信息中心的研究业务，成立万达新消费研究院。这是一个重要举措，研究方向不能光想着自己如何掌握消费数据，为自己服务，一定要想着如何为商家增值，让商家觉得有用。万达有这么大规模、不同类型的消费场景，理应折腾点名堂出来。2、从实际效果出发，不玩概念，不烧大钱。我曾经犯的一个错误，就是给了曲德君太多的钱，我跟一些企业家讨论，他们说当初网科少给点钱，定个投资上限就好了。看来钱不能给得太多。不是说网科没有做出成绩，这一次跟别人合作谈判，使我和团队对网科有了全新认识，他们开发了一些有用的东西，只是这些东西有培育期，还不能马上被资本市场接受。原来方向也有偏差，老想大规模来做，如果就为万达广场、旅游度假区研发，可能早就整出名堂了。3、自主研发。网上传网科裁员6000人，网科总共就3000人，怎么可能裁掉6000人！曲德君你为什么也不出来辟辟谣？要强调自主研发。不论网科今年与谁合作，不管是以资本还是战略方式合作，我们自己应用软件的研发都不能停止。为什么万达要成立自己的研究院？我不相信别人会出大钱来做对我们有用的东西，就算能做出来，什么时候也不知道。所以我们宁可每年少花点钱，找几个人，把有前景的研发项目继续下去，研究线上线下融合应用软件，要继续自己搞，这一点是非常明确的。4、开放式发展。要对所有科创企业、院校、研究机构、个人开放万达场景平台，要继续启动第二届创新加速器，希望一届一届地搞下去。很多人很短视，一年没出成就，两年没出成就，就不弄了。如果当初买了两位马哥的股票持有，到现在涨了多少钱了？科创类产品从研发到商业化有一个过程，要坚持搞下去。（五）组织架构适应转型为了适应转型，也为了资本市场需要，万达拟对公司管理架构进行调整，主要是商业地产进行架构调整，当然还需要提请董事会、股东会批准以后，才能正式行动。今天说的是我的一个建议。1、成立商管集团。就是将原来商业地产更名，成为一个纯粹的商业物业持有和运营管理商，使公司战略更清晰，商业模式更纯粹，也为了使市场估值更高。如果有房地产开发，还是归在房地产企业里，但万达商业租金利润已经大过开发利润。将来商管就是收租金，利润每年两位数增长，在此基础上，再通过线上线下融合做一些东西出来，这样公司市场估值会更高。新的商管公司将是以轻资产为主、重资产持有为辅的企业，我们做了公司模拟报表，负债率也非常低，可说是一个非常优秀的公司。新的商管集团将是万达集团核心企业。2、成立地产集团。第一要负责消化商管集团的地产业务，原来商业地产还有一些房地产开发业务，地产集团要尽快帮助消化，但利润归商管。第二要开发万达广场重资产，也不排除纯粹搞一些住宅开发。这么多年万达地产规划、设计、开发、销售一条龙，都是自有团队，在市场上口碑颇好。第三也可以输出品牌管理。地产集团不求做大，主要看利润。集团给了新成立的地产集团一个债务上限，这个上限是很低的，地产集团就是在负债上限下考虑业务发展，不要求做多大规模。现在中国房地产，基本上负债和销售额是对等的，销售越多，负债越多。如果地产集团朝这个路子走，就使集团现在的降负债没多大意义了。地产集团的主要任务就是建万达广场，另外捎带搞点业务就行。3、成立新网科公司。战略合作者确定之后，再来确定业务目标。点这一句话，是说给网科同志们听的。（六）承担企业社会责任1、精准扶贫。继续对丹寨扶贫投入，旅游小镇开业一周年时大型实景演出要确保上演。2018年丹寨旅游小镇要确保400万，力争500万游客数量。按照国家旅游局的标准，200万就算旅游大县，我们今年做到500万，县级旅游可能就名列前茅了。现在丹寨旅游小镇最大问题是过夜游客太少，许多游客去了以后最多吃顿饭，甚至有的人自己带东西吃，把矿泉水一喝，瓶子一丢走了。当然问题是一个个出来的，刚开始我们担心游客不够，说最多一年100万，这100万是养活小镇最基本的游客量。现在半年300万游客，就要研究怎样让游客过夜，这样收入才能增加，对丹寨的旅游拉动才能更大。年会后要马上下去好好研究增加过夜游客的措施，只要路子对头，我们可以再投入。2、就业。今年新增18万人，其中大学生8万人。3、捐赠。今年安排4亿元。4、环保。今年获国家绿建标识100项。今年是万达成立30周年，古人云“三十而立”。国际上有一个公认标准，10年以下是短寿企业，10年到30年是中寿企业，30年以上是长寿企业，万达正站在长寿企业的新起点上，所以今年对万达而言是极其重要的一年。万达要做百年企业，又迎来了新的起点，今年我们会在节俭前提下展开一系列有意义的庆祝活动，我也希望万达全体同仁，特别是各个系统领导，今年都能够完成目标，实现满堂红。我希望在30年庆祝的时候，没有哪个系统没有完成目标，让我们以实际行动来庆祝万达的30周年。让我们在党的十九大指引下，高举习近平新时代中国特色社会主义思想的伟大旗帜，在新的一年里努力奋斗！最后，我要在这里向给予万达支持的中国各级政府、合作企业、消费者和万达全体员工说一声感谢！正是你们的支持，万达才可能取得今天的成就。同时感谢哈尔滨万达城全体员工、万达文华酒店、万达嘉华酒店、皇冠假日酒店全体员工为年会所做出的辛苦工作。春节即将来临，我给在座各位，同时也通过你们给万达企业员工提前拜一个年，祝大家新的一年里面工作顺利！身体健康！万事如意！谢谢大家！