json转移 json转换工具有哪些

mongodb使用场景是什么？

response.getWriter().write(jsonObject.toString());

使用场景：

json转移 json转换工具有哪些

json转移 json转换工具有哪些

“PreviousMissionId” 替换为“PreviousMissionID”

（1）网站数据：MongoDB适合实时的插入，更新与查询，并具备网站实时数据存储所需的及高度伸缩性。

（2）缓存：由于性能很高，MongoDB也适合作为信息基础设施的缓存层。在系统重启之后，由MongoDB搭建的持久化缓存层可以避免下层的数据源过载。

（3）大尺寸，低价值的数据。

（4）高伸缩性的场景：MongoDB适合由数十或数百台组成的数据库。

（5）用于对象及JSON数据的存储：MongoDB的BSON数据格式适合文档化格式的存储及查询。

功能

1、面向的存储：适合存储对象及JSON形式的数据。

2、动态查询：MongoDB支持丰富的查询表达式。查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组。

3、完整的索引支持：包括文档内嵌对象及数组。MongoDB的查询优化器会分析查询表达式，并生成一个高效的查询。

4、查询监视：MongoDB包含一系列监视工具用于分析数据库作的性能。

5、及自动故障转移：MongoDB数据库支持之间的数据，支持主－从模式及之间的相互。的主要目标是提供冗余及自动故障转移。

6、高效的传统存储方式：支持二进制数据及大型对象（如照片或）。

7、自动分片以支持云级别的伸缩性：自动分片功能支持水平的数据库集群，可动态添加额外的机器

如何设计好的RESTful API

◆用于对象及JSON数据的存储：Mongo的BSON数据格式非常适合文档化格式的存储及查询。

安全是恒久的话题，对于基于WSDL和SOAP的Web Serv，我们有WS-Security这样的安全规范来指导实现认证、授权、身份管理等安全需求。那么，RESTful API有无成熟可用规范或实现框架呢？如何保证RESTful API的安全性呢？

file.put("size", size);//原始文件大小

如何对RESTful API进行版本控制，请分享您认为实用的做法？

HTTP1.1规范中给出的动词对于设计RESTful API够用吗？您在实际项目中会扩展自己的动词吗？在什么情况下需要扩展？

今年5月份发布的JAX-RS 2.0规范对于RSTfulAPI的设计最有价值的特性是哪个（些）? 它（们）用于解决什么问题？

能否为InfoQ的读者们一款实用的RESTful API开发框架，并说明您的推介理由。

HTTP2.0规范正在制定当中，您对它的期待是什么？

InfoQ：什么是好的RESTful API？相信每个人都有自己的评判标准。那么，您认为一个好的RESTful API应该具有哪些特征呢？

李锟：一个好的RESTful API，应该具备以下特征：

这个API应该是对浏览器友好的，能够很好地融入Web，而不是与Web格格不入。

浏览器是最常见和最通用的REST客户端。好的RESTful API应该能够使用浏览器+HTML完成所有的测试（不需要使用编程语言）。这样的API还可以很方便地使用各种自动化的Web功能测试、性能测试工具来做测试。Web前端应用（基于浏览器的RIA应用、移动App等等）也可以很方便地将多个RESTful API的功能组合起来，建造Mashup类的应用。

这个API中所包含的资源和对于资源的作，应该是直观和容易理解的，并且符合HTTP协议的要求。

REST开发又被称作“面向资源的开发”，这说明对于资源的抽象，是设计RESTful API的核心内容。RESTful API建模的过程与面向对象建模类似，是以名词为核心的。这些名词就是资源，任何可命名的抽象概念都可以定义为一个资源。而HTTP协议并不是一种传输协议，它实际提供了一个作资源的统一接口。对于资源的任何作，都应该映射到HTTP的几个有限的方法（常用的有GET/POST/PUT/DELETE四个方法，还有不常用的PATCH/HEAD/OPTIONS方法）上面。所以RESTful API建模的过程，可以看作是具有统一接口约束的面向对象建模过程。

按照HTTP协议的规定，GET方法是安全且幂等的，POST方法是既不安全也不幂等的（可以用来作为所有写作的通配方法），PUT、DELETE方法都是不安全但幂等的。将对资源的作合理映射到这四个方法上面，既不过度使用某个方法（例如过度使用GET方法或POST方法），也不添加过多的作以至于HTTP的四个方法不够用。

如果发现资源上的作过多，以至于HTTP的方法不够用，应该考虑设计出更多的资源。设计出更多资源（以及相应的URI）对于RESTful API来说并没有什么害处。

这个API应该是松耦合的。

RESTful API的设计包括了三个循序渐进、由低到高的层次：资源抽象、统一接口、超文本驱动。正是这三个层次确保了RESTful API的松耦合性。

当设计面向互联网的API时，松耦合变成了一种“必须有”的强需求。紧耦合的API非常脆弱，一旦公布出去，端和客户端都无法持续进化。尤其是端，公布出去的接口根本不敢改，改了之后，几乎所有客户端应用立即无常工作。REST这种架构风格就是紧耦合API的解毒剂，这个话题可以谈的很深，这里就不展开了。感兴趣的读者可以参考《REST实战》。

这个API中所使用的表述格式应该是常见的通用格式

在RESTful API中，对于资源的作，是通过在端-客户端之间传递资源的表述来间接完成的。资源的表述可以有很多种格式，并且在响应和请求中的资源表述格式也会有所不同。GET/POST响应中的资源表述格式，常见的有HTML、XML、JSON；POST/PUT请求中的资源表述格式，常见的有标准的HTML表单参数、XML、JSON。

这些常见表述格式，处理起来非常容易，有大量的框架和库提供支持。所以除非有很合理的要求，通常不需要使用自定义的私有格式。

使用HTTP响应状态代码来表达各种出错情况

HTTP响应状态代码，是HTTP协议这个统一接口中用来表达出错情况的标准机制。响应状态代码分成两部分：status code和reason phase。两部分都是可定制的，也可以使用标准的status code，只定制reason phase。

如果一个所谓的“RESTful API”对于任何请求都返回200 OK响应，在响应的消息体中返回出错情况信息，这种做法显然不符合“确保作语义的可见性”这个REST架构风格的基本要求。

这个API应该对于HTTP缓存是友好的

充分利用好HTTP缓存是RESTful API可伸缩性的根本。HTTP协议是一个分层的架构，从两端的user agent到origin server之间，可以插入很多中间组件。而在整个HTTP通信链条的很多位置，都可以设置缓存。HTTP协议内建有很好的缓存机制，可以分成过期模型和验证模型两套缓存机制。如果API设计者完全没有考虑过如何利用HTTP缓存，那么这个API的可伸缩性会有很多问题。

李建业：首先说明一下，对REST这个概念，我一般把它理解为REST风格的架构，但是现在实践中最为广泛认知的是HTTP，而它是REST的一个实现，所以RESTful API也可以不太严格的指基于HTTP的API——当然，即使是不严格的时候，API本身也应该力求遵循REST架构风格。

我认为，一个RESTful API最重要的一点应该是——“尽可能少的先验信息”，这一条也同时是我判断一个好的RESTful API的标准。

比如HTTP动词，在实践中，大家可能会常常纠结于有效利用 HTTP 动词，但这却并不是特别重要的事情——除非你理解这么做的价值。HTTP 动词最重要的地方在于它是标准阐明了的行为，也就是说，如果我们的“客户端”遵循约定，那么就不必要发明新的动词，也就不必增加“先验信息”；但是，所谓“先验信息”，针对的是客户端——对API来说就是调用者，对于一些企业内部系统，或者一些传统系统，由于“资源”很稳定，对资源的作也很稳定，这些系统的“调用客户端”不是浏览器而是另一个系统，此时如果强制对应到HTTP动词，反而会变成额外的“先验信息”，这时我就不会太拘泥HTTP动词，自己制定一套动词放在参数中也可以接受——只要动词不变化，这个系统依然是REST风格的。

丁雪丰：首先，应该正确地使用HTTP的统一接口，比如HTTP的动词，如果不分青红皂白清一色POST那显然还有改进的余地；

其次，资源有合适的粒度，可以从三个方面来评判资源的粒度是否合理——网络的效率、表述的大小以及客户端使用时的易用程度；

，是表述的设计，除了表述的正文内容，还有其中的URI和链接，这些都是评判一个RESTful API好坏的标准。

马钧：在我看来，一个好的API标准，就是能尽量利用到HTTP协议的特性，将HTTP当成一种转移协议，而不是传输协议。包括但不限于：利用HTTP的各种动词来明确作；包含有内容协商，可以根据请求头提供的参数选择一个资源最合适的媒体类型、语言、字符集和编码的表现；使用不同的返回代码来描述各种状态。但实际上见到过的很多声称RESTful API，包括国内的和国外的，能符合这些条件的并不多。parse提供的API是我见到过的较为不错的RESTful API，可以作为范例参考。

InfoQ：安全是恒久的话题，对于基于WSDL和SOAP的Web Serv，我们有WS-Security这样的安全规范来指导实现认证、授权、身份管理等安全需求。那么，RESTful API有无成熟可用规范或实现框架呢？如何保证RESTful API的安全性呢？

李锟：保证RESTful API的安全性，主要包括三大方面：

a) 对客户端做身份认证

c) 身份认证之后的授权

对客户端做身份认证，有几种常见的做法：

在请求中加签名参数

为每个接入方分配一个密钥，并且规定一种签名的计算方法。要求接入方的请求中必须加上签名参数。这个做法是最简单的，但是需要确保接入方密钥的安全保存，另外还要注意防范replay攻击。其优点是容易理解与实现，缺点是需要承担安全保存密钥和定期更新密钥的负担，而且不够灵活，更新密钥和升级签名算法很困难。

HTTP Basic身份认证安全性较低，必须与HTTPS配合使用。HTTP Digest身份认证可以单独使用，具备中等程度的安全性。

HTTP Digest身份认证机制还支持插入用户自定义的加密算法，这样可以进一步提高API的安全性。不过插入自定义加密算法在面向互联网的API中用的不是很多。

这个做法需要确保接入方“安全域-用户名-密码”三元组信息的安全保存，另外还要注意防范replay攻击。

优点：基于标准，得到了广泛的支持（大量HTTP端、客户端库）。在端做HTTP身份认证的职责可以由Web （例如Nginx）、App （例如Tomcat）、安全框架（例如Spring Security）来承担，对应用开发者来说是透明的。HTTP身份认证机制（RFC 2617）非常好地体现了“分离关注点”的设计原则，而且保持了作语义的可见性。

缺点：这类基于简单用户名+密码机制的安全性不可能高于基于非对称密钥的机制（例如数字证书）。

使用OAuth协议做身份认证

OAuth协议适用于为外部应用授权访问本站资源的情况。其中的加密机制与HTTP Digest身份认证相比，安全性更高。需要注意，OAuth身份认证与HTTP Digest身份认证之间并不是相互取代的关系，它们的适用场景是不同的。OAuth协议更适合于为面向最终用户维度的API提供授权，例如获取隶属于用户的微博信息等等。如果API并不是面向最终用户维度的，例如像七牛云存储这样的存储服务，这并非是OAuth协议的典型适用场景。

对敏感的数据做加密，并且防止篡改，常见的做法有：

部署SSL基础设施（即HTTPS），敏感数据的传输全部基于SSL。

仅对部分敏感数据做加密（例如预付费卡的+密码），并加入某种随机数作为加密盐，以防范数据被篡改。

身份认证之后的授权，主要是由应用来控制。通常应该实现某种基于角色+用户组的授权机制，这方面的框架有不少（例如Spring Security），不过大多数开发团队还是喜欢自己来实现相关功能。

李建业：我不认为安全是RESTful API需要考虑的问题，事实上我觉得这是两个正交的问题。当然，如果使用RESTful API来提供认证、授权和身份管理，那也算是双方有关系，但是这和其它风格的API设计所要考虑的问题似乎没什么区别，不值得特别注意。

但是在具体设计层面，这两者的“正交点”上似乎确实有些问题，因为REST是一个推崇状态无关原则的架构风格，而认证和授权通常基于第三方解决方案，所以往往会出现违背有状态约束的问题，这个地方我也没有特别的想法，当然这个困难和原问题关系不大。

至于WS-族的协议，我不太了解，不太能参与讨论。

丁雪丰：对于RESTful API，常见的安全措施都是可以继续使用的。例如，为了防篡改，可以对全部参数进行签名；为了防范重放攻击可以在请求中增加一次性的Token，或者短时间内有效的Token；对内容加密可以实现数据防泄露……；对于DDoS攻击，各种HTTP流量清洗策略，都可以继续发挥作用，因为这就是基本的HTTP请求。

在授权和认证方面，OAuth 2.0已经基本成熟了，并且得到了广泛地应用。如果可以，接入第三方账户体系是个不错的选择，比如Google和Facebook的，国内的当然也有几个候选。

马钧：个人认为RESTful的安全性分为几个层次，在安全要求较高的场合，可以通过HTTPs这样的加密协议来保证网络层的安全，应用层的安全可以通过OAuth实现认证，而对于资源的访问授权，则只能依靠应用程序来实现了。

InfoQ：如何对RESTful API进行版本控制，请分享您认为实用的做法？

李锟：一个比较简单实用的做法是直接在URI中插入版本号，这样做允许多个版本的API并行运行。

另一个做法是在HTTP请求中加入自定义头信息，标明使用的版本号。不过这个做法其实对浏览器不够友好，简单地使用浏览器+HTML无法测试。

李建业：目前比较好的方式还是在uri设计中添加版本信息，其它方法都不如这个实用。

丁雪丰：个人认为的版本化，就是没有明显的版本。在对已发布的服务进行变更时，要尽量做到兼容，其中包括URI、链接和各种不同的表述的兼容，最关键的就是在扩展时不能破坏现有的客户端。例如，要变更一个参数，可以选择同时兼容新旧两种输入，或者保持老参数不动，提供一个新的参数，在文档中必须做出说明，不新用户再继续使用之前的参数。

如果必须要进行不兼容的变更，那么可以选择标记不同的版本号，这时可以选择在路径或参数中增加版本信息。也有做法是增加HTTP标头，只是在调用时会稍有不便，前两种方法。

马钧：RESTfulAPI的版本升级，尽量兼容之前的版本，保证原有的API都能正常工作，可以通过HTTP 301转跳到新的资源。另外一种实用的做法就是在中保留版本号，同时提供多个版本供客户端使用，如 v1.rest 或者 这样。

InfoQ：HTTP1.1规范中给出的动词对于设计RESTful API够用吗？您在实际项目中会扩展自己的动词吗？在什么情况下需要扩展？

李锟：这个问题取决于设计者如何看待和设计资源。如果资源抽象做的很好，对于某个资源的任何作，通常都能够映射到CRUD四个类别中。CRUD四个类别对于作资源来说，绝大多数情况下是完备的。HTTP的GET/POST/PUT/DELETE四个方法，对于CRUD四个类别的作来说是足够的，映射关系是Create-POST/Retri-GET/Update-PUT/Delete-DELETE。

我们通常不会选择创建自己的动词，这样做对于客户端开发者来说，需要更多的学习成本。如果在资源上定义的作过多，我们会选择拆分出更多的资源。

李建业：一般是够用的，有时一些“不够用”的场景是由于我们没有设计出合理的资源，比如批量作。但是，正如之前所说的那样，对于某些内部的、传统的（因此模型稳定且已知）系统，API提供者和调用者会有自已的固定动词表，此时没必要拘泥。另外，我不建议扩展动词，一旦扩展了动词，其实已经破坏了我之前说的“尽可能少的先验信息”，那么，扩展动词和重新设计动词的成本别不大。基于这个考虑，我建议尽可能保持动词不变，除非你想重新设计动词表。

丁雪丰：一般情况下，常用的HTTP动词是够用的，并没有出现一定要自己扩展动词的情况。其实，最常用的也就是GET、POST、DELETE和PUT，而HEAD、OPTIONS、TRACE则基本用不太到。如果出现一时找不到合适的动词，安全幂等的作用GET，其他都可以用POST，在设计资源时稍加考虑即可。

马钧：在我的实际项目中，只用到了POST，PUT，DELETE，GET这四个动词。

InfoQ：今年5月份发布的JAX-RS 2.0规范对于RSTfulAPI的设计最有价值的特性是哪个（些）? 它（们）用于解决什么问题？

我同意Bill在文章中的观点，在JAX-RS 2.0增加的内容中，最重要的三部分为：

a) API——用来规范化JAX-RS客户端的开发方式。

b) -side Asynchronous HTTP——用来实现端推送功能，而不需要依靠低效的轮询方式。

c) Filters and Interceptors——用来分离关注点，将鉴权、日志等逻辑与业务逻辑分离开，更好地实现代码重用。

这三部分的内容对于开发者来说都很有用。遵循JAX-RS规范做开发，可以确保端以及客户端代码的可移植性。

李建业：我个人关注异步API这部分，主要是因为流式服务将会越来越多，那将大量需要这类支持。

InfoQ：能否为InfoQ的读者一款实用的RESTful API开发框架，并说明您的推介理由。

李锟：这个问题我就不详细回答了。不同的编程语言有不同的REST开发框架，对于REST的支持程度也不同。开发RESTful API的需求范围很广，可选择的开发框架的范围也很广。保持多样性是繁荣生态环境的基础。像Ja就有支持JAX-RS规范的Jersey、RESTEasy、Restlet、Apache CXF，和不支持JAX-RS规范的Spring MVC等等很多框架。这些框架目前都做的不错。我对框架的选择没有倾向性。RESTful API设计的实践应该是通用的，而不是必须依赖某种特定的开发框架。

李建业：不好意思，这个我不太重视，没法，不过我可以解释一下为什么对RESTful API框架不感冒的原因。

REST作为一个架构风格，对我们的系统开发有很大影响，但是这些影响一般是针对架构（例如状态无关）或者设计（例如资源识别）上的，所以一旦涉及到具体实现，主要工作就基本结束了，此时开发框架能做的事也就只有简化编程了（相较而言，有的框架还能起到设计的作用），而由于RESTful会抽象动词，所以实现层面中和API规范相关的工作本来就不多，那么框架的价值就更小了。

当然，我们也不可能直接基于servlet/rakc/wsgi来开发，不过一般的编程语言都会提供一些简单的 route/match策略，我们使用这些就足够了。另外，有些框架能帮我们生成全部的动词支持，但这也未必是好事，我一般倾向于按需实现——用到了再支持，这就更不需要太关注开发框架对RESTful的支持了。

REST的成熟度模型中，第三层就是HATEOAS，Spring目前还提供了Spring Hateoas子项目，对链接、资源等方面的支持都做了一定的增强。

马钧：我目前在实际项目中使用的是Spray，这是一个开源的 REST/HTTP 工具包和底层网络 IO 包，基于 Scala 和 Akka 构建。轻量级、异步、非堵塞、基于 actor 模式、模块化和可测试是Spray的特点。

InfoQ：HTTP2.0规范正在制定当中，您对它的期待是什么？

李锟：我的期待包括两个方面：应该做的和不应该做的。

HTTP/2.0规范应该做的：

与HTTP/1.1协议保持兼容。兼容的含义是说两者可以并存，客户端应用可以根据端的能力，自由地选择使用HTTP/2.0还是HTTP/1.1，而且选择过程对应用来说是透明的。

改进HTTP协议（作为资源的统一接口）之中作语义表达方式的语法，提高网络传输效率。

更好地模块化，这样HTTP/2.0协议的实现能够更好地模块化。应用程序可根据需要选择适当的模块，而不是要么全有、要么全无。

废弃掉HTTP/1.1协议中一些很少有人用到的部分，例如采用管道（pipelining）方式发送请求。

增加更多的动词，以适应除CRUD之外的其他场景。

HTTP/2.0规范不应该做的：

HTTP/2.0协议不应该把底层的数据加密机制（即SSL）作为必选项。

HTTP/2.0协议不应该背离REST架构风格的约束，尤其是要确保作语义对于中间组件的可见性。

在上面这两个方面，Roy Fileidng曾经与SPDY协议设计者Mike Belshe发生过激烈争论，详情请看：Roy Fielding谈Google SPDY协议

李建业：对此规范关注不多，不知道会不会有对于流的支持，目前我所知道的只有ck方式进行简单的支持，但是真正的流需要区分数据通道和控制通道——哪怕是逻辑上的区分，这样就直接对REST风格产生了很大冲击，考虑到流式服务在未来的发展潜力，我特别期待业界在这方面有所进展。

丁雪丰：HTTP 2.0很大程度上是借鉴了Google的SPDY，就我而言，首先，希望这个规范能做到与HTTP 1.1的兼容，使用者如果只认识1.1，那么2.0能优雅“降级”；其次，希望2.0能带来更好的性能，SPDY在这方面还是有所改进的，希望HTTP 2.0能再接再厉；，希望这个规范能在最终定稿时附带一个实践，正确人们合理地使用HTTP 2.0。

马钧：没研究过，估计即使出来，1.1还有很长的生命周期，不会很快被取代。

Ja解析json数据

2、No Man’s Sky Se Editor

先给json转化成json对象 然后直接就可以取啦 比如拿江苏 直接obj.response.data.province就可以啦

import com.google.gson.Gson;

public class T {

public static void main(String[] args) {

String a = "{"response":{"data":[{"address":"南京市游乐园","province":"江苏","district":"玄武区","city":"南京"}]},"status":"ok"}";

C b = gson.fromJson(a, C.class);

System.out.println(b.response.data.get(0).address);

System.out.println(b.response.data.get(0).province);

System.out.println(b.response.data.get(0).district);

System.out.println(b.response.data.get(0).city);

}}

class C {

D response = new D(new B());

String status;

}class D {

List data = new ArrayList();

public D() {

}public D(B b) {

data.add(b);

}}

class B {

String address;

String province;

String district;

String city;

@Override

public String toString() {

return address;

}}

JSONObject dataJson=new JSONObject("你的Json数据“);

JSONObject response=dataJson.getJSONObject("response");

JSONArray data=response.getJSONArray("data");

JSONObject =data.getJSONObject(0);

String province=丁雪丰：由于本人是Spring的拥护者，工作中也一直在使用Spring，所以在选择框架时会更多地倾向Spring MVC（并不是说别的框架不好，这里有些个人主观的成份）。如果一定要选择其他框架，也要选择能够方便与Spring集成的框架。如果在项目中已经使用了Spring，那么没有什么理由不选择Spring MVC，鉴于目前Spring在各种项目中的高出镜率，相信一般情况下都会选择Spring MVC。.getString("province");

String city=.getString("city");

String address=.getString("address");

System.out.println(province+city+district+address);

JSONArray array = JSONArray.fromObject(你的json对象); for(int i = 0; i < array.size(); i++){

JSONObject jsonObject = array.getJSONObject(i);

System.out.println(jsonObject.get("province"));

System.out.println(jsonObject.get("city"));

System.out.println(jsonObject.get("district"));

System.out.println(jsonObject.get("address"));

}

目前哪些NoSQL数据库应用广泛，各有什么特点

它们可以处理超大量的数据。

它们运行在便宜的PC集群上。

PC集群扩充起来非常方便并且成本很低，避免了“sharding”作的复杂性和成本。

它们击碎了性能瓶颈。

NoSQL的支持者称，通过NoSQL架构可以省去将Web或Ja应用和数据转换成SQL友好格式的时间，执行速度变得更快。

“SQL并非适用于所有的程序代码，” 对于那些繁重的重复作的数据，SQL值得花钱。但是当数据库结构非常简单时，SQL可能没有太大用处。

没有过多的作。

虽然NoSQL的支持者也承认关系数据库提供了无可比拟的功能，而且在数据完整性上也发挥稳定，他们同时也表示，企业的具体需求可能没有那么多。

Bootstrap支持

因为NoSQL项目都是开源的，因此它们缺乏供应商提供的正式支持。这一点它们与大多数开源项目一样，不得不从社区中寻求支持。

优点：

易扩展

NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。

大数据量，高性能

NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现。这得益于它的无关系性，数据库的结构简单。一般MySQL使用 Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。而NoSQL的 Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。

灵活的数据模型

17高可用

NoSQL在不太影使用标准的HTTP身份认证机制响性能的情况，就可以方便的实现高可用的架构。比如Cassandra，HBase模型，通过模型也能实现高可用。

主要应用：

Apache HBase

这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Ja编码、分布式多个优势的数据库，Hbase最初被设计应用于Hadoop平台，而这一强大的数据管理工具，也被Facebook采用，用于管理消息平台的庞大数据。

Apache Storm

用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能，同时还增加了低延迟的仪表板、安全警报，改进了原有的作方式，帮助企业更地捕获商业机会、发展新业务。

Apache Spark

该技术采用内存计算，从多迭代批量处理出发，允许将数据载入内存做反复查询，此外还融合数据仓库、流处理和图计算等多种计算范式，Spark用Scala语言实现，构建在HDFS上，能与Hadoop很好的结合，而且运行速度比MapReduce快100倍。

Apache Hadoop

该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时，对于复杂的分布式应用，Hadoop体现出了非常好的性能，平台的灵活性使它可以运行在商用硬件系统，它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。

Apache Drill

你有多大的数据集？其实无论你有多大的数据集，Drill都能轻松应对。通过支持HBase、Cassandra和MongoDB，Drill建立了交互式分析平台，允许大规模数据吞吐，而且能很快得出结果。

Apache Sqoop

也许你的数据现在还被锁定于旧系统中，Sqoop可以帮你解决这个问题。这一平台采用并发连接，可以将数据从关系数据库系统方便地转移到Hadoop中，可以自定义数据类型以及元数据传播的映射。事实上，你还可以将数据（如新的数据）导入到HDFS、Hive和Hbase中。

Apache Giraph

这是功能强大的图形处理平台，具有很好可扩展性和可用性。该技术已经被Facebook采用，Giraph可以运行在Hadoop环境中，可以将它直接部署到现有的Hadoop系统中。通过这种方式，你可以得到强大的分布式作图能力，同时还能利用上现有的大数据处理引擎。

Cloudera Impala

Impala模型也可以部署在你现有的Hadoop群集上，监视所有的查询。该技术和MapReduce一样，具有强大的批处理能力，而且Impala对于实时的SQL查询也有很好的效果，通过高效的SQL查询，你可以很快的了解到大数据平台上的数据。

Gephi

它可以用来对信息进行关联和量化处理，通过为数据创建功能强大的可视化效果，你可以从数据中得到不一样的洞察力。Gephi已经支持多个图表类型，而且可以在具有上百万个的大型网络上运行。Gephi具有活跃的用户社区，Gephi还提供了大量的插件，可以和现有系统完美的集成到一起，它还可以对复杂的IT连接、分布式系统中各个、数据流等信息进行可视化分析。

MongoDB

这个坚实的平台一直被很多组织推崇，它在大数据管理上有极好的性能。MongoDB最初是由DoubleClick公司的员工创建，现在该技术已经被广泛的应用于大数据管理。MongoDB是一个应用开源技术开发的NoSQL数据库，可以用于在JSON这样的平台上存储和处理数据。目前，、Craigslist以及众多企业都采用了MongoDB，帮助他们管理大型数据集。（Couchbase也作为一个参考）。

十大公司：

Amazon Web Servs

Forrester将AWS称为“云霸主”，谈到云计算领域的大数据，那就不得不提到亚马逊。该公司的Hadoop产品被称为EMR（Elastic Map Reduce），AWS解释这款产品采用了Hadoop技术来提供大数据管理服务，但它不是纯开源Hadoop，经过修改后现在被专门用在AWS云上。

Forrester称EMR有很好的市场前景。很多公司基于EMR为客户提供服务，有一些公司将EMR应用于数据查询、建模、集成和管理。而且AWS还在创新，Forrester称未来EMR可以基于工作量的需要自动缩放调整大小。亚马逊为其产品和服务提供更强大的EMR支持，包括它的RedShift数据仓库、新公布的Kenesis实时处理引擎以及中的NoSQL数据库和商业智能工具。不过AWS还没有自己的Hadoop发行版。

Cloudera

Cloudera有开源Hadoop的发行版，这个发行版采用了Apache Hadoop开源项目的很多技术，不过基于这些技术的发行版也有很大的进步。Cloudera为它的Hadoop发行版开发了很多功能，包括Cloudera管理器，用于管理和，以及名为Impala的SQL引擎等。Cloudera的Hadoop发行版基于开源Hadoop，但也不是纯开源的产品。当Cloudera的客户需要Hadoop不具备的某些功能时，Cloudera的工程师们就会实现这些功能，或者找一个拥有这项技术的合作伙伴。Forrester表示：“Cloudera的创新方法忠于核心Hadoop，但因为其可实现快速创新并积极满足客户需求，这一点使它不同于其他那些供应商。”目前，Cloudera的平台已经拥有200多个付费客户，一些客户在Cloudera的技术支持下已经可以跨1000多个实现对PB级数据的有效管理。

Hortonworks

和Cloudera一样，Hortonworks是一个纯粹的Hadoop技术公司。与Cloudera不同的是，Hortonworks坚信开源Hadoop比任何其他供应商的Hadoop发行版都要强大。Hortonworks的目标是建立Hadoop生态圈和Hadoop用户社区，推进开源项目的发展。Hortonworks平台和开源Hadoop联系紧密，公司管理人员表示这会给用户带来好处，因为它可以防止被供应商套牢（如果Hortonworks的客户想要离开这个平台，他们可以轻松转向其他开源平台）。这并不是说Hortonworks完全依赖开源Hadoop技术，而是因为该公司将其所有开发的成果回报给了开源社区，比如Ambari，这个工具就是由Hortonworks开发而成，用来填充集群管理项目漏洞。Hortonworks的方案已经得到了Teradata、Microsoft、Red Hat和SAP这些供应商的支持。

IBM

当企业考虑一些大的IT项目时，很多人首先会想到IBM。IBM是Hadoop项目的主要参与者之一，Forrester称IBM已有100多个Hadoop部署，它的很多客户都有PB级的数据。IBM在网格计算、全球数据中心和企业大数据项目实施等众多领域有着丰富的经验。“IBM继续整合SPSS分析、高性能计算、BI工具、数据管理和建模、应对高性能计算的工作负载管理等众多技术。”

In

MapR Technologies

MapR的Hadoop发行版目前为止也许是的了，不过很多人可能都没有听说过。Forrester对Hadoop用户的调查显示，MapR的评级，其发行版在架构和数据处理能力上都获得了分。MapR已将一套特殊功能融入其Hadoop发行版中。例如网络文件系统（NFS）、灾难恢复以及高可用性功能。Forrester说MapR在Hadoop市场上没有Cloudera和Hortonworks那样的知名度，MapR要成为一个真正的大企业，还需要加强伙伴关系和市场营销。

为什么MongoDB适合大数据的存储

b) 对敏感的数据做加密，并且防止篡改

Mongo是一个高性能，开源，无模式的文档型数据库，它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。Mongo使用C++开发，提供了以下功能：

再比如Response里面的Content-Type，这个有时会被新手忽略，但这其实很重要，因为一般涉及到系统间协同的API，往往不会使用普通的文本，比较常见的是使用json表达复杂结构，而这与通常的缺省理解不同（缺省一般会认为是text/plain和text/html），所以如果在API中忘记用Content-Type进行区分的话，后续对多种类型的客户端接入的支持就会变成陷阱（我们多次遇到过这个问题）。而如果一开始就检查是否增加先验知识（缺省Content-Type为plain或者允许指定Content-Type），那这一困难就可以避免了。

◆面向的存储：适合存储对象及JSON形式的数据。

◆动态查询：Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组。

◆完整的索引支持：包括文档内嵌对象及数组。Mongo的查询优化器会分析查询表达式，并生成一个高效的查询。

◆查询监视：Mongo包含一个监视工具用于分析数据库作的性能。

◆及自动故障转移：Mongo数据库支持之间的数据，支持主-从模式及之间的相互。的主要目标是提供冗余及自动故障转移。

◆高效的传统存储方式：支持二进制数据及大型对象（如照片或）。

◆自动分片以支持云级别的伸缩性（处于早期alpha阶段）：自动分片功能支持水平的数据库集群，可动态添加额外的机器。

MongoDB的主要目标是在键/值存储方式（提供了高性能和高度伸缩性）以及传统的RDBMS系统（丰富的功能）架起一座桥梁，集两者的优势于一身。根据网站的描述，Mongo适合用于以下场景：

◆网站数据：Mongo非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的及高度伸缩性。

◆缓存：由于性能很高，Mongo也适合作为信息基础设施的缓存层。在系统重启之后，由Mongo搭建的持久化缓存层可以避免下层的数据源过载。

◆大尺寸，低价值的数据：使用传统的关系型数据库存储一些数据时可能会比较昂贵，在此之前，很多时候程序员往往会选择传统的文件进行存储。

◆高伸缩性的场景：Mongo非常适合由数十或数百台组成的数据库。Mongo的路线图中已经包含对MapReduce引擎的内置支持。

自然，MongoDB的使用也会有一些限制，例如它不适合：

◆高度事务性的系统：例如银行或会计系统。传统的关系型数据库目前还是更适用于需要大量原子性复杂事务的应用程序。

◆传统的商业智能应用：针对特定问题的BI数据库会对产生高度优化的查询方式。对于此类应用，数据仓库可能是更合适的选择。

MongoDB支持OS X、Linux及Windows等作系统，并提供了Python，PHP，Ruby，Ja及C++语言的驱动程序，社区中也提供了对Erlang及.NET等平台的驱动程序。

python怎么获取需要登陆的接口的数据？

和AWS类似，英特尔不断改进和优化Hadoop使其运行在自己的硬件上，具体来说，就是让Hadoop运行在其至强芯片上，帮助用户打破Hadoop系统的一些限制，使软件和硬件结合的更好，英特尔的Hadoop发行版在上述方面做得比较好。Forrester指出英特尔在最近才推出这个产品，所以公司在未来还有很多改进的可能，英特尔和微软都被认为是Hadoop市场上的潜力股。

应用编程接口的全称也称为应用编程接口。它简称为应用编程接口。当我次接触接口调用时，我不知道写什么，因为我看了整个项目。这个项目是由龙卷风写的。看了半天龙卷风后，我发现我走错了方向。我只是直接看着界面，因为没有人告诉我项目的整个过程。我不得不自己去看它。我所要做的就是找到程序的主入口，然后根据函数一步一步地调用它。

当我编写接口时，因为我必须配合后台编写和浏览器访问，每次访问只需要传入相应的参数来调用相应的接口。界面可以由他人编写，也可以由合作公司提供。当然，合作公司提供的不是免费的。现在基本上，如果我不访问它一次，它只收费几美分。当你听到这些，不要低估这几分。有时候如果你打了几百万次电话，会花很多钱。有些人认为，我们不能按月付款吗？对不起，我不知道。总之，我们一个接一个地计算，因为次，我认为我买的那些直接买了我们想要的所有数据，把它们保存在本地数据库中，当我使用它们时，直接从我自己的数据库中转移它们。后来，我发现我想得太多了，伪原创API。

该接口调用由python的请求库访问，它基本上是一个get或t请求。有些接口是加密的，然后我们必须用另一方提供给我们的公钥加密或解密，然后用相应的参数访问。我们想要的数据基本上是在请求后返回的结果中以json格式解析的。因此，在请求之后，我们可以用请求提供的json函数来解析它，然后提取数据以一次访问一个数据。

没错，接口调用就是这么简单，但是有了后台编写，我才发现请求库现在有多强大，只要它是或s，我很高兴我在一周内读完了请求和bs4，我真的不打电话给爬虫工程师，如果我是爬虫的时候不学习请求，你能用scrapy写4=dead来写它吗？Urllib的单词基本上被删除了。如果你有要求，为什么要用这个？

pytString district=.getString("district");hon调用api接口获取数据，python如何调用api接口（附代码）

jQuery-File-Upload怎么清空

下个json的jar包

jquery异步上传，一般来说这里上传调用的是系统专门上传的action，上传好后返回上传文件信息。你这里result.files就是返回的上传结果。这个需要你在后台自己封装。你前端需要什么，后台就封装什么。

比如我以前写过一个

12

34

56

78

0

11

12

13

14

15

16

18

19

20

21

Map fileObject = new HashMap();

fileObject.put("original", original);//原始文件标识

fileObject.put("originalPath", originalPath);//原始文件临时存储目录

fileObject.put("thumb", thumb);//的预览文件标识

fileObject.put("thumbPath", thumbPath);//预览文件临时存储目录

fileObject.put("name", fileFileName);//原始名称

fileObject.put("", );//原始的web查看地址,这个可以设置img.src属性

fileObject.put("thumbnailUrl", thumbnailUrl);//预览的web查看地址

fileObject.put("contentType", fileContentType);//上传文件type

fileObject.put("deleteType", "POST");//这是我自己封装的t删除

//这个是我自己封装的删除路径

fileObject.put("deleteUrl", super.getRequest().getContextPath() + "/removeUpload.do?id=" + original);

Map[] fileArray = new HashMap[1];

fileArray[0] = fileObject;

JSONObject jsonObject = new JSONObject();

jsonObject.put("files", JSONArray.fromObject(fileArray));

HttpServletResponse response = getResponse();

response.setContentType("application/json;charset=UTF-8");

response.getWriter().flush();

而前断可以将上传文件的标识放到一个隐藏域里，表单提交的时候一起提发送到后台，再根据标识去取上传文件信息或写或转移。

前断fileupload李锟：REST开发框架RESTEasy项目负责人Bill Burke，去年写了一篇文章介绍JAX-RS 2.0。done我是这么用的

12

34

56

78

0

11

12

13

14

15

16

on('fileuploaddone', function(e , data){

//上传结果

$.each(data.result.files, function(index , file){

if (file.) {

var link = $('').attr('target', '_blank').prop('href', file.);

//这个是文件上传后的展示区域，可以在fileuploadadd里构建

var $imgdiv = $(data.context.children()[index]);

var $link = $imgdiv.find("canvas").wrap(link);

$imgdiv.append($('').prop('value', file.original));

$imgdiv.append($('').prop('value', file.name));

} else if (file.error) {

var error = $('').text(file.error);

$(data.context.children()[index]).append(error);

}});

})

现在什么技术取代了jsp

NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。而在关系数据库里，增删字段是一件非常麻烦的事情。如果是非常大数据量的表，增加字段简直就是一个噩梦。这点在大数据量的web2.0时代尤其明显。

Spring Boot一部分取代了jsp：

以前老的方式是：

1.客户端请求

2.服务端的servlet或controller接收请求（路由规则由后端制定，整个项目开发的权重大部分在后端）

3.调用serv,dao代码完成业务逻辑

4.返回jsp

新的方式是：

1.浏览器发送请求

2.直接到达html页面（路由规则由前端制定，整个项目开发的权重前移）

3.html页面负责调用服务端接口产生数据（通过ajax等等）

4.填充html，展现动态效果。

（有兴趣的童鞋可以访问一下阿里巴巴等大型网站，然后按一下F12，一下你刷新一次页面，他的是怎么玩的，大多数都是单独请求后台数据，使用json传输数据，而不是一个大而全的请求把整个页面包括动+静全部返回过来）

这样做的好处是：

1.可以实现真正的前后端解耦，前端使用nginx。

前端放的是css，◆需要SQL的问题js，等等一系列静态资源（甚至你还可以css，js，等资源放到特定的文件，例如阿里云的oss，并使用cdn加速），前端负责控制页面引用，跳转，调用后端的接口，后端使用tomcat。

（这里需要使用一些前端工程化的框架比如nodejs，react，router，react，redux，webpack）

2.发现bug，可以快速定位是谁的问题，不会出现互相踢皮球的现象。

页面逻辑，跳转错误，浏览器兼容性问题，脚本错误，页面样式等问题，全部由前端工程师来负责。

接口数据出错，数据没有提交成功，应答超时等问题，全部由后端工程师来解决。

双方互不干扰，前端与后端是相亲相爱的一家人。

3.在大并况下，我可以同时水平扩展前后端，比如淘宝的一个首页就需要2000台前端做集群来抗住日均多少亿+的日均pv。

（去参加阿里的技术峰会，听他们说他们的web容器都是自己写的，就算他单实例抗10万并发，2000台是2亿并发，并且他们还可以根据预知洪峰来无限拓展，很，就一个首页。。。）

4.减少后端的并发压力，除了接口以外的其他所有请求全部转移到前端nginx上。

5.即使后端服务暂时超时或者宕机了，前端页面也会正常访问，只不过数据刷不出来而已。

6.也许你也需要有微信相关的轻应用，那样你的接口完全可以共用，如果也有app相关的服务，那么只要通过一些代码重构，也可以大量复用接口，提升效率。

无人深空技术怎么转移

PC xbox —> Steam (反向同理)

提前准备：

1、Steam需要一个新的存档

准备特点：工具：

1、NomNom Se Editor

3、记事本

Xbox存档在C:/Users/你的用户名/AppData/Local/Packages/HelloGames.NoMansSky_bs190hzg1sesy/SystemAppData/wgs

步：用【NomNom】导出XBOX存档，并用记事本打开

用NomNom找到XBOX存档，在File里Se as JSON，然后关闭NomNom

在NomNom文件夹7.页面显示的东西再多也不怕，因为是异步加载。中找到并打开json文件夹，找到microsoft.xxxxxxxxxx.json文件，用记事本打开，先开着

第二步：用【No Man’sSky Se Editor】打开存档

正确选择要替换的新档，然后再Edit中选择Edit Raw JSON，先开着

第三步：只替换，不添加，需要耐心(修改xbox的json值)

1、账户数值的替换

UID的值xxxxxxxxx(xbox) 替换为 xxxxxxxxxx(steam)

USN的值xxxxxxxxx(xbox) 替换为 xxxxxxxxxx(steam)

LID的值替换为“0000000000000001”(这个特殊)

2、文本的替换

“BaseStatId”替换为“BaseStatID”

“CurrentMissionId”替换为“CurrentMissionID”

“ObjectId” 替换为 “ObjectID”

“TraitIds” 替换为 “TraitIDs”

“MultiplayerLobbyId” 替换为 “MultiplayerLobbyID”

“XB” 替换为 “ST” (因为字符太短，替换搜索带上引号，引号不能弯曲的引号，从json去引号)

第四步：文档粘贴进steam的json

把修改好的记事本全选，粘贴进No Man’s Sky Se Editor里，并保存