循环展开实现流水线调度 循环展开实现流水线调度的原理

小爱今天给分享循环展开实现流水线调度的知识，其中也会对循环展开实现流水线调度的原理进行解释，希望能解决你的问题，请看下面的文章阅读吧！

循环展开实现流水线调度 循环展开实现流水线调度的原理

循环展开实现流水线调度 循环展开实现流水线调度的原理

1、上面提到的大数据基础架构，解决了数据的收集和存储问题，并且提供了实时和离线两种计算能力，接下来就需要考虑数据的使用，从原始的、初步结构化的数据，生成决策需要的知识、统计信息和预测结果，输出到业务系统中，进而收集用户反馈，这应该是一个自动化的、持续改进的系统。

2、整个系统又包括几个关键部分：1. 数据流水线数据流水线需要明确数据的上下游，在流水线中，每个模块都承担着生产者或/和消费者的角色。

3、作为消费者，这些模块需要明确指定要消费的是什么数据，以及这些数据的形态。

4、作为生产者，这些模块需要明确可以提供的是哪些数据，什么形态的数据。

5、数据流水线，整体上充当了数据注册与发现的作用，将各个生产者和消费者串联起来，让数据沿着价值链流动。

6、2. 任务自动调度有了数据流水线上的生产者和消费者的状态以及依赖关系，就可以自动调度任务，让数据真正流动起来。

7、这里的首要前提是各个任务有统一的触发、和中止的接口。

8、为了充分利用资源，需要有一个任务编排策略，根据任务的资源需求、时间限制，决定调度顺序和资源分配，满足系统的数据需求。

9、3. 系统服务AI系统与业务系统可以在各个层次上结合，系统服务也包含几个层次：A. 基础数据服务包括离线数据统一访问，适合大量数据的展示，例如搜索结果、用户行为序列，一般可以使用es、hbase、presto、impala等技术，其中es/hbase意味着重新保存一份数据，需要考虑存储成本。

10、B. 基础智能服务包括统计信息（固定以及adhoc查询）、用户画像服务、预测服务（模型打分）、决策支持（规则引擎）等C. 业务智能服务包括搜索与排序、、广告、自动业务流程。

11、4. 反馈闭环业务系统打点，记录最终展示的信息以及用户反馈，作为下一轮优化的基础。

本文到这结束，希望上面文章对大家有所帮助。