随着信息化技术不断发展，公交信息系统建设不断健全，尤其是随着智能调度系统的不断完善，各种系统整合进大数据，业务平台的消息处理变得尤为复杂，借助Kafka技术对大量的数据进行高效快速地处理。

1、Kafka技术

Kafka是一种快速、可扩展、可持久和高容错的发布-订阅消息系统（publish-subscribe messaging system），主要应用于实时信息流的大数据收集或者实时分析。可以与Flume/Flafka、Spark Streaming、Storm、HBase、Flink以及Spark配合使用，用于实时获取、分析和处理流数据。Kafka是一个分布式流式处理平台，主要有两大应用场景，分别是消息列队和数据处理。

2、Kafka技术的特点

高吞吐：能够达到百万级的消息吞吐量，延迟达毫秒级。

持久性存储：Kafka的消息在磁盘上按顺序读写，Kafka的副本机制能够提高数据可靠性。

分布式可扩展：Kafka的数据分布式存储在不同broker节点。

高容错性：集群中任意一个broker节点宕机，Kafka仍能对外提供服务。

3、Kafka技术架构

济南公交智能调度系统依托定位、移动互联网等技术，将车载终端实时获取的定位数据上传至后台，这些海量实时的数据是班次班制的基础，需要巨大的计算能力对后台数据进行处理，Kafka技术对实时数据进行高效解析、存储和分析，能够满足高吞吐、高可用的业务需求，Kafka结构图如下（图片来源网络）：

4、Kafka技术应用

（1）实时定位数据的应用

济南公交智能调度系统运用Kafka技术快速处理海量的定位数据流，对定位数据流进行解耦。Kafka技术集消息系统、存储系统和流式处理平台于一身，作为连接其他业务和数据后台的消息中间件，为数据分析提供数据源，支持并对接其他离线数据、实时数据仓库及分析系统，包括多维查询、实时Druid OLAP、日志明细等。

（2）日志收集的应用

Kafka技术可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer。Kafka是分布式的消息缓存系统，用于日志处理的分布式消息队列，具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，能够提供离线处理和实时处理，可以使用Storm实时流处理系统对消息进行实时在线处理，同时使用Hadoop这种批处理系统进行离线处理。Kafka处理日志数据容量大，日志数据主要包括用户登录、浏览、点击及系统运行日志。

（3）数据分析

济南公交智能调度系统云存储和云分析的运行需要巨大的计算和存储资源，采用Hadoop、Spark、云存储、云计算等分布式处理方式实时分析海量的定位数据，数据输入到Kafka消息队列中，然后把接收的数据交给Storm的计算框架进行流式的比较分析处理，最终输出预期结果，并第一时间发送到调度终端，实现了智能化、高效率的计算和分析。同时能做到精准的预测，快速地把预测结果发布相关乘客信息系统中。

（4）运营指标的应用

Kafka技术用来记录运营监控数据，包括搜集各种分布式应用的数据，各种报警、报告等数据的集中反馈。同时Kafka Broker进程用来监控Kafka集群Broker所在的节点机器的性能。

5、结语

随着信息化技术的不断更新和发展，Kafka也在不断地更新迭代，未来济南公交智能调度系统大数据布局会更加便捷，公交服务水平进一步得到提高，公交服务满意度进一步得到提升。

参考文献：

百度百科

短运精算，详解近期事业、财运、姻缘

近三个月运势

十年大运