当前位置: 首页 > news >正文

一个好网站建设西安seo优化公司

一个好网站建设,西安seo优化公司,上海最近三天的新闻大事,哈尔滨响应式网站建设公司文章目录 前言一、简介1. Spark-Streaming简介2. Kafka简介二、实战演练1. MySQL数据库部分2. 导入依赖3. 编写实体类代码4. 编写kafka主题管理代码5. 编写kafka生产者代码6. 编写Spark-Streaming代码7. 查看数据库8. 代码下载总结前言 本文将介绍一个使用Spark Streaming和Ka…

文章目录

  • 前言
  • 一、简介
    • 1. Spark-Streaming简介
    • 2. Kafka简介
  • 二、实战演练
    • 1. MySQL数据库部分
    • 2. 导入依赖
    • 3. 编写实体类代码
    • 4. 编写kafka主题管理代码
    • 5. 编写kafka生产者代码
    • 6. 编写Spark-Streaming代码
    • 7. 查看数据库
    • 8. 代码下载
  • 总结


前言

本文将介绍一个使用Spark Streaming和Kafka进行实时数据处理的示例。通过该示例,您将了解到如何使用Spark Streaming和Kafka处理实时数据流,以及如何将处理后的数据保存到MySQL数据库中。示例涵盖了从环境搭建到代码实现的全过程,帮助您快速上手实时数据处理的开发。

zookeeper安装教程:zookeeper安装与配置:使用shell脚本在centos上进行zookeeper自动化下载安装配置(集群搭建版)
kafka安装教程:Kafka安装与配置-shell脚本一键安装配置(集群版)


一、简介

1. Spark-Streaming简介

Spark Streaming是Apache Spark的一个组件,用于实时流数据处理。它提供了高级别的API,可以使用类似于批处理的方式处理实时数据流。Spark Streaming可以与各种消息队列系统集成,包括Kafka、RabbitMQ等。

2. Kafka简介

Kafka是一个分布式流处理平台,具有高吞吐量、可扩展性和可靠性。它提供了一种可持久化、分布式、分区的日志服务,用于处理实时数据流。Kafka使用发布-订阅模型,消息被发布到一个或多个主题,然后由订阅该主题的消费者进行消费。


二、实战演练

开始之前先启动zookeeper集群和kafka集群。

1. MySQL数据库部分

这部分代码用于创建MySQL数据库和数据表,以及将从Kafka获取的数据保存到数据库中。

create database kafkademo;

创建数据表:

CREATE TABLE kafka_tb
(`txid`      varchar(255) PRIMARY KEY,`version`   varchar(255),`connector` varchar(255),`name`      varchar(255),`ts_ms`     varchar(255),`snapshot`  varchar(255),`db`        varchar(255),`sequence`  varchar(255),`schema`    varchar(255),`table`     varchar(255),`lsn`       varchar(255),`xmin`      varchar(255)
);

2. 导入依赖

这部分代码是Maven的依赖配置,用于引入所需的Spark、Kafka和MySQL相关的库。

<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.26</version>
</dependency>
<dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>2.4.0</version>
</dependency>
<dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.11</artifactId><version>2.4.0</version>
</dependency>
<dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming_2.11</artifactId><version>2.4.0</version>
</dependency>
<dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming-kafka-0-10_2.11</artifactId><version>2.4.0</version>
</dependency>
<dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>2.8.0</version>
</dependency>
<dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><version>1.18.26</version><scope>compile</scope>
</dependency>

3. 编写实体类代码

这部分代码定义了一个Java类EntityMessage,用于将从Kafka获取的JSON数据转换为Java对象。

package com.zcs;import lombok.Data;import java.io.Serializable;/*** @author zcs2312* @date 2023/12/12 20:49:47* @product_name IntelliJ IDEA* @project_name spark-kafka*/
@Data
public class EntityMessage implements Serializable {private String op;private String ts_ms;private String transaction;private DataItem dataItem;@Datapublic static class DataItem {private String version;private String connector;private String name;private String ts_ms;private String snapshot;private String db;private String[] sequence;private String schema;private String table;private String txId;private String lsn;private String xmin;}
}

4. 编写kafka主题管理代码

这部分代码用于创建、删除和修改Kafka主题的一些操作。

package com.zcs;import org.apache.kafka.clients.admin.*;
import org.apache.kafka.common.KafkaFuture;
import org.apache.kafka.common.config.ConfigResource;import java.util.*;
import java.util.concurrent.ExecutionException;/*** @author zcs2312* @date 2023/12/12 20:51:34* @product_name IntelliJ IDEA* @project_name spark-kafka*/
public class KafkaTopicManager {
http://www.qdjiajiao.com/news/5647.html

相关文章:

  • 做网站的大型公司949公社招聘信息
  • 石家庄网站建设咨询快照网站
  • 宽带办理什么套餐最划算如何进行搜索引擎优化?
  • 做网站销售会遇到哪些问题seo网站优化培训公司
  • 软件工程师分类网站优化排名
  • 哪些网站可以做微课视频外链平台
  • 手机怎么网站建设广州市运营推广公司
  • 一键logo生成器武汉百度seo网站优化
  • 十大看b站直播的推荐理由seo内部优化方案
  • 网站建设智能优化百度广告点击软件
  • 网站制作公司智能 乐云践新强化防疫指导
  • 阳江网吧免费seo网站自动推广软件
  • 遵义网站建设方案seo属于运营还是技术
  • 北京鑫创网站建设广州网络推广公司有哪些
  • 凡客诚品助农是真的吗杭州seo技术
  • 服务商名称是什么意思西安网站关键词优化费用
  • 上海国企排名100强惠州seo按天计费
  • 上海高端网站开发公司360免费建站系统
  • 做网站的费用计入什么科目seo建站
  • 360建代码优化
  • 移动商城积分怎么用北京专业网站优化
  • app应用网站单页模板引擎搜索入口
  • 手机网站图片自适应西安今日头条新闻
  • 重庆seo网站排名网站运营需要多少钱
  • 自己做的小说网站要交税吗百度关键词挖掘工具爱站网
  • 长春网长春网站建设站建设独立站seo是什么
  • 东莞网站建设找谁电商如何推广自己的产品
  • 专门做礼物的网站免费的网站域名查询
  • 做房产信息网站网站建站公司
  • 布吉个人网站建设百度竞价排名规则