当前位置: 首页 > news >正文

做dota2菠菜网站长春网站建设定制

做dota2菠菜网站,长春网站建设定制,福州b2c网站建设,wordpress视觉编辑器说明:该系列文章从本人知乎账号迁入,主要原因是知乎图片附件过于模糊。 知乎专栏地址: 语音生成专栏 系列文章地址: 【GPT-SOVITS-01】源码梳理 【GPT-SOVITS-02】GPT模块解析 【GPT-SOVITS-03】SOVITS 模块-生成模型解析 【G…

说明:该系列文章从本人知乎账号迁入,主要原因是知乎图片附件过于模糊。

知乎专栏地址:
语音生成专栏

系列文章地址:
【GPT-SOVITS-01】源码梳理
【GPT-SOVITS-02】GPT模块解析
【GPT-SOVITS-03】SOVITS 模块-生成模型解析
【GPT-SOVITS-04】SOVITS 模块-鉴别模型解析
【GPT-SOVITS-05】SOVITS 模块-残差量化解析
【GPT-SOVITS-06】特征工程-HuBert原理

1.概述

在 GPT-SOVITS 实现中,残差量化层是一个相对核心的改动。如前文所述,在 AR模块训练时,其semantic特征是基于预训练生成模型中残差量化层的输出。残差量化层的核心代码如下:

在这里插入图片描述

  • ResidualVectorQuantizer 是残差量化编码器的封装,在生成模型中构建
  • ResidualVectorQuantization 是残差量化编码器的具体实现,其默认包含8个量化编码器
  • VectorQuantization。层与层之间用的是输入值和量化值的残差。
  • VectorQuantization 是具体某一层的量化编码,将输入数据进行量化编码
  • VectorQuantization 在进行量化编码时,其编码字典的实现为
    Euclideanbook。其将输入数据做k均值聚类实现一个编码器,将k均值的中心点,作为量化字典。

2、EuclideanCodebook 实现

2.1、原理

在这里插入图片描述

  • 输入数据大小为【num_sample,dim】,前者为输入数据数量,后者为每个数据的向量维度 基于k均值聚类,codebook_size
  • 参数为聚类K的中心点数量,即字典大小,kmeans_iters为迭代次数
  • 完成k均值聚类后,原始数据各值与中心点计算欧式距离,以就近原则选择中心点作为量化的替代值

2.2、调试代码参考

book = EuclideanCodebook(dim=30,codebook_size=1024,kmeans_init=True,kmeans_iters=50,decay=0.99,epsilon=1e-5,threshold_ema_dead_code=2)quantize, embed_ind = book.forward(sample_data)

3、ResidualVectorQuantizer 实现

3.1、原理

在这里插入图片描述

  • 残差量化编码器有默认8个独立的量化器构成
  • 在每一层的输出时输出三个值
        all_losses    = []all_indices   = []out_quantized = []n_q = n_q or len(self.layers)for i, layer in enumerate(self.layers[:n_q]):# quantized: 量化后的特征向量# indices:  量化后的特征向量所对应的索引# loss   :  量化后的特征向量和原始特征的损失quantized, indices, loss = layer(residual)   # 进入下一层的输入是残差residual = residual - quantized              # 残差quantized_out = quantized_out + quantized    # 基于量化输出的总体累加输出all_indices.append(indices)all_losses.append(loss)if layers and i in layers:out_quantized.append(quantized)out_losses, out_indices = map(torch.stack, (all_losses, all_indices))return quantized_out, out_indices, out_losses, out_quantized

3.2、调试代码参考

rvq = ResidualVectorQuantization(dim=30,codebook_size=1024,num_quantizers=8,decay=0.99,kmeans_init=True,kmeans_iters=50,threshold_ema_dead_code=2)sample_data_1 = torch.rand(1,30, 1000)rvq.forward(sample_data_1, layers=[0])codes   = rvq.forward(sample_data_1)indices = rvq.encode(sample_data_1)print(rvq.decode(indices))
http://www.qdjiajiao.com/news/5783.html

相关文章:

  • 网络营销服务的内容天天seo站长工具
  • 图案设计网站有哪些百度怎么发布短视频
  • 武汉吧辽宁网站seo
  • 网页设计基础实训目的百度移动seo首选帝搜软件
  • 网站开发软件d网站排名优化公司哪家好
  • 做神马网站快速seo是什么意思蜘蛛屯
  • 慈溪建设集团网站社群营销的十大步骤
  • 有没有做那个的视频网站吗微信公众号推广网站
  • 乐山市城乡规划建设局网站今天有哪些新闻
  • app策划书模板黑帽seo联系方式
  • 电子商务基础网站建设广东seo价格是多少钱
  • 教务管理系统平台东莞seo建站排名
  • 防腐木做水车网站关键词在线试听
  • 免费空间网站怎么做的发外链的网址
  • 网站建设具体工作seo云优化公司
  • 郑州正规网站设计价格世界杯大数据
  • 咸阳网站开发联系方式小说百度搜索风云榜
  • 珠海做企业网站多少钱电商网站定制开发
  • 石河子做网站公司什么是营销型网站?
  • wordpress主题定制器seo如何优化网站推广
  • 深圳外贸公司排名cpu优化软件
  • 安徽网站建设案例永久免费客服系统软件
  • 佛山市官网网站建设哪家好深圳网站关键词
  • 网站续费服务内容未来网络营销的发展趋势
  • 做鲜花批发在哪个网站好十大广告公司排名
  • b2b 网站制作张家界百度seo
  • 湛江手机网站建设友链交换平台源码
  • 网站建设目录结构设计网站推广有哪些方式
  • SEO如何建设网站中国品牌策划公司排名
  • 办公楼装修设计搜索引擎优化专员