AI智能调度系统

1. 项目概况

煤炭行业目前处于“需求增速放缓期、过剩产能和库存消化期、环境制约强化期、结构调整攻坚期”，

煤炭行业必须不失时机地变化革命，促进转型升级。以云计算、物联网、大数据为代表的新一代信息技术

与传统煤炭行业融合创新，从而促成煤矿迈入“智能化”阶段，将对集团公司整体提升科技实力、树立品

牌形象、提高经营质量等方面产生重大且深远的影响，并形成新的产业增长点，促使传统煤炭行业转型升

级。

xxx煤业在集团公司各级领导的重视、支持下，近年来逐步建设信息自动化系统，已经在信息化的

道路上前进了多年，取得了较大发展。已建成了包括矿用数字程控调度通信系统、应急语音广播系统、无

线通讯系统、井下人员定位系统、主运输集中控制、生产监控系统、矿井安全监测、水文动态监测系统、

注浆防灭火、注氮防灭火、阻化剂喷洒防灭火、矿山压力监测系统。但xxx煤业信息化系统都采用传统

模式进行构建且底层平台多采用 X86 架构，一套应用系统对应几台服务器，因此各系统之间数据不互通。

综上所述，xxx煤业调度电话系统智能化程度低，无法满足集团对矿井安全生产管理智能化的要求，

不利于进一步提高矿井的安全生产水平，需要进行智能化建设。

2. 总体要求

通过综合运用深度学习的各种算法及大语言模型技术，项目建立以井下人员为生物传感器的模型，训

练煤矿专业术语及人员方言数据，把电话语音转换成文字，识别说话人声纹，识别人员不安全情

绪，自动生成通话内容主题摘要，按照说话内容划分“采掘机运通”等专业门类 ，按照内容隐患等级进行

划分级别，输出数量庞大的电话信息分类、分级调度简报/台账，绘制基于语音的安全画像，通过邮件、

短信、弹窗等多种方式推算预警信息，便于事前预防、事后溯源。

本项目针对调度电话语音的智能分析与处理，把调度员的手工记录、人工汇报实现自动化、智能化，

打造时间纵向和专业横向的搜索能力及归类总结的智慧逻辑思维能力，通过对文本与煤矿安全生产隐患知

识库、事故库、法律法规及煤矿安全规程库的关联分析及类比分析，分析电话交流中所涉及生产安全事件

的演变趋势及规律，服务于煤矿生产安全中的健康监测、故障诊断及安全预警，供各级管技人员更好的分

析存在安全隐患的蛛丝马迹，力争通过系统建设做到生产安全问题的“早发现、早干预、早处置”，把问

题隐患消灭在萌芽状态。

系统建设需实现以下功能：

（1）滤除环境噪声、提高录音质量，将包括煤矿专有领域术语、说话人不同方言的通话内容转化为

文本。

（2）设计人员声纹算法库，实现对重点员工（各级干部、重点岗位员工等等）通话识别及查询。

（3）对通话内容进行自动摘要，提高管技人员理解、处理电话文本信息效率，有助于快速识别问题

并采取必要的行动。

（4）识别说话人情绪，提醒管技人员关注情绪异常的人员及事件，有利于提早发现问题隐患及苗头，

及时干预化解风险。

（5）识别语音中的内容所属专业类别，例如采煤、掘进、机电、运输、通防，对内容中涉及的安全

风险划分级别，通过关联分析自动给出处理建议，通过多种方式推送安全预警送(调度大屏弹窗、邮件、

短信等)，实时统计覆盖各生产环节、专业、部门的动态安全生产统计排名，揭示安全生产热点、重点问

题，透视安全生产发展趋势及规律。

（6）查询并导出音频处理结果的报表，生成调度台账日报。

通过系统建设打造覆盖时间纵向和各专业横向的搜索能力及归类总结的智慧逻辑思维能力，以 24 小

时在线、听得懂人话的煤矿安全专家的角色，分析并处理来自井下各专业领域的信息，服务于煤矿生产安

全中的健康监测、故障诊断及安全预警。

3. 设备运行环境条件

Ø 通过网络连接现有通讯交换系统；

Ø 运行环境温度： -25℃- +40；

Ø 周围空气相对湿度不大于 95%（+25%）。

4. 执行标准和规定

系统应满足以下标准及国家现行相关标准。

l 1、《煤矿安全规程》2022 版；

l 2、山西省《煤矿智能化建设评定管理办法》 （山西省能源局） 晋能源煤〔2023〕2 号；

l 3、《煤矿信息化建设要求》（DB14/T1728-2018）；

l 4、《煤矿通信、检测、控制用电工产品通用技术条件》（MT209）。

对于本技术规格书中未提及的内容须满足或优于国家标准、行业标准以及政策性文件，如有矛盾冲突

时，按最新标准执行。

5. 设备需求一览表

 6. 方案拓扑图

       如上图，机房部署AI智能语音分析服务器、融合调度服务器、4G/5G核心网，ims,触摸屏调度台，网关等，井下部署4G/5G基站，广播，电话，其中基站通过万兆环网连到地面交换机。

其中有线部分：地面通过语音网关连接，行政电话直接通过双绞线与网关互通。井下本安电话通过下井耦合器，远距离用户网关，与机房交换机连接。

  无线部分：4G/5G基站通过光纤与井下万兆环网连接，通过光纤环网连接到地面核心交换机。

广播部分：进行广播分站、视频广播终端通过井下环网交换机连接到地面交换机。

连接成功后，无线手机、有线电话、广播终端，可以通过融合调度服务器统一管理与调度。通过AI分析服务器，可以将注册到融合调度服务器的所有语音终端进行AI智能管理。最终可以实现任意终端的语音进行及时AI处理，可以通过语音发起任意呼叫，而不需要通过调度台人工操作就可以实现授权用户的语音调度功能。可以对电话、广播、手机之间的关键词进行溯源追踪，可以在发作问题的第一时间，可以通过AI分析，直接推送到指定的终端或者上级行政主管单位。而不是在发作问题后，再查录音，录像进行事后追责。可以第一时间将问题定位，处理。最大限度的保证生产安全。

6.1. 技术参数

6.1.1. 调度电话语音 GPU 服务器

（1）处理器采用 RTX 3090 24G 显卡，以确保系统的处理能力、运行速度和稳定性；

（2）主机配备 DDR5 内存插槽，支持高达 64GB 的内存容量，以满足大数据处理和高速运行的需求；

（3）存储设备、工控机支持多种存储解决方案，包括 SATA、M.2 NVMe/SATA SSD 固态硬盘，提供高

容量存储的同时，保证数据读写速度；

（4）I/O 接口、主机配备丰富的 I/O 接口，包括 USB 2.0、USB 3.0、PS/2、DVI、VGA、HDMI 等多种

接口，支持三显示输出，满足多种外设连接需求；

网络接口、工控机通常配备千兆以太网口，支持 10/100/1000Mbps 网络连接，确保数据传输的高效性

和稳定性。

6.1.2. 配套专业计算机

（1）CPU ：intel i7；

（2）主机配备 DDR4 内存插槽，支持 32GB 的内存容量，以满足大数据处理和高速运行的需求；

（3）存储设备、工控机支持多种存储解决方案，包括 512GB SSD 固态硬盘，提供高容量存储的同时，

保证数据读写速度；

（4）I/O 接口、主机配备丰富的 I/O 接口，包括 USB 2.0、USB 3.0、PS/2、DVI、VGA、HDMI 等多种

接口，支持三显示输出，满足多种外设连接需求。

6.1.3. 4MIC 智能全向 USB 麦克风（选配）

（1）360°拾音，拾音距离 5 米半径，适用面积 20-30m；

（2）蓝牙/有线适配器，兼容强免驱动；

（3）10 小时续航，智能动态降噪，全双工。

6.1.4. 数据同步软件

与现有已建系统数据同步时间<1 分钟。

6.1.5. 调度语音智能分析管理系统

（1）．语音分析所有模型的识别时间应不大于 10 秒钟；

（2）．语音分析所有模型的识别并发应不小于 6 次每分钟；

（3）．Web 管理系统单次访问的响应时间不超过 5 秒钟。

6.1.6. 语音分析智能模型

（1）．语音识别模型的字错误率应不大于 5%；

（2）．安全生产异常信息监测准确率>95%。

6.2. 主要技术要求

(1) 采集调度员和井下工作人员的交流语音，智能识别语音将其转换为文本；

(2) 自动生成电话内容摘要;

(3) 自动生成调度台账;

(4) 智能识别人员异常情绪,能够根据情绪类别进行人员管理；

(5) 绘制实时的安全生产画像;

(6) 隐患问题并通过邮件、短信、弹窗等方式预警;

(7) 设计实现系统与通讯电话语音数据的接口；

(8) 安全保护要求：防窃密，防篡改，防入侵。

7. 建设标准

7.1. 统一技术架构

软件架构研实行严格的项目管理和质量管理。

在系统整体设计时，充分考虑后备以及灾难恢复系统，使系统在部分故障时仍然能够提供对用户的服

务，并且能够很快地排除故障恢复正常运行。

在性能负载方面，借助于大数据平台在读写分离、负载均衡、容灾保护等方面的优势，提高了数据的

安全性、可靠性，极大地降低了运维成本，节省运维费用，为项目整体的稳定性奠定了坚实基础。

平台可靠性：所使用的软硬件产品成熟度高，使用定制化的、稳定的、正版操作系统、数据库系统，

确保软件运行环境安全可靠。

成熟度：产品经过完整的测试流程、进行过三个月以上的试运行，经过客户现场环境的三倍以上的压

力测试。产品缺陷千行 bug 率低于 2.39‰。

容错能力：产品能够自动过滤非法输入，能够对异常操作进行适当反馈。

可恢复性：能够回撤影响严重的操作，产品发生严重错误时可以恢复状态。

持续性：产品能够 7×24 小时不间断运行，产品支持云平台的高可用特性，日常操作不能中断业务。

关键业务数据和软件数据定点备份等方式保证数据安全，异地备份在集团公司统一备份实现。

统一数据标准

通过统一数据平台，实时采集感知类数据、设备监测类数据与实时获取业务应用系统数据、外部系统

数据的功能，为数据服务层提供数据。

数据标准，须按照《智能矿井建设数据标准规范》执行。

统一界面展示

系统界面和应用界面的元素符合用户日常认知，降低上手难度，界面设计遵循一致性原则、容错性原

则、减少工作量的原则、防止误动原则、提供反馈原则。对于界面设计中个性化的设计以提高易用性、简

单学习即可上手为原则。

系统页面 UI 有统一的展现风格：系统界面清楚，人机对话方便。应用界面的简洁、美观，使用户在

使用时一目了然。界面元素设计层次清晰明了，各功能区划分明确。

8. 建设内容

本项目针对调度电话语音的智能分析与处理，把调度员的手工记录、人工汇报实现自动化、智能化，

打造时间纵向和专业横向的搜索能力及归类总结的智慧逻辑思维能力，服务于煤矿生产安全中的健康监测、

故障诊断及安全预警。

通过综合运用深度学习的各种算法及大语言模型技术，建立以井下人员为生物传感器的模型，把电话

语音转换成文字，分析电话交流中所涉及生产安全事件的演变趋势及规律，并提供给调度员科技助力，更

好的分析存在安全隐患的蛛丝马迹，力争通过系统建设做到生产安全问题的“早发现、早干预、早处置”，

把问题隐患消灭在萌芽状态。

系统建设需实现以下功能：

本设计方案部署一套 GPU 强大的人工智能算力系统，通过设计专门的软件接口获取调度电话系统语音，

设计并部署自动语音识别模型、文本纠错模型、对话情绪识别模型、命名实体识别模型及说话人识别模型

等算法，并通过机器学习库 Tensorflow 完成训练，将通过训练达到预期语音分析处理功能的算法实现 API

化，设计实现调度语音智能分析管理系统 1 套，语音分析智能模型 1 套，数据同步软件 1 套。

8.1. Transformer 框架

循环神经网络和卷积神经网络意味着巨大的算力开支，在产业实际环境应用成本、代价过高。系统研

制选择了 Transformer 架构作为技术底座。Transformer 架构只使用自注意力机制，将所有的循环层全部

换成多头注意力，且可以实现并行计算，加快模型训练速度。

8.2. 语音识别业务流程

系统首先收集语音数据，进行梅尔滤波器组能量（FBANK）特征提取，生成特征矢量;然后利用这些特

征训练声学模型，并行地收集文本数据以训练语言模型，构建字典;训练好的声学模型和语言模型与字典

共同输入语音解码和搜索算法，最终将语音输入转换为文本输出。

整个过程依赖于特征提取、声学模型训练、语言模型训练和解码搜索等关键步骤，以实现高效准确的

语音识别。

8.3. 说话人声纹识别算法

声纹识别目的在于辨别说话者/发声者的身份，确认其在环境中的角色和作用；系统设计了 ECAPA-TDNN

算法，通过引入了 SE (squeeze-excitation)模块以及通道注意机制实现了说话人识别，基于 TimeDelay

Neural Network(TDNN)，应用统计池化将可变长度的话语投影到固定长度的说话人特征嵌入。

算法首先将初始帧层重构为具有有效跳接的一维 Res2Net 模块，引入挤压和激励块，以明确建信道的

相互依赖性。SE 块通过根据记录的全局属性重新缩放通道来扩展帧层的时间上下文

其次，神经网络可以学习层次特征，每一层的复杂程度不同。为了利用这些补充信息，聚合和传播不

同层次的特征。

最后，利用信道相关的帧注意对统计池化模块进行了改进。这使得网络能够在每个信道的统计估计期

间关注帧的不同子集。

8.4. 情绪识别算法

算法包括数据收集和标注、数据预处理、构建 CNN 模型、数据集划分和训练、模型评佶和调整等环节。

收集包含情绪标签的大量语音数据集。确保数据集中有多样性的情绪表达，如喜悦、愤怒、悲伤、惊

讶等。同时，为每条语音标注相应的情绪标签。

数据预处理:对收集到的语音数据进行预处理，检测和对齐。

构建 CNN 模型:使用卷积神经网络 ResNet 来构建情绪检测模型。

数据集划分和训练:将数据集划分为训练集、验证集和测试集。

模型评佶和调整:使用测试集对训练好的 CNN 模型进行评估。计算准确率、召回率、F1 分数等性能指

标，评估模型的效果。如果模型性能不理想，可以尝试调整超参数、增加数据量或进行模型结构优化。

8.5. 通话摘要自动生成

通话内容摘要自动生产算法将通话作为输入，通过抽取模型输出抽取摘要，然后把抽取摘要作为生成

模型的输入，来输出最终摘要。

算法使用的是以句为单位的序列标注模型作为抽取模型，句向量部分用“BERT+平均池化”来生成，

并固定不变，标注模型主体方面则用 DGCNN 模型构建。

8.6. 基于语音分析的安全画像算法流程

基于语音分析所包含的地点、部门、设备、场景，进行事件的地点统计、部门统计、设备统计、场景

统计等统计，从中揭示安全生产趋势、热度。

8.7. 语音数据画像

登录系统后进入大屏展示页面，该页面实时的对语音内容进行统计，统计出覆盖各生产环节、专业、

部门的动态安全生产统计排名、当前语音通话中的热点词汇排名，展示含有隐患内容的语音信息，揭示安

全生产热点、重点问题，透视安全生产发展趋势及规律。

统计子模块分为：统计数据、热点词排名、语音隐患趋势、隐患排名、分部门隐患统计与今日隐患数

据动态展示。

8.8. 语音分析

登录系统后，点击左侧导航栏中的"语音分析结果"项，即可进入语音分析结果列表页面，进入页面后

会自动获取关注的领域类别作为查询条件（领域类别可在用户管理中进行设置）。

对一些比较重要的语音记录进行收藏操作，可以防止该条语音被自动清理并且可以通过条件查询快速

找到重点语音。重点语音可以通过高级查询中的重点语音数据查询选择来搜索，可以方便地按照日期、关

键词、分类类别、情绪类别、工作地点等条件来查询识别记录。这些记录包含了调度室每条对话音频中涉

及的地点和关键词、关键词类别、情绪、文本的分类，还有音频的说话人日志（音频对话报告）以及产生

日期等详细信息。可以轻松地检索并了解有关语音分析结果的各项数据；点击上方高级查询，可根据 ID、

集团单位部门（如超级管理员可查看集团，非超级管理员只可查询单位部门）、关键词类别、热点词汇、

重点数据、重点说话人进行搜索。

8.9. 推送语音识别结果

选中识别记录后点击推送按钮，选择接收人以及推送方式即可将对应的识别记录按照选定的推送方式

推送到对应用户。

8.10. 生成报表

选择需生成报表的识别记录后，点击上方的报表生成按钮并选择报表类型后，点击生成，系统会自动

生成报表并跳转到预览页面。

生成调度日报表需选择日期，生成报表数据，报表类型，报表数据可以选择是否仅生成风险数据的报

表从而跳过正常类别的数据。