采用人工智能技术增强存储管理的效率和准确性 (采用人工智能技术的有)

文章编号：37216 / 分类：行业资讯 / 更新时间：2024-12-13 09:17:51 / 浏览：次

随着数据量的激增和存储技术的不断发展，存储管理变得越来越具有挑战性。人工智能（AI）技术为提高存储管理的效率和准确性提供了新的可能性。

人工智能在存储管理中的应用

人工智能技术在存储管理中可以发挥以下作用：

数据分类和标记：AI算法可以自动识别和分类不同类型的数据，并为它们分配适当的标记。这有助于优化存储容量利用率，并简化数据搜索和检索。

容量规划和预测：AI模型可以分析历史数据和使用模式，预测

高容错！银行如何搞定PB级非结构化数据的存储与快速搜索

张鹏，某城商银行系统管理组存储/备份/应用负载管理员，具有丰富的项目实施与运维管理经验，参与行内新一代核心系统建设、同城与异地容灾系统建设与切换、非结构化数据服务平台迁移改造等项目，对异构存储设备监控、存储虚拟化及同城双活、分布式存储有深入的研究和应用，结合业务数据访问的多重需求进行存储资源适配。本文针对银行内非结构化数据增长迅速、存储困难、搜索缓慢、识别采集空缺等问题，提出了非结构化数据服务平台的设计和部署方案，并对平台中的非结构化数据生命周期管理策略与平台容灾容错架构设计思路的进行了分析与总结，最后，做出了商业银行非结构化数据服务平台的业务对接计划，提出了未来业务的发展方向。银行作为非结构化数据密集的企业，基本上涵盖所有类型的非结构化数据，如视频数据、音频数据、图片数据，既包括系统自己产生的近些年越来越多的行内业务系统，也包括与客户交换产生的，还有购买获取的，这些数据按照格式分为电子文档、图像、音频、视频、XML/HTML等类型。非结构化数据格式、标准多样，而且这些数据每年以几何级数在增长，在技术上比结构化数据更难存储和分析。行内信贷类业务、信用卡业务、手机/网上银行等渠道类业务、财务共享业务、柜面无纸化以及电子档案等多个业务系统，仅影像文件每日产生新写入文件接近10万张，调阅影像文件近30万次，每年数据增量近10T，随着线上业务的开展，与业务场景相关的影像文件数量与容量仍会持续增长。此外，银行内部邮件信息、聊天记录客服热线音频文件、市场调研结果、视频课件、客户关系管理系统中的评价及程序中的文本字段等非结构化数据都面临着和影像文件类似的存储与管理压力与挑战。随着非结构化数据的剧增，传统型数据库无法满足存储大数据基本的非结构数据，导致架构急需做出调整，尽可能的满足业务需求，实现PB级别数据的存储以及快速搜索。在此基础之上提出非结构化集中处理平台产品方案，主要针对行内业务系统产生的图片、文档、提供一套高可靠、高效性、高扩展性、高容错性的企业级非结构化数据服务解决方案。为了大规模、高效率地存调、分析非结构化数据，平台针对标准接口的字段进行了定义，提供一个较为规整、有章可循的非结构化数据集，提取其基本元素，形成数据字段。数据字段是通过对非结构化数据进行主题提炼形成主题字段，通过汇总非结构化数据通用属性形成通用字段，通过标识非结构化数据的格式形成技术字段，并基于以上三个维度的标签满足更大规模的数据分析和系统性存储。主题字段包括渠道来源、机构号、流水号、系统号和数据来源等，通用字段通过汇总非结构化数据的通用属性形成，这些属性不涉及非结构化数据的主题，包括扫描时间、扫描人、影像名称、文件类型等；技术字段反映的是形成非结构化数据所运用的原始处理技术，从而获得非结构化数据的底层特性，包括影像ID、数据大小、分辨率等。上述数据字段形成后，非结构化数据的基本属性与业务属性都可以较全面的描述和快速检索，也为不同类型非结构化数据的统一存储提供了可能。非结构化数据服务平台在设计上采用低耦合思路，分为表象层，业务逻辑层，数据访问层的三层架构，它会将业务产生的图像数据扫描归档到影像平台，并实现影像的查询、条码打印、按顺序批量打包下载影像文件的归档、修改归档、拷贝归档、分类查询、阶段标示绑定关系、影像操作日志等功能。表现层（UI）展现给用户操作的界面，包含多个调用渠道。本平台以渠道为单位，针对各个渠道进行管理，提供一个安全可靠的环境，保证数据实时性的同时保证服务的稳定性。这些渠道主要通过http/https协议和数据上传平台进行通信，保证传输过程中数据的安全性。这些渠道在本系统中只是以影像数据传输接入，没有业务逻辑，各个渠道具体限制由管理平台配置化实现。业务逻辑层由非结构化数据集中处理平台（UCP）服务及三方数据上传平台应用服务组成，三方数据上传平台主要负责处理非结构化数据业务逻辑，UCP主要实现非结构化数据的存储，该平台支持大部分行内业务系统的非结构化数据处理服务，少量有高定制化需求的业务，UCP提供非标准接口，有针对性的为信贷类业务系统定制化开发，实现其全流程信贷系统非结构化数据的存储以及下载，而针对无定制化其他渠道，均通过标准接口进行满足。三方数据上传平台APP主要实现互联网系统非结构化数据的校验、控制、缓存以及压力均衡。数据层主要由非结构化存储ElasticSearch（ES）分布式搜索服务，配合轻量级的传统DB与后端高、中、低性能网络存储共同构成。 ES主要负责保存UCP写入的元数据，并可高效完成大量非结构化数据的搜索和分析；传统DB主要负责配置信息以及部分日志信息的存储；采用开源软件定义存储，主要负责非结构化数据的归档，高速网络存储部分可作为上传平台影像文件缓存，提高ES索引存调速度，最后通过归档流转规则进行非结构化数据的动态迁移与归档保存。非结构化数据服务平台的基本组成包括接口服务、索引服务、存储服务、非结构化数据的生命周期管理与数据分层迁移、业务连续性的容错、容灾架构考量、业务访问量监控与效果、以及未来规划与展望。在接口服务方面，标准接口基于REST方式实现，调用方以REST API调用方式调用即可；物理结构上由2台非标准影像应用服务器通过应用负载对接信贷系统渠道，3台标准影像应用服务器通过负载均衡对接行内其他业务系统渠道；互联网业务数据通过三方上传平台处理之后，会对接影像应用服务器。索引服务方面，ES索引服务主要负责索引（存入）与检索（调阅）两部分，其中索引部分包含分词器、过滤器、字符映射器等，检索部分包含查询解析器等。其索引是先在内存里生成，然后定期以段文件的形式将元数据刷到磁盘的。每段写到磁盘上之后是不能被修改的，一个段文件就作为了一个实际上的索引，字段就是最小的检索域。存储服务方面，存储服务作为非结构化数据文件的载体，需要充分利用存储，降低存储成本，保证数据安全和服务质量。作为基础服务平台，为高效率利用存储，将其分为在线、近线（GFS分布式存储管理）、离线存储配合影像数据文件的归档控制。在业务连续性的容错、容灾架构考量方面，容灾容错架构都是基于业务的可靠性和服务可用性，以及应对各种故障并能快速响应的可操控性去考虑和设计的，容灾IDC要保证业务服务的连续性以及数据的可用性，因此在平台前后端均有所考虑。非结构化数据存储的同城容灾实现方式是：在线区高性能SSD NAS依靠SnapMirror技术，提供数据高可用性和快速数据复制服务，通过专用数据传输LAN网络，实现同城容灾中心NAS设备的高速数据复制，并不断更新数据，保持最新且能随时满足使用需求。关于非结构化数据服务平台的未来规划与展望，会从内部结构优化、数据中心运维服务支持、行内业务系统新增功能需求以及未来银行有机会承接的非金融资产交易几方面来进行规划和展望。在下一阶段，非结构化数据服务平台不断优化自身功能与架构，或通过光盘介质库对物理磁带库的存放年限和成本的进一步降低提供补充和完善，同时实现海量非结构化的验证与快速恢复，将备份数据的敏捷验证功能作为快速容灾容错的一种补充手段。数据中心内部千台以上生产服务器、操作系统、数据库、中间件、网络设备以及专用设备产生的海量日志，可交由非结构化数据服务平台进行采集、萃取、清理与整合，并将非结构化与半结构化的数据提炼并应用在运维管理中。使用ES技术实现高效的搜索与存储，用于系统问题的快速定位、搜索、分析、干预、解决和预测，为后续数据中心智能化运维进行有力辅助。随着行内业务数量与种类的不断增加与更新迭代，非结构化数据服务平台面临的压力和挑战不断攀升。呼叫中心与智能客服系统会产生大量语音录入与智能存储与分析需求，银行销售理财产品、基金、保险等产品时，全程同步录音录像产生的双录数据也有保存至对付后半年以上的需求，以及配合智能视频分析、语音识别和自然语言处理技术，达到快速判断合规性和稽核、风控智能化分析的需求。会计凭证、会计账簿、财务会计报告以及其他会计档案都有30年以上或永久保存的业务和监管需求。在后疫情时代，金融行业也在不断进行发展方向的思考。疫情冲击加速了线上“无接触”服务全面推进的进程。与区块链技术不可篡改特性相结合，个人和企业在参与金融服务过程中，在存储数据时存在信任的问题，就可以通过区块链建立起信任，电子证据存证、电子签约等业务逐渐在兴起并日益成熟。以电子签约为例，可将公证处、司法鉴定中心、仲裁委等权威机构纳入区块链节点生态，确保客户电子合同证据链的数据真实、私密、无法篡改，可支持单日上亿笔签单的存储量，并已广泛应用于金融、供应链、租房租赁、人力资源等场景，实现电子合同全证据链溯源；与人工智能技术相结合，可对客户提供线上合同智能归档、智能检索、智能监测与提醒等服务，提供高效便捷的合同全生命周期服务。针对上述线上签约的场景，银行系统可提供等级保护四级的IDC机房，提供私有云架构环境支持业务部署，提供高稳定性的系统环境和同城双活、异地保护等多种容灾机制，提供高并发业务量的性能保障，提供个人与企业资料审核、实名认证和CA证书颁发服务，在不接触合同内容同时进行线上合同签章，同时对敏感字段加密，保证客户数据安全性和隐私性。未来银行要快速适应互联网+的环境，消除摩擦，实现功能，原有的传统银行产品线上化已经不能满足未来的客户体验和嵌入式银行的功能，未来物联网状态下，银行业务将以客户为中心，基于数据预测算法，嵌入日常穿戴设备、智能汽车与智能楼宇的管家服务之中，逐渐步入银行4.0时代。关注公众号【dbaplus社群】，获取更多原创技术文章和精选工具下载

仓库文员有什么创新之处？

仓库文员的工作通常是处理和跟踪库存，订单和发货等任务。以下是一些创新的方法和策略，可以帮助仓库文员提高效率，准确性和便利性：1. **采用技术工具**：利用先进的技术工具可以提高仓库文员的工作效率。例如，使用无线条码扫描器可以快速准确地跟踪库存和订单信息。此外，仓库管理系统（WMS）和运输管理系统（TMS）等软件可以帮助文员跟踪库存、管理订单和优化运输过程。 2. **实施自动化**：通过自动化提高效率是创新的另一种方式。例如，使用自动化库存跟踪系统可以减少人为错误并提高准确性。此外，自动化订单处理和发货系统可以大大提高工作效率。 3. **采用人工智能和机器学习**：这些技术可以帮助仓库文员更好地预测需求、优化存储空间、提高订单处理速度等。例如，人工智能可以通过分析历史销售数据来预测未来的库存需求，从而帮助文员提前做好计划。 4. **实施精益管理原则**：仓库文员可以利用精益管理原则来改进工作流程。例如，通过消除浪费和提高效率，可以降低成本并提高客户满意度。此外，通过改进仓库布局和优化库存管理策略，可以提高空间利用率和库存周转率。 5. **采用可视化管理**：通过使用可视化管理工具，如看板系统、数字化平台等，可以让仓库文员实时了解库存状况、订单进度等信息。这有助于提高工作效率和准确性，并让文员更好地掌握工作进度。 6. **集成供应链管理系统**：通过集成供应链管理系统，如ERP（企业资源规划）或SCM（供应链管理）系统，仓库文员可以更好地协调库存、订单和运输等各个环节。这有助于提高整体运营效率和客户满意度。 7. **引入持续改进文化**：在仓库中引入持续改进文化，鼓励员工提出创新想法和改进方案，可以不断提高工作效率和质量。同时，通过定期评估和改进工作流程，可以不断优化仓库管理策略，降低成本并提高竞争力。 8. **强化团队合作**：团队合作是提高仓库文员工作效率和准确性的关键。通过建立良好的沟通机制、定期开展团队建设和培训活动等方式，可以增强团队凝聚力和合作精神，共同应对各种挑战。 9. **关注绿色物流和环保**：在仓库管理中关注绿色物流和环保是创新的一个方面。通过优化运输策略、减少包装材料和提高能源利用效率等措施，可以降低环境影响，同时提高企业社会责任感。 10. **利用数据分析**：仓库文员可以利用数据分析工具对仓库运营数据进行深入挖掘。通过分析历史销售数据、库存周转率、订单处理成本等信息，可以发现潜在问题和改进点，为制定更加科学合理的仓库管理策略提供支持。综上所述，仓库文员可以通过采用技术工具、自动化、人工智能和机器学习、精益管理原则、可视化管理、集成供应链管理系统、引入持续改进文化、强化团队合作、关注绿色物流和环保以及利用数据分析等多种创新方法和策略，提高工作效率、准确性和便利性，为企业创造更大的价值。同时，这些创新技术和方法也可以帮助仓库文员更好地适应不断变化的市场需求，提升企业在竞争激烈的市场环境中的竞争力。