• 首页
  • 博客
  • 项目
  • 留言墙
  • AMA 咨询

动态更新

喜欢我的内容的话不妨订阅支持一下 🫶
加入其他 0 位订阅者,每月一封,随时可以取消订阅。

© 2025 Stiles Castle. 网站已开源:GitHub

首页博客项目留言墙AMA 咨询
总浏览量 1.3万最近访客来自 Ashburn, US🇺🇸
    SqlServer上亿数据迁移到redis
    2020/11/09软件工程

    SqlServer上亿数据迁移到redis

    记录下工作上最近遇到的一次sqlserver数据迁移到redis上面的一些经验

    28次点击5分钟阅读

    方案一:redis2.6之后使用redis-cli支持pipe模式进行批量插入数据生成file.txt 文件,内容 SET key value(空格隔开)每行一条数据linux环境下使用-cat命令

    windows 环境下使用-type命令

    方案二:使用sqlcmd(sql自带)管道导入到redis-cli这里稍微解释一下sqlcmd命令行参数:-S:服务器-U:用户名-P:密码-d:数据库名称-h:当为-1时,运行结果中不输出字段名称-i:要运行sql文件file.sql文件查询格式类似如下

    sqlcmd示例如下:

    方案三:自写工具实现迁移...

    总结:

    1.方案1和比方案二效率要高些,不过需要生成确定格式的file文件

    2.在实际操作中方案二在数据量较大的情况下,在跑到300多万数据的时候经常会发生异常中断的情况

    3.通过自写个程序批量处理批量插入数据是比较合适的方式而且后期可以复用,性能也有保障

    相关文章

    Upsource实践指南

    2022/05/10软件工程5822分钟阅读

    代码审查指南

    2022/05/09软件工程8211分钟阅读

    使用kubewatch监控k8s资源变更

    2021/06/04软件工程3915分钟阅读