当前位置: 首页 > news >正文

浉河网站建设武汉seo结算

浉河网站建设,武汉seo结算,个人主页页面设计制作,wordpress 投稿 标签文章目录 序言1. 数据存成csv、txt还是pkl2. pandas怎么读取csv、txt文件或者pkl文件3. 数据格式:pkl文件补充介绍 序言 用什么格式存储场景挖掘得到的数据目前为止用到过的一些数据存储格式,如proto/xml/json/txt/csv等,还有pkl&#xff0c…

文章目录

      • 序言
      • 1. 数据存成csv、txt还是pkl
      • 2. pandas怎么读取csv、txt文件或者pkl文件
      • 3. 数据格式:pkl文件补充介绍

序言

  • 用什么格式存储场景挖掘得到的数据
  • 目前为止用到过的一些数据存储格式,如proto/xml/json/txt/csv等,还有pkl,哪种比较适合数据集存储呢

1. 数据存成csv、txt还是pkl

  • csv和txt都是文本文件,pkl是二进制文件

    • csv

      • 数据量小的话,推荐将数据存成csv,以逗号分隔的文本文件,可直接更改后缀为其他文件
      • csv可在其他语言如python/matlab/R/excel中自由切换,数据格式不受损
    • txt

      • txt的优势是体积小,便于存储,一般以空格为分隔符
    • pkl

      • 如果数据量大、内存吃紧,而且访问的时候要按照batch访问硬盘,读取效率最高的是pkl
      • pkl还能直接保存成tensor,节省了读取后转成tensor的时间,避免了数据二次处理
    • 当然还有其他的一些格式npy等

  • 读取效率排序:pkl > npy > csv

2. pandas怎么读取csv、txt文件或者pkl文件

  • pandas是数据处理必不可少的库

    • 读取csv:常用的两个函数:pandas.read_csv 和 pandas.to_csv

      data=pd.read_csv('./mydata.csv')		# 读取csv格式文件
      data.to_csv('./my_new_data.csv')		# 生成csv格式文件
      
    • 读取txt:pandas在读取txt时,read_csv和read_table均可使用

      data =  pd.read_table("./mydatat.txt")				# 调用read_table函数读取txt文件
      df =  pd.read_csv("./my_new_data.txt",sep=',')		# 调用read_csv函数读取txt文件
      
    • 读取pkl

      data.to_pickle(filePath)		# pandas, 文件保存
      data.read_pickle(filePath)		# pandas, 文件读取import picklewith open(filePath, 'wb') as f:pickle.dump(data, f)		# pickle模块,文件保存with open(filePath, 'rb') as f:data = pickle.load(fp)		# pickle模块,文件读取
      

3. 数据格式:pkl文件补充介绍

  • pkl是指使用pyhton的pickle模块生成的二进制文件,用于将对象序列化到磁盘上,可以存储为.pkl文件。即pkl能提供一种简单有效的方法来序列化或者反序列化python对象,使其易于存储传输和共享

  • pkl可以将python项目中过程变量如字符串、列表、字典等数据保存起来,pkl甚至能保存模型,下次接着训练

  • pkl转csv

    import pickle as pkl
    import pandas as pdwith open(r'data.pkl', "rb") as f:object = pkl.load(f,encoding='latin1')
    df = pd.DataFrame(object)df.to_csv(r'Data.csv')object =pkl.load(f,encoding='latin1')
    

    容易在encoding处报错,可以根据实际pkl的编码规则更改为encoding=‘utf-8’


【参考文章】
数据保存成csv/txt/pkl文件
pkl文件介绍
保存和读取pkl文件
pkl格式文件
读取生成csv/txt

created by shuaixio, 2023.10.03

http://www.zhongyajixie.com/news/16384.html

相关文章:

  • WordPress可以做政府网站吗网易搜索引擎入口
  • 怎么在网站上做签到广州优化防控措施
  • 建设娱乐网站的要求建站优化公司
  • 凤翔做网站抖音seo排名软件
  • 惠州网站建设多少钱最近新闻
  • 做爰全过程免费网站的视频广州seo工资
  • 网络营销案例分析题目百度搜索引擎优化方式
  • 企业网站的建设流程包含哪些环节?推广拉新app哪几个靠谱
  • 全市政府网站建设管理情况2023年8月疫情又开始了吗
  • 常用于做网站的软件软文街官方网站
  • wordpress无法进入文章重庆百度seo排名优化软件
  • 免费织梦导航网站模板下载长春网络营销公司
  • 百度免费做网站吗360识图
  • 做外贸的人如何上国外网站竞价推广怎么样
  • 重生北京上大学开网吧做网站的小说澳门seo关键词排名
  • 网站做3年3年包括什么软件吗免费行情软件网站大全
  • php和asp做网站哪个好百度权重是什么意思
  • 网站建设华科技优化关键词首页排行榜
  • 365建站网进行网络推广
  • 任县网站建设价格信息免费网络推广方式
  • 网站目标定位概念品牌营销的概念
  • 重庆网站线上推广南宁百度网站推广
  • 辽宁官方网站做辣白菜公司网站建设公司
  • 洮南做网站网络营销做得比较好的企业
  • 企业网站功能是什么重庆疫情最新数据
  • 淘宝网站建设杭州网站分析案例
  • 聊城网站推广软件搭建网站基本步骤
  • 苏州建设培训中心 官网徐州seo管理
  • 做网站的主要收入百度一下你就知道了
  • 网站规划与网页设计自己接单的平台