SQL Server批量导入导出工具BCP的学习

1 min read

BCP是SQL Server中负责导入导出数据的一个命令行工具,它是基于DB-Library的,并且能以并行的方式高效地导入导出大批量的数据。bcp可以将数据库的表或视图直接导出,也能通过SELECT FROM语句对表或视图进行过滤后导出;在导入导出数据时,可以使用默认值或是使用一个格式文件将文件中的数据导入到数据库或将数据库中的数据导出到文件中。bcp共有四个动作可以选择:

  • 导入。这个动作使用in命令完成,后面跟需要导入的文件名。
  • 导出。这个动作使用out命令完成,后面跟需要导出的文件名。
  • 使用SQL语句导出。这个动作使用queryout命令完成,它跟out类似,只是数据源不是表或视图名,而是SQL语句。
  • 导出格式文件。这个动作使用format命令完成,后而跟格式文件名。

bcp用法介绍:

bcp

参数说明

  • database_name:指定的表或视图所在数据库的名称。如果未指定,则为用户默认数据库。
  • owner:表 或视图所有者的名称。如果执行大容量复制操作的用户拥有指定的表或视图,则 owner 是可选的。如果没有指定 owner 并且执行大容量复制操作的用户不拥有指定的表或视图,则 Microsoft? SQL Server? 2000 将返回错误信息并取消大容量复制操作。
  • table_name:是将数据复制到 SQL Server 时 (in) 的目的表名,以及从 SQL Server 复制数据时 (out) 的源表名。
  • view_name:是将数据复制到 SQL Server 时 (in) 的目的视图名,以及从 SQL Server 复制数据时 (out) 的源视图名。只有其中所有列都引用同一个表的视图才能用作目的视图。有关将数据复制到视图的限制的更多信息,请参见 INSERT。
  • Query:是返回一个结果集的 Transact-SQL 查询。如果查询返回多个结果集,例如指定 COMPUTE 子句的 SELECT 语句,只有第一个结果集将复制到数据文件,随后的结果集被忽略。使用双引号引起查询语句,使用单引号引起查询语句中嵌入的任何内容。在从查询中大容量复制 数据时,还必须指定 queryout。
  • in | out | queryout | format:指定大容量复制的方 向。in 是从文件复制到数据库表或视图,out 是指从数据库表或视图复制到文件。只有从查询中大容量复制数据时,才必须指定 queryout。根据指定的选项(-n、-c、-w、-6 或 -N)以及表或视图分隔符,format 将创建一个格式文件。如果使用 format,则还必须指定 -f 选项。说明 Microsoft SQL Server 6.5 中的 bcp 实用工具不支持大容量复制到包含 sql_variant 或 bigint 数据类型的表。
  • data_file:大容量复制表或视图到磁盘(或者从磁盘复制)时所用数据文件的完整路径。当将数据大容量复制到 SQL Server 时,此数据文件包含将复制到指定表或视图的数据。当从 SQL Server 大容量复制数据时,该数据文件包含从表或视图复制的数据。路径可以有 1 到 255 个字符。
  • -m max_errors:指定在大容量复制操作取消之前可能产生的错误的最大数目。bcp 无法复制的每一行都将被忽略并计为一个错误。如果没有包括该选项,则默认为 10。
    -f format_file:指定格式文件的完整路径,该格式文件包含以前在同一个表或视图上使用 bcp 时的存储响应。当使用由 format 选项所创建的格式文件大容量复制入或复制出数据时,使用此选项。格式文件的创建是可选的。在提示几个格式问题之后,bcp 将提示是否在格式文件中保存回答。默认文件名为fmt。大容量复制数据时,bcp 可引用一个格式文件,因此不必重新交互输入以前的回答。如果未使用此选项,也没有指定 –n、-c、-w、-6 或 -N,则 bcp 将提示输入格式信息。
  • -e err_file:指定错误文件的完整路径,此错误文件用于存储 bcp 无法从文件传输到数据库的所有行。来自 bcp 的错误信息将发送到用户工作站。如果未使用此选项,则不创建错误文件。
  • -F first_row:指定要大容量复制的第一行的序数。默认值是 1,表示在指定数据文件的第一行。
  • -L last_row:指定要大容量复制的最后一行的序数。默认值是 0,表示指定数据文件中的最后一行。
  • -b batch_size:指定所复制的每批数据中的行数。每个批处理作为一个事务复制至服务器。SQL Server 提交或回滚(在失败时)每个批处理的事务。默认情况下,指定的数据文件中的所有数据都作为一批复制。请不要与 -h “ROWS_PER_BATCH = bb” 选项一起使用。
  • -n:使用数据的本机(数据库)数据类型执行大容量复制操作。此选项不提示输入每一字段,它将使用本机值。
  • -c:使用字符数据类型执行大容量复制操作。此选项不提示输入每一字段;它使用 char 作为存储类型,不带前缀, (制表符)作为字段分隔符,(换行符)作为行终止符。
  • -w:使用 Unicode 字符执行大容量复制操作。此选项不提示输入每一字段;它使用 nchar 作为存储类型,不带前缀, (制表符)作为字段分隔符,(换行符)作为行终止符。不能在 SQL Server 6.5 版或更早版本中使用。
  • -N:对非字符数据使用数据的本机(数据库)数据类型和对字符数据使用 Unicode 字符类型执行大容量复制操作。这是可替代 -w 选项的性能更高的选项,其目的是使用数据文件将数据从一个 SQL Server 传输到另一个 SQL Server 中。它不提示输入每一字段。在需要传输包含 ANSI 扩展字符的数据以及想利用本机模式的性能时,可以使用这一选项。不能在 SQL Server 6.5 版或更早版本中使用 -N 选项。
  • -V (60 | 65 | 70):使用 SQL Server 早期版本中的数据类型执行大容量复制操作。此选项与字符 (-c) 或本机 (-n) 格式一起使用。此选项并不提示输入每一字段,它使用默认值。例如,若要将 SQL Server 6.5 中的 bcp 实用工具所支持(但 ODBC 不再支持)的日期格式大容量复制到 SQL Server 2000,可使用 -V 65 参数。
  • 将数据从 SQL Server 大容量复制到数据文件时,即使指定了 –V,bcp 实用工具也不会为任何 datetime 或 smalldatetime 数据生成 SQL Server 6.0 或 SQL Server 6.5 的日期格式。日期将始终以 ODBC 格式写入。另外,由于 SQL Server 6.5 版或更早版本不支持可为空的 bit 数据,因此 bit 列中的空值写为值 0。
    -6:使用 SQL Server 6.0 或 SQL Server 6.5 数据类型执行大容量复制操作。仅为保持向后兼容性。改为使用 –V 选项。
  • -q:在 bcp 实用工具和 SQL Server 实例的连接中执行 SET QUOTED_IDENTIFIERS ON 语句。使用该选项指定包含空格或引号的数据库、所有者、表或视图的名称。将由三部分组成的整个表名或视图名引在双引号 (” “) 中。
  • -C code_page:仅为保持向后兼容性。作为代替,请在格式文件或交互式 bcp 中为每一列指定一个排序规则名。指定数据文件中的数据代码页。只有当数据中包含字符值大于 127 或小于 32 的 char、varchar 或 text 列时,code_page 才有用。代码页值描述 ACP ANSI/Microsoft Windows? (ISO 1252)。OEM 客户程序使用的默认代码页。如果未指定 -C,则这是 bcp 使用的默认代码页。RAW 不发生从一个代码页到另一个代码页的转换。因为不发生转换,所以这是最快的选项。<值> 特定的代码页号码,例如 850。
  • -t field_term:指定字段终止符。默认的字段终止符是 (制表符)。使用此参数替代默认字段终止符。
  • -r row_term:指定行终止符。默认的行终止符是 (换行符)。使用此参数替代默认行终止符。
  • -i input_file:指定响应文件的名称,使用交互模式(未指定 –n、-c、-w、-6 或 -N)执行大容量复制时,响应文件包含对每一字段命令提示问题的响应。
  • -o output_file:指定接收 bcp 输出(从命令提示重定向)的文件的名称。
  • -a packet_size:指定发送到和发送自服务器的每个网络数据包的字节数。可以使用 SQL Server 企业管理器(或 sp_configure 系统存储过程)设置服务器配置选项。但是,使用此选项可以单个地替代服务器配置选项。packet_size 可以设置为 4096 到 65535 字节,默认值为 4096。数据包大小的增加能够提高大容量复制操作的性能。如果要求一个较大的数据包而得不到,则使用默认设置。bcp 生成的性能统计显示出所使用数据包的大小。
  • -S server_name[instance_name]:指定要连接到的 SQL Server 实例。指定 server_name 以连接该服务器上的 SQL Server 默认实例。指定 server_nameinstance_name 以连接到该服务器上的 SQL Server 2000 命名实例。如果未指定服务器,则 bcp 连接到本地计算机上的 SQL Server 默认实例。从网络上的远程计算机执行 bcp 时,要求此选项。
  • -U login_id:指定用于连接到 SQL Server 的登录 ID。
  • -P password:指定登录 ID 的密码。如果未使用此选项,则 bcp 将提示输入密码。如果不带密码将此选项用于命令提示行末尾,则 bcp 将使用默认密码 (NULL)。
  • -T:指定 bcp 使用网络用户的安全凭据,通过信任连接连接到 SQL Server。不需要 login_id 和 password。
  • -v:报告 bcp 实用工具的版本号和版权。
  • -R:指定使用为客户端计算机的区域设置定义的区域格式,将货币、日期和时间数据大容量复制到 SQL Server 中。默认情况下,将会忽略区域设置。
  • -k:指定在大容量复制操作中空列应保留一个空值,而不是对插入的列赋予默认值。

如何使用bcp导出数据

1)使用bcp导出整个表或视图:

在使用密码登录时需要将-U后的用户名和-P后的密码加上双引号。

注:bcp除了可以在控制台执行外,还可以通过调用SQL Server的一个系统存储过程xp_cmdshell以SQL语句的方式运行bcp。如上述第一条命令可改写为

执行xp_cmdshell后,返回信息以表的形式输出,当然更多的是以批处理的方式进行bcp的导入导出。

2)对要导出的表进行过滤:

bcp不仅可以接受表名或视图名做为参数,也可以接受SQL做为参数。通过SQL语句可以对要导出的表进行过滤,然后导出过滤后的记录。

bcp还可以通过简单地设置选项对导出的行进行限制:如下这条命令使用了两个参数-F 2和-L 1000,表示从

所查出来的结果中取第2条到1000条记录进行导出。

如何使用bcp导出格式文件

bcp不仅可以根据表、视图导入导出数据,还可以配合格式文件对导入导出数据进行限制;格式文件以纯文本文件形式存在,分为一般格式和xml格式;用户可以手工编写格式文件,也可以通过bcp命令根据表、视图自动生成格式文件。

上述命令将hedy.dbo.students表的结构生成了一个格式文件d:\sqlbcp\students.fmt,

 

bcp还可以通过-x选项生成xml格式的格式文件。

xml格式文件所描述的内容和普通格式文件所描述的内容完全一样,只是格式不同:

如何使用bcp导入数据

bcp可以通过in命令将上面所导出的students.txt再重新导入到数据库中

导入数据也同样可以使用-F和-L选项来选择导入数据的记录行。

在导入数据时可以根据已经存在的格式文件将满足条件的记录导入到数据库中,不满足则不导入。使用普通的格式文件

使用xml格式的格式文件与普通文件同理。

打赏作者
微信支付标点符 wechat qrcode
支付宝标点符 alipay qrcode

C语言学习:size_t

在学习C语言的时候,遇到了一个新的数据类型size_t,截止目前也没有完全理清这个类似的具体场景及出现的原因。
44 sec read

C语言学习:main()函数的正确写法

C语言虽然是一门古老的语言,但是其标准一直在完善,所以很多以前支持的语法在到当前已经不能在使用了。 C语言的版
41 sec read

Scipy数学函数的Scala实现

最近在推进项目的时候,遇到需要将线下的Python代码转化成线上的集群代码,由于机器代码环境是Scala,所以
4 min read

发表评论

电子邮件地址不会被公开。 必填项已用*标注