selenium:自动化迁移wiki数据

原由

原本一直在使用第三方的在线接口文档维护着接口。
最近新建立了公司内部的wiki百科为了安全性要在一周内迁移所有的showdoc文档到gitlab上。
目前showdoc有将近100个文档说明，如果组内10个人一人拷贝10个也花不了太长时间，但是作为程序员还得用程序员的方式去解决重复性的活。
还好刚毕业时有过类似的经历，那时也是因为wiki迁移不光有文字还有各种图片各种zip文档，大约3G不能丢失。
此次迁移幸好本身的showdoc是markdown编辑的gitlab也无缝支持markdown保存，所以花了一下午的时间专门写了整个流程的selenium+java的操作。

来看一下如何去做这一套迁移工作

正常手动操作流程

1.编辑要拷贝的东西
image1

2.复制所需的文本数据
image2

3.打开gitlab粘贴我们的数据 然后保存
image3

整个流程手动大概5秒左右，因为来回切换复制粘贴title、目录、文本数据
(如果有1万的文章那我们一个人手动大概要花5万秒)

为了把繁杂的工作变为自动化操作我们使用selenium+java来解决这个问题

使用selenium自动化操作效果（git加载慢）

selenium

selenium是什么

Selenium是一个用于Web应用程序测试的工具。Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE,Mozilla和Firefox等。这个工具的主要功能包括：测试与浏览器的兼容性–测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能–创建衰退测试检验软件功能和用户需求。

利用模拟人工编辑粘贴来把需要迁移的数据迁移到新系统中。以下是具体步骤

0.把要迁移的编辑页面路径写入到文件中

selenium.txt里面是精确到编辑页的路径

1
2
3
https://www.showdoc.cc/web/#/page/edit/110710136260844/632980917626441
https://www.showdoc.cc/web/#/page/edit/110710136260844/634782624315515
.....省略

1.新建一个java项目，并且加入各种依赖jar包

image4

几个重要jar作用说明

jar名称 作用
nekohtml-1.9.21.jar 解析html的jar包
netty-3.5.2.Final.jar NIO框架,是对 socket 网络编程的包装
selenium-api-2.44.0.jar selenium的api包
selenium-chrome-driver-2.44.0.jar 谷歌浏览器驱动
selenium-firefox-driver-2.44.0.jar 火狐浏览器驱动
selenium-htmlunit-driver-2.44.0.jar
selenium-ie-driver-2.44.0.jar ie浏览器驱动
selenium-java-2.44.0.jar 存在于selenium上的工具包,能有效支持java数据编程
selenium-remote-driver-2.44.0.jar 支持远程操控驱动包
selenium-safari-driver-2.44.0.jar safari浏览器驱动
selenium-support-2.44.0.jar 支持selenium的jar包
SeleniumTest-1.jar 测试包
xalan-2.7.1.jar 主要用于解析xml
xercesImpl-2.11.0.jar 主要用于解析xml
xml-apis-1.4.01.jar 主要用于解析xml

2.SeleniumUtil.java工具类

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
public class SeleniumUtil {
	private static WebDriver webDriver;
	private static WebElement webElement;
	private static Robot robot;
	private static By byelement;
	// 执行javascript脚本后 返回数据
	public String ScriptString(String script) {
		JavascriptExecutor js = (JavascriptExecutor) webDriver;
		String s = (String) js.executeScript(script);
		return s;
	}
	/**
	 * 初始化
	 * 
	 * @param select
	 *            1:Firefox 2:IE 3:Chrome 4:后台执行
	 * @param browserpath
	 *            选择本地浏览路径
	 */
	public void Init(int switchbrowser, String browserpath) {
		switch (switchbrowser) {
		case 1:
			System.setProperty("webdriver.firefox.bin", browserpath);
			webDriver = new FirefoxDriver();
			webDriver.manage().window().maximize();
			break;
		case 2:
			System.setProperty("webdriver.ie.driver", browserpath);
			webDriver = new InternetExplorerDriver();
			webDriver.manage().window().maximize();
			break;
		case 3:
			System.setProperty("webdriver.chrome.driver", browserpath);
			webDriver = new ChromeDriver();
			//变大窗口
			webDriver.manage().window().maximize();
			break;
		case 4:
			webDriver = new HtmlUnitDriver();
			break;
		}
	}
	// 复制
	public static void CopyKeys() {
		try {
			robot = new Robot();
			robot.keyPress(KeyEvent.VK_CONTROL);
			robot.keyPress(KeyEvent.VK_C);
			robot.keyRelease(KeyEvent.VK_CONTROL);
			robot.keyRelease(KeyEvent.VK_C);
		} catch (AWTException e) {
			e.printStackTrace();
		}
	}
	// 全选
	public static void AllTextKeys() {
		try {
			robot = new Robot();
			robot.keyPress(KeyEvent.VK_CONTROL);
			robot.keyPress(KeyEvent.VK_A);
			robot.keyRelease(KeyEvent.VK_CONTROL);
			robot.keyRelease(KeyEvent.VK_A);
		} catch (AWTException e) {
			e.printStackTrace();
		}
	}
	// 粘贴
	public static void PasteKeys() {
		try {
			robot = new Robot();
			robot.keyPress(KeyEvent.VK_CONTROL);
			robot.keyPress(KeyEvent.VK_V);
			robot.keyRelease(KeyEvent.VK_CONTROL);
			robot.keyRelease(KeyEvent.VK_V);
		} catch (AWTException e) {
			e.printStackTrace();
		}
	}
	// 设定页面中的文本值
	public static void SendKeys(By by, String value) {
		webDriver.findElement(by).sendKeys(value);
	}
	// 打开页面
	public void Start(String url) {
		webDriver.get(url);
	}
	// 结束
	public void Stop() {
		webDriver.quit();
	}
	// 睡眠
	public void Sleep(int millis) {
		try {
			Thread.sleep(millis);
		} catch (InterruptedException e) {
			e.printStackTrace();
		}
	}
	public static WebDriver getWebDriver() {
		return webDriver;
	}
	public static void setWebDriver(WebDriver webDriver) {
		SeleniumUtil.webDriver = webDriver;
	}
	public static WebElement getWebElement() {
		return webElement;
	}
	public static void setWebElement(WebElement webElement) {
		SeleniumUtil.webElement = webElement;
	}
	public static By getByelement() {
		return byelement;
	}
	public static void setByelement(By byelement) {
		SeleniumUtil.byelement = byelement;
	}
}

3.业务代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
package selenium.service;
import java.io.File;
import java.io.IOException;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import org.apache.commons.io.FileUtils;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import selenium.util.SeleniumUtil;
public class CopyWiki {
	
	private static SeleniumUtil util=new SeleniumUtil();
	
	private static WebDriver driver;
	
	//showdoc用户名密码
	private final static String SHOW_USERNAME="xxx";
	private final static String SHOW_PASSWORD="yyy";
	//gitlab用户名密码
	private final static String GIT_USERNAME="xxx";
	private final static String GIT_PASSWORD="yyy";
	
	private final static String TITLE_PRE="接口文档/1.0/";
	
	//读取需要操作的目标文章
	private List<String> readTargetUrl() throws IOException{
		return FileUtils.readLines(new File("C:/Users/win10/Desktop/linux/selenium.txt"));
	}
	
	//打开showdoc页面 并并填写用户名密码登录
	private void loginShowDoc(){
		//登录目标网站
		util.Start("https://www.showdoc.cc/home/user/login");
		
		//填写登录名
		util.SendKeys(By.xpath("//*[@id=\"app\"]/div/section/div/div/form/div[1]/div/div/input"), SHOW_USERNAME);
		//填写密码
		util.SendKeys(By.xpath("//*[@id=\"app\"]/div/section/div/div/form/div[2]/div/div/input"), SHOW_PASSWORD);
		//点击登录按钮
		driver.findElement(By.xpath("//*[@id=\"app\"]/div/section/div/div/form/div[3]/div/button")).click();
		
		//等待加载页面，因为有时会没等到登录成功返回的报文
		util.Sleep(1000);
		
	}
	
	/**
	 * 获取showdoc的数据
	 * @param url:获取数据目标url
	 * 
	 * @return dataMap:@param
	 * 						title:标题
	 * 						group:分组名
	 */
	private Map<String,String> getShowDocData(String targetUrl){
		
		//打开要编辑的页面
		util.Start(targetUrl);
		
		//等待加载出来数据后操作，如果文章数据多就设定长点时间
		util.Sleep(3500);
		
		//获取标题   分组名
		String title=driver.findElement(By.xpath("//*[@id=\"app\"]/div/section/div[1]/form/div[1]/div/div/input")).getAttribute("value");
		String group=driver.findElement(By.xpath("//*[@id=\"app\"]/div/section/div[1]/form/div[3]/div/div/div[1]/input")).getAttribute("value");
		
		//获取到文本框后  由于showdoc有jquery支持所以我用jquery脚本,但是如果没有jquery支持的网页需要用原生js来执行脚本
		util.ScriptString("$(\".CodeMirror-code\").focus()");
		
		//全选编辑框
		util.AllTextKeys();
		//复制markdown文章
		util.CopyKeys();
		
		//设定返回值
		Map<String,String> dataMap=new HashMap<>();
		dataMap.put("title", title);
		dataMap.put("group", group);
		return dataMap;
	}
	
	
	//登录gitlab 并授权登录
	private void loginGitLab(){
		//打开gitlab登录页面
		util.Start("https://gitlab.yiqishanyuan.cn/users/sign_in");
		
		//登录操作 填充用户名，密码
		util.SendKeys(By.xpath("//*[@id=\"user_login\"]"),GIT_USERNAME);
		util.SendKeys(By.xpath("//*[@id=\"user_password\"]"),GIT_PASSWORD);
		driver.findElement(By.xpath("//*[@id=\"new_user\"]/div[4]/input")).click();
		
		//等待加载页面
		util.Sleep(500);
	}
	
	/**
	 * 写新的文章
	 * @param title:标题
	 * @param group:分组
	 */
	private void writGitLab(String title,String group){
		//打开gitlab新建页面
		util.Start("https://gitlab.yiqishanyuan.cn/v3/welfare-center/wikis/home");
		//新建页面
		driver.findElement(By.xpath("//*[@id=\"content-body\"]/div[1]/div[2]/a[1]")).click();
		
		//设定新文章标题
		String newTitle=TITLE_PRE+group+"/"+title;
		util.SendKeys(By.xpath("//*[@id=\"new_wiki_path\"]"),newTitle);
		
		//创建页面
		driver.findElement(By.xpath("//*[@id=\"modal-new-wiki\"]/div/div/div[2]/form/div[2]/button")).click();
		
		//获取到文本框后
		util.ScriptString("$(\"#wiki_content\").focus()");
		//全选编辑框
		util.AllTextKeys();
		//粘贴文字
		util.PasteKeys();
		
		//点击保存
		util.ScriptString("$(\"input[name='commit']\").click()");
		
		//等待保存页面
		util.Sleep(1000);
	}
	
	public static void main(String[] args) throws IOException {
		
		CopyWiki copyWiki=new CopyWiki();
		
		//1.读取之前需要拷贝的url地址
		List<String> targetUrls=copyWiki.readTargetUrl();
		if(targetUrls!=null && targetUrls.size()>0){
			//初始化chrome驱动插件执行具体的自动化操作
			util.Init(3, "C:/Program Files (x86)/Google/Chrome/Application/chromedriver.exe");
			//获取驱动
			driver=util.getWebDriver();
			
			//登录showdoc
			copyWiki.loginShowDoc();
			
			//设定gitlab登录状态
			copyWiki.loginGitLab();
			
			//循环遍历
			for(String targetUrl:targetUrls){
				//获取目标数据
				Map<String,String> dataMap=copyWiki.getShowDocData(targetUrl);
				
				if(dataMap!=null && dataMap.size()>0){
					//新建文章，写入拷贝的数据
					copyWiki.writGitLab(dataMap.get("title"), dataMap.get("group"));
					
				}
			}
			//读取后结束
			util.Stop();
		}
	}
}

4.获取页面中的节点

有多种方式我这里就演示通过xpath路径获取，更多操作可以查下教程
chrome-xpath

5.最重要的干活的机器插件chromedriver.exe

要对应自己的chrome浏览器下载相应的版本并且放入到自己chrome浏览器下面
下载地址为chromedriver地址本次的chrome版本为v61,driver版本为v2.28

chrome-driver

具体项目可拉取github中获取
selenium-java项目

赏

谢谢你的激励

微信

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    2、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: true
      raw: false
      content: false
      slug: false
      updated: false
      comments: true
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

90后,水瓶男,爱自由,充满幻想<br>有点小暴冲动,时而含蓄时而不含蓄