自动测试LeetCode用例方法
自动合并测试LeetCode解题方法
在leetcode.com上答题，Run Code或者Sumbmit通常要Spending一会，如果提交一次就Accepted那还好，如果反复Wrong Answer，很耽误时间。为了调高效率和减少挫折(来回提交，一直Wrong Answer倍受打击），我采取在本地Jupyter notebook上coding，测试通过后再提交的方式。本篇主要介绍自动测试的方法。
1. LeetCode模式
打开leetcode一道题后，左侧有一个Description选项卡，该选项卡面板内有题目、命题描述、还列举了多个Example，每个Example都有一个Input和一个Output，有的还会有一个Explanation；右侧是coding区，coding区自动生成 class Solution模板。
class Solution: def method(self,**kwargs):
例如，第1071号题Decription区的Example内容如下
1071号题coding区初始化模板如下
2. Jupyter notebook编写代码
将LeetCode中coding模板内容复制到jupyter notebook中，编写解题代码。假如1071号题的代码如下。
class Solution:def gcdOfStrings(self, str1: str, str2: str) -> str:
if len(str1) < len(str2):
tmp, str2, str1 = str2, str1, tmp
len_str2, len_str1 = len(str2), len(str1)
for i in range(1,len_str2+1):
d2,m2 = divmod(len(str2),i)
if m2==0 and str2==str2[:d2]*i:
d1, m1 = divmod(len(str1),d2)
if m1==0 and str1==str2[:d2]*d1:
return str2[:d2]
return ""
3. 手动逐一测试
手动逐一测试，就是编写好method内容后，实例化Solution，然后复制Decription中每个Example中的Input，传入实例的方法，执行后观察结果是否与Example中Output一致。
# 实列化类s = Solution()
# 测试Example中的用例1# Input: str1 = "ABCABC", str2 = "ABC"
# Output: "ABC"
str1 = "ABCABC"
str2 = "ABC"
s.gcdOfStrings(str1,str2)
'ABC'# 测试Example中的用例2# Input: str1 = "ABABAB", str2 = "ABAB"
# Output: "AB"
str1 = "ABABAB"
str2 = "ABAB"
s.gcdOfStrings(str1,str2)
'AB'# 测试Example中的用例3# Input: str1 = "LEET", str2 = "CODE"
# Output: ""
str1 = "LEET"
str2 = "CODE"
s.gcdOfStrings(str1,str2)
''# 测试Example中的用例4# Input: str1 = "ABCDEF", str2 = "ABC"
# Output: ""
str1 = "ABCDEF"
str2 = "ABC"
s.gcdOfStrings(str1,str2)
''4. 自动合并测试
4.1 复制测试用例
从LeetCode问题页面复制所有Example内容，赋值给str_Examples。这里用3对双引号，内容可以原封不动。Example描述有规律，而且每个题的Example描述都是同样的模式，所以我们可以定义一个通用方法来获取测试用例。
str_Examples ="""Example 1:Input: str1 = "ABCABC", str2 = "ABC"
Output: "ABC"
Example 2:
Input: str1 = "ABABAB", str2 = "ABAB"
Output: "AB"
Example 3:
Input: str1 = "LEET", str2 = "CODE"
Output: ""
Example 4:
Input: str1 = "ABCDEF", str2 = "ABC"
Output: ""
"""
4.2 定义获取用例方法
- 目标是把Input、Output提取出来，并成对组织好。
- 通过观察，可采用正则化split、字符串split、replace、strip等方法提取Input、Output内容
- 输入参数和输出存入list，每个用例可能有多个参数，所以用例参数用dict装载，方便调用测试方法时用**kwargs传入。
注意：因为输入用例文档用的""""",引号里内容还含有双引号"，split后会把里面的引号当做字符内容，导致结果出乎意料。
def get_test_cases(str_examples):import re
params =re.split('Example.+?:',str_examples.replace('\n','').replace(' ',''))[1:]
cases_arg, cases_ans = [], []
for param in params:
kawargs = {}
args_,ans = param.split('Output:')
args_ = args_.replace('Input:','').strip().split(',')
cases_ans.append(ans)
for arg in args_:
key,val = arg.split("=")
kawargs[key] = val
cases_arg.append(kawargs)
return zip(cases_arg, cases_ans)
4.3 定义自动测试方法
- leetcode每个题生成的默认代码类名都是Solution，但是函数名根据题目来取，因题而异。dir(Solution())能够获取Solution的方法名列表，前面部分是内建方法名，最后一个是自定义的解题方法（这里考虑只有一个自建函数）。用dir(Solution())[-1]获取函数名，然后使用getattr获取实例方法f。
- 传入参数为get_usecases返回的结果——zip打包的测试用例输入和输出，for迭代或取每一个测试用例的输入参数kwargs(Example中的Input)和输入answer(Example中的Output)。
- 迭代测试用例，断言 f(**kwargs) == answer 。如果每个断言成功，返回'Accepted'，否则try...except捕获断言失败，返回'Wrong Answer'。
def auto_test(test_cases):f = getattr(Solution(), dir(Solution())[-1])
try:
for kwargs, answer in test_cases:
print(kawargs,answer)
assert f(**kwargs) == answer
return 'Accepted'
except Exception as e:
print(e)
return 'Wrong Answer'
4.4 what?! 神奇问题bug ?
- 先调用get_test_cases获取测试用例，然后将结果传入auto_test进行测试，结果是'Wrong Answer'；
- 直接调用auto_test(get_test_cases())，结果也是'Wrong Answer'。
- 然而调用get_test_cases获取测试用例test_cases后，先迭代一遍test_cases，再将test_cases传入auto_test，结果为'Accepted'。
test_cases = get_test_cases(str_Examples)auto_test(test_cases)
name 'kawargs' is not defined'Wrong Answer'
auto_test(get_test_cases(str_Examples))name 'kawargs' is not defined'Wrong Answer'
for input_args,out in test_cases:print(input_args, out)
auto_test(test_cases)
{'str1': '"ABABAB"', 'str2': '"ABAB"'} "AB"{'str1': '"LEET"', 'str2': '"CODE"'} ""
{'str1': '"ABCDEF"', 'str2': '"ABC"'} ""
'Accepted'
4.5 编程陷阱
陷阱1："""doc""",三对双引号中内容带引号，没去除引号被当做字符内容，导致Solution算法“失灵”。
doc = """ABC "efg" HIGK""" # efg带引号doc.split() # 分割后'"efg"'而不是'efg'，不注意还看不出来
['ABC', '"efg"', 'HIGK']避坑办法：.replace('"','')去除内容引号
def get_test_cases(str_examples):import re
params =re.split('Example.+?:',str_examples.replace('\n','').replace(' ',''))[1:]
cases_arg, cases_ans = [], []
for param in params:
kawargs = {}
args_,ans = param.split('Output:')
args_ = args_.replace('Input:','').strip().split(',')
# ans.replace('"','')
cases_ans.append(ans.replace('"',''))
for arg in args_:
key,val = arg.split("=")
# val.replace('"','')
kawargs[key] = val.replace('"','')
cases_arg.append(kawargs)
return zip(cases_arg, cases_ans)
陷阱2：try...except不仅捕获assert断言成功失败，在try中print(kawargs,answer),‘kawargs’写错也导致进入except块。
避坑办法：try...except Exception as e打印异常，debug错误
# 捕获except异常并不等于assert断言失败try:
print(what)
assert 1==1
except Exception as e:
print(e)
name 'what' is not defineddef auto_test(test_cases):f = getattr(Solution(), dir(Solution())[-1])
try:
for kwargs, answer in test_cases:
print(kwargs,answer)
assert f(**kwargs) == answer
return 'Accepted'
except Exception as e:
print(e)
return 'Wrong Answer'
陷阱2：zip只能迭代一次，looping后被释放，外部迭代一次后再传入auto_test，不进入for迭代，造成外部迭代后返回正确'Accepted'的假象。
val =[1,2,3]key = ['a','b','c']
ziped = zip(key,val)
print('----first iter zip---------')
for (key,val) in ziped:
print(key,val)
print('----second iter zip---------')
for (key,val) in ziped:
print(key,val)
----first iter zip---------a 1
b 2
c 3
----second iter zip---------
避坑办法：头一次掉这坑，刷新zip认知，记住它。
4.6 再次测试
test_cases = get_test_cases(str_Examples)auto_test(test_cases)
{'str1': 'ABCABC', 'str2': 'ABC'} ABC{'str1': 'ABABAB', 'str2': 'ABAB'} AB
{'str1': 'LEET', 'str2': 'CODE'}
{'str1': 'ABCDEF', 'str2': 'ABC'}
'Accepted'
auto_test(get_test_cases(str_Examples)){'str1': 'ABCABC', 'str2': 'ABC'} ABC{'str1': 'ABABAB', 'str2': 'ABAB'} AB
{'str1': 'LEET', 'str2': 'CODE'}
{'str1': 'ABCDEF', 'str2': 'ABC'}
'Accepted'
5. 总结
step1： 在Jupyter notebook中编写LeetCode问题解答代码class Solution: def method(self,**kwargs):
step2： 复制LeetCode中Example内容复制给变量str_Examples
step3： 使用get_test_cases获取测试用例
step4： 调用auto_test进行自动测试，返回'Accepted'所有测试用例通过，'Wrong Answer'表示存在没能通过的用例。
LeetCode问题Description中所有Example测试通过，即Run Code结果为'Accepted'，并不代表Submit后的结果一定会为'Accepted'。相反，Run Code结果为'Wrong Answer'，那么Submit后结果一定是'Wrong Answer'。因为Description中的Example只是部分示例，是Submit后验证的测试用例集合的子集。
def get_test_cases(str_examples):import re
params =re.split('Example.+?:',str_examples.replace('\n','').replace(' ',''))[1:]
cases_arg, cases_ans = [], []
for param in params:
kawargs = {}
args_,ans = param.split('Output:')
args_ = args_.replace('Input:','').strip().split(',')
# ans.replace('"','')
cases_ans.append(ans.replace('"',''))
for arg in args_:
key,val = arg.split("=")
# val.replace('"','')
kawargs[key] = val.replace('"','')
cases_arg.append(kawargs)
return zip(cases_arg, cases_ans)
def auto_test(test_cases):
f = getattr(Solution(), dir(Solution())[-1])
try:
for kwargs, answer in test_cases:
print(kwargs,answer)
assert f(**kwargs) == answer
return 'Accepted'
except Exception as e:
print(e)
return 'Wrong Answer'
以上是 自动测试LeetCode用例方法 的全部内容， 来源链接： utcz.com/a/71987.html
