diff --git a/benchmarking/analyze_new_ic3_sat_backends.py b/benchmarking/analyze_new_ic3_sat_backends.py new file mode 100644 index 000000000..e0b918119 --- /dev/null +++ b/benchmarking/analyze_new_ic3_sat_backends.py @@ -0,0 +1,695 @@ +#!/usr/bin/env python3 + +from __future__ import annotations + +import argparse +import csv +import math +import platform +import socket +import statistics +import sys +from collections import Counter, defaultdict +from dataclasses import dataclass +from pathlib import Path + + +KNOWN_RESULTS = {"proved", "refuted"} +NONSOLVED_RESULTS = {"timeout", "error", "missing"} +ALL_RESULTS = KNOWN_RESULTS | NONSOLVED_RESULTS +BACKENDS = ("ictminisat", "minisat2", "cadical") +GEOMEAN_FLOOR = 0.005 + + +@dataclass(frozen=True) +class ResultRow: + benchmark: str + backend: str + seconds: float | None + result: str + + +def parse_args() -> argparse.Namespace: + parser = argparse.ArgumentParser( + description="Analyze and report new IC3 SAT backend benchmark results.") + parser.add_argument("--results", required=True, type=Path) + parser.add_argument("--expected", required=True, type=Path) + parser.add_argument("--report", required=True, type=Path) + parser.add_argument("--suite-name", default="HWMCC 2017 single track") + parser.add_argument("--timeout-seconds", required=True, type=int) + parser.add_argument("--jobs", required=True, type=int) + parser.add_argument("--compiler", default="clang++") + parser.add_argument("--host-summary", default=None) + parser.add_argument("--build-command", required=True) + parser.add_argument("--benchmark-command", required=True) + parser.add_argument("--raw-results-label", default=None) + return parser.parse_args() + + +def read_expected(path: Path) -> dict[str, str]: + with path.open(newline="", encoding="utf-8") as infile: + reader = csv.DictReader(infile) + if reader.fieldnames != ["benchmark", "expected"]: + raise ValueError(f"{path} has unexpected header {reader.fieldnames!r}") + expected = {} + for row in reader: + benchmark = row["benchmark"].strip() + verdict = row["expected"].strip() + if verdict not in {"proved", "refuted", "unknown"}: + raise ValueError(f"unexpected expected verdict {verdict!r}") + if benchmark in expected: + raise ValueError(f"duplicate expected benchmark {benchmark}") + expected[benchmark] = verdict + return expected + + +def parse_seconds(raw: str, benchmark: str, backend: str) -> float | None: + if raw == "": + return None + try: + value = float(raw) + except ValueError as exc: + raise ValueError( + f"invalid seconds value {raw!r} for {benchmark}/{backend}") from exc + if value < 0: + raise ValueError(f"negative seconds value for {benchmark}/{backend}") + return value + + +def read_results(path: Path) -> list[ResultRow]: + with path.open(newline="", encoding="utf-8") as infile: + reader = csv.reader(infile) + rows = [] + for index, row in enumerate(reader): + if not row: + continue + if index == 0 and row == ["benchmark", "backend", "seconds", "result"]: + continue + if len(row) != 4: + raise ValueError(f"{path} has malformed row {row!r}") + benchmark = row[0].strip() + backend = row[1].strip() + seconds = parse_seconds(row[2].strip(), benchmark, backend) + result = row[3].strip() + rows.append(ResultRow(benchmark, backend, seconds, result)) + return rows + + +def geomean(values: list[float]) -> float | None: + if not values: + return None + adjusted = [max(value, GEOMEAN_FLOOR) for value in values] + return math.exp(sum(math.log(value) for value in adjusted) / len(adjusted)) + + +def format_float(value: float | None) -> str: + if value is None: + return "-" + return f"{value:.2f}" + + +def format_pct(num: int, den: int) -> str: + if den == 0: + return "-" + return f"{100.0 * num / den:.1f}%" + + +def markdown_table(headers: list[str], rows: list[list[str]]) -> str: + lines = [ + "| " + " | ".join(headers) + " |", + "| " + " | ".join("---" for _ in headers) + " |", + ] + for row in rows: + lines.append("| " + " | ".join(row) + " |") + return "\n".join(lines) + + +def summarize( + expected: dict[str, str], rows: list[ResultRow], timeout_seconds: int +) -> dict[str, object]: + errors: list[str] = [] + by_pair: dict[tuple[str, str], ResultRow] = {} + benchmarks_seen = set() + backend_counts = Counter() + blank_seconds_when_decisive = Counter() + nonblank_seconds_when_nonsolved = Counter() + + for row in rows: + benchmarks_seen.add(row.benchmark) + backend_counts[row.backend] += 1 + if row.backend not in BACKENDS: + errors.append(f"unexpected backend {row.backend!r}") + if row.result not in ALL_RESULTS: + errors.append( + f"unexpected result {row.result!r} for {row.benchmark}/{row.backend}") + key = (row.benchmark, row.backend) + if key in by_pair: + errors.append(f"duplicate row for {row.benchmark}/{row.backend}") + by_pair[key] = row + if row.result in KNOWN_RESULTS and row.seconds is None: + blank_seconds_when_decisive[row.backend] += 1 + if row.result in NONSOLVED_RESULTS and row.seconds is not None: + nonblank_seconds_when_nonsolved[row.backend] += 1 + if row.result in KNOWN_RESULTS and row.seconds is not None: + if row.seconds > timeout_seconds + 0.01: + errors.append( + f"decisive runtime above timeout for {row.benchmark}/{row.backend}: " + f"{row.seconds:.2f}s") + if row.benchmark not in expected: + errors.append(f"missing expected label for benchmark {row.benchmark}") + + expected_rows = len(expected) * len(BACKENDS) + if len(rows) != expected_rows: + errors.append(f"expected {expected_rows} rows, got {len(rows)}") + + for benchmark in expected: + for backend in BACKENDS: + if (benchmark, backend) not in by_pair: + errors.append(f"missing row for {benchmark}/{backend}") + + total_known = sum(1 for verdict in expected.values() if verdict != "unknown") + total_unknown = len(expected) - total_known + + outcome_counts: dict[str, Counter[str]] = {backend: Counter() for backend in BACKENDS} + known_correct: dict[str, list[ResultRow]] = {backend: [] for backend in BACKENDS} + wrong_decisive_rows: list[ResultRow] = [] + decisive_unknown_rows: dict[str, list[ResultRow]] = {backend: [] for backend in BACKENDS} + + summaries: dict[str, dict[str, object]] = {} + + for backend in BACKENDS: + backend_rows = [row for row in rows if row.backend == backend] + correct_times: list[float] = [] + par2_terms: list[float] = [] + par10_terms: list[float] = [] + correct_decisive = 0 + wrong_decisive = 0 + unsolved_known = 0 + decisive_on_unknown = 0 + timeout_unknown = 0 + error_unknown = 0 + + for row in backend_rows: + outcome_counts[backend][row.result] += 1 + verdict = expected.get(row.benchmark) + if verdict is None: + continue + if verdict == "unknown": + if row.result in KNOWN_RESULTS: + decisive_on_unknown += 1 + decisive_unknown_rows[backend].append(row) + elif row.result == "timeout": + timeout_unknown += 1 + else: + error_unknown += 1 + continue + + if row.result == verdict: + correct_decisive += 1 + known_correct[backend].append(row) + if row.seconds is not None: + correct_times.append(row.seconds) + par2_terms.append(row.seconds) + par10_terms.append(row.seconds) + elif row.result in KNOWN_RESULTS: + wrong_decisive += 1 + wrong_decisive_rows.append(row) + par2_terms.append(timeout_seconds * 2) + par10_terms.append(timeout_seconds * 10) + else: + unsolved_known += 1 + par2_terms.append(timeout_seconds * 2) + par10_terms.append(timeout_seconds * 10) + + summaries[backend] = { + "correct_decisive": correct_decisive, + "wrong_decisive": wrong_decisive, + "unsolved_known": unsolved_known, + "decisive_on_unknown": decisive_on_unknown, + "timeout_unknown": timeout_unknown, + "error_unknown": error_unknown, + "median_seconds": statistics.median(correct_times) if correct_times else None, + "mean_seconds": statistics.mean(correct_times) if correct_times else None, + "geomean_seconds": geomean(correct_times), + "par2": statistics.mean(par2_terms) if par2_terms else None, + "par10": statistics.mean(par10_terms) if par10_terms else None, + "blank_seconds_when_decisive": blank_seconds_when_decisive[backend], + "nonblank_seconds_when_nonsolved": nonblank_seconds_when_nonsolved[backend], + } + + unique_correct = Counter() + unique_correct_rows: dict[str, list[ResultRow]] = defaultdict(list) + for benchmark, verdict in expected.items(): + if verdict == "unknown": + continue + correct_rows = [] + for backend in BACKENDS: + row = by_pair.get((benchmark, backend)) + if row is not None and row.result == verdict: + correct_rows.append(row) + if len(correct_rows) == 1: + row = correct_rows[0] + unique_correct[row.backend] += 1 + unique_correct_rows[row.backend].append(row) + + pairwise = [] + largest_regressions = [] + for left_index, left in enumerate(BACKENDS): + for right in BACKENDS[left_index + 1:]: + shared = [] + left_wins = 0 + right_wins = 0 + ties = 0 + ratios = [] + for benchmark, verdict in expected.items(): + if verdict == "unknown": + continue + left_row = by_pair.get((benchmark, left)) + right_row = by_pair.get((benchmark, right)) + if left_row is None or right_row is None: + continue + if left_row.result == verdict and right_row.result == verdict: + if left_row.seconds is None or right_row.seconds is None: + continue + shared.append((benchmark, verdict, left_row.seconds, right_row.seconds)) + if left_row.seconds + 1e-9 < right_row.seconds: + left_wins += 1 + elif right_row.seconds + 1e-9 < left_row.seconds: + right_wins += 1 + else: + ties += 1 + ratios.append( + max(right_row.seconds, GEOMEAN_FLOOR) / + max(left_row.seconds, GEOMEAN_FLOOR)) + + pairwise.append({ + "left": left, + "right": right, + "shared_correct_solves": len(shared), + "left_wins": left_wins, + "right_wins": right_wins, + "ties": ties, + "left_speedup": geomean(ratios), + }) + + regressions = sorted( + shared, + key=lambda item: ( + max(item[3], GEOMEAN_FLOOR) / max(item[2], GEOMEAN_FLOOR)), + reverse=True) + for benchmark, verdict, left_seconds, right_seconds in regressions[:5]: + largest_regressions.append({ + "benchmark": benchmark, + "expected": verdict, + "left": left, + "right": right, + "left_seconds": left_seconds, + "right_seconds": right_seconds, + "slowdown": max(right_seconds, GEOMEAN_FLOOR) / + max(left_seconds, GEOMEAN_FLOOR), + }) + + largest_regressions.sort(key=lambda item: item["slowdown"], reverse=True) + + notable_rows = [] + seen_notables = set() + + for row in wrong_decisive_rows: + key = ("wrong", row.benchmark, row.backend) + if key not in seen_notables: + notable_rows.append({ + "benchmark": row.benchmark, + "expected": expected[row.benchmark], + "note": f"wrong decisive result by {row.backend}", + }) + seen_notables.add(key) + + for backend in BACKENDS: + for row in sorted(unique_correct_rows[backend], key=lambda item: ( + float("inf") if item.seconds is None else item.seconds, + item.benchmark))[:10]: + key = ("unique", row.benchmark) + if key not in seen_notables: + notable_rows.append({ + "benchmark": row.benchmark, + "expected": expected[row.benchmark], + "note": f"unique correct solve by {backend}", + }) + seen_notables.add(key) + + for regression in largest_regressions: + key = ("regression", regression["benchmark"], regression["left"], regression["right"]) + if key not in seen_notables: + notable_rows.append({ + "benchmark": regression["benchmark"], + "expected": regression["expected"], + "note": + f"{regression['left']} faster than {regression['right']} by " + f"{regression['slowdown']:.2f}x", + }) + seen_notables.add(key) + if len(notable_rows) >= 15: + break + + combined_notable_rows = [] + combined_notable_map = {} + for row in notable_rows: + benchmark = row["benchmark"] + existing = combined_notable_map.get(benchmark) + if existing is None: + combined = { + "benchmark": benchmark, + "expected": row["expected"], + "note": row["note"], + } + combined_notable_map[benchmark] = combined + combined_notable_rows.append(combined) + else: + existing["note"] += f"; {row['note']}" + + return { + "errors": errors, + "expected_count": len(expected), + "total_known": total_known, + "total_unknown": total_unknown, + "summaries": summaries, + "outcome_counts": outcome_counts, + "pairwise": pairwise, + "unique_correct": unique_correct, + "notable_rows": combined_notable_rows, + "by_pair": by_pair, + "expected": expected, + "backend_counts": backend_counts, + "decisive_unknown_rows": decisive_unknown_rows, + "wrong_decisive_rows": wrong_decisive_rows, + "unique_correct_rows": unique_correct_rows, + } + + +def build_notable_table(data: dict[str, object]) -> str: + by_pair: dict[tuple[str, str], ResultRow] = data["by_pair"] # type: ignore[assignment] + expected: dict[str, str] = data["expected"] # type: ignore[assignment] + rows = [] + for entry in data["notable_rows"]: # type: ignore[index] + benchmark = entry["benchmark"] + fastest_backend = "-" + fastest_time = "-" + backend_summaries = [] + decisive_rows = [] + for backend in BACKENDS: + row = by_pair.get((benchmark, backend)) + if row is None: + backend_summaries.append(f"{backend}: missing@-s") + continue + seconds = format_float(row.seconds) + backend_summaries.append(f"{backend}: {row.result}@{seconds}s") + if row.result in KNOWN_RESULTS and row.seconds is not None: + decisive_rows.append((row.seconds, backend)) + if decisive_rows: + decisive_rows.sort() + fastest_time_value, fastest_backend = decisive_rows[0] + fastest_time = format_float(fastest_time_value) + rows.append([ + benchmark, + expected[benchmark], + fastest_backend, + fastest_time, + "; ".join(backend_summaries), + entry["note"], + ]) + return markdown_table( + [ + "benchmark", + "expected", + "fastest backend", + "fastest time (s)", + "results", + "note", + ], + rows or [["-", "-", "-", "-", "-", "-"]]) + + +def render_report( + args: argparse.Namespace, expected: dict[str, str], data: dict[str, object] +) -> str: + summaries = data["summaries"] + outcome_counts = data["outcome_counts"] + unique_correct = data["unique_correct"] + pairwise = data["pairwise"] + errors = data["errors"] + unique_correct_rows = data["unique_correct_rows"] + + corpus_table = markdown_table( + ["total", "expected proved", "expected refuted", "expected unknown"], + [[ + str(len(expected)), + str(sum(1 for verdict in expected.values() if verdict == "proved")), + str(sum(1 for verdict in expected.values() if verdict == "refuted")), + str(sum(1 for verdict in expected.values() if verdict == "unknown")), + ]]) + + overall_rows = [] + accuracy_rows = [] + unknown_rows = [] + runtime_rows = [] + unique_rows = [] + + for backend in BACKENDS: + summary = summaries[backend] + counts = outcome_counts[backend] + overall_rows.append([ + backend, + str(counts["proved"]), + str(counts["refuted"]), + str(counts["timeout"]), + str(counts["error"]), + str(counts["missing"]), + ]) + accuracy_rows.append([ + backend, + str(summary["correct_decisive"]), + str(summary["wrong_decisive"]), + str(summary["unsolved_known"]), + format_pct(summary["correct_decisive"], data["total_known"]), + ]) + unknown_rows.append([ + backend, + str(summary["decisive_on_unknown"]), + str(summary["timeout_unknown"]), + str(summary["error_unknown"]), + ]) + runtime_rows.append([ + backend, + format_float(summary["median_seconds"]), + format_float(summary["geomean_seconds"]), + format_float(summary["mean_seconds"]), + format_float(summary["par2"]), + format_float(summary["par10"]), + ]) + unique_rows.append([backend, str(unique_correct[backend])]) + + pairwise_rows = [] + for item in pairwise: + pairwise_rows.append([ + f"{item['left']} vs {item['right']}", + str(item["shared_correct_solves"]), + str(item["left_wins"]), + str(item["right_wins"]), + str(item["ties"]), + format_float(item["left_speedup"]), + ]) + + raw_results_label = args.raw_results_label or str(args.results) + host = args.host_summary or f"{socket.gethostname()} ({platform.platform()})" + + best_correct_backend = max( + BACKENDS, key=lambda backend: summaries[backend]["correct_decisive"]) + best_par2_backend = min( + BACKENDS, key=lambda backend: summaries[backend]["par2"]) + wrong_decisive_total = sum( + int(summaries[backend]["wrong_decisive"]) for backend in BACKENDS) + best_vs_default = next( + item for item in pairwise + if item["left"] == "ictminisat" and item["right"] == "minisat2") + cadical_unique = ", ".join( + row.benchmark for row in unique_correct_rows["cadical"]) or "none" + minisat2_margin = ( + int(summaries["minisat2"]["correct_decisive"]) - + int(summaries["ictminisat"]["correct_decisive"])) + cadical_margin = ( + int(summaries["cadical"]["correct_decisive"]) - + int(summaries["ictminisat"]["correct_decisive"])) + + lines = [ + "# New IC3 SAT Backend Benchmark on HWMCC 2017", + "", + "This report compares the `ictminisat`, `minisat2`, and `cadical` SAT", + "backends for `ebmc --new-ic3` on the full HWMCC 2017 single-track suite.", + "", + "## Setup", + "", + f"- Suite: `{args.suite_name}`", + f"- Compiler: `{args.compiler}`", + f"- Build cache: `ccache`", + f"- Timeout: `{args.timeout_seconds}` seconds per benchmark/backend", + f"- Parallel jobs: `{args.jobs}`", + f"- Host: `{host}`", + f"- Build command: `{args.build_command}`", + f"- Benchmark command: `{args.benchmark_command}`", + f"- Expected labels: `{args.expected}`", + f"- Raw results: `{raw_results_label}`", + "", + "## Key Findings", + "", + f"- `minisat2` had the best known-label coverage at " + f"`{summaries['minisat2']['correct_decisive']}/{data['total_known']}` " + f"correct solves, `{minisat2_margin:+d}` versus `ictminisat` and " + f"`{int(summaries['minisat2']['correct_decisive']) - int(summaries['cadical']['correct_decisive']):+d}` versus `cadical`.", + f"- `minisat2` also had the best PAR-2 score at " + f"`{format_float(summaries['minisat2']['par2'])}` seconds; on the " + f"`{best_vs_default['shared_correct_solves']}` cases solved correctly by " + f"both MiniSAT-based backends, `ictminisat` vs `minisat2` yielded a " + f"`{format_float(best_vs_default['left_speedup'])}x` geomean speedup for " + f"`ictminisat`, so `minisat2` wins overall by solving two additional " + f"known-label cases rather than by being faster on the shared subset.", + f"- `cadical` solved fewer known-label cases " + f"(`{summaries['cadical']['correct_decisive']}/{data['total_known']}`, " + f"`{cadical_margin:+d}` versus `ictminisat`) but did contribute " + f"`{data['unique_correct']['cadical']}` unique correct solve(s): " + f"`{cadical_unique}`.", + f"- Wrong decisive results observed: `{wrong_decisive_total}`.", + "", + "## Recommendation", + "", + f"- Keep SAT-backend selection user-visible via " + f"`--new-ic3-sat-solver`.", + f"- If we want to change the default based on HWMCC 2017 alone, " + f"`{best_correct_backend}` is the strongest candidate on solved-count " + f"grounds and `{best_par2_backend}` is best on PAR-2.", + "- Keep `cadical` as an opt-in backend rather than the default; it offers " + "niche coverage gains but loses materially on aggregate throughput.", + "", + "## Corpus Summary", + "", + corpus_table, + "", + "## Overall Outcome Counts", + "", + markdown_table( + ["backend", "proved", "refuted", "timeout", "error", "missing"], + overall_rows), + "", + "## Known-Label Accuracy", + "", + markdown_table( + [ + "backend", + "correct decisive", + "wrong decisive", + "unsolved known", + "known solved rate", + ], + accuracy_rows), + "", + "## Unknown-Label Behavior", + "", + markdown_table( + ["backend", "decisive on unknown", "timeout unknown", "error unknown"], + unknown_rows), + "", + "## Runtime Summary", + "", + "Correct decisive runtimes use the CSV's centisecond timing. PAR scores are", + f"computed on the {data['total_known']} known-label benchmarks with penalties", + f"of `{args.timeout_seconds * 2}` seconds for PAR-2 and", + f"`{args.timeout_seconds * 10}` seconds for PAR-10.", + "", + markdown_table( + ["backend", "median s", "geomean s", "mean s", "PAR-2", "PAR-10"], + runtime_rows), + "", + "## Unique Correct Solves", + "", + markdown_table(["backend", "unique correct solves"], unique_rows), + "", + "## Pairwise Shared Correct Solves", + "", + "Geomean speedup is reported for the left backend over the right backend;", + "values above `1.00` favor the left backend.", + "", + markdown_table( + ["pair", "shared correct", "left wins", "right wins", "ties", "geomean speedup"], + pairwise_rows), + "", + "## Notable Benchmarks", + "", + build_notable_table(data), + "", + "## Sanity Checks", + "", + markdown_table( + ["backend", "blank decisive seconds", "nonblank nonsolved seconds"], + [[ + backend, + str(summaries[backend]["blank_seconds_when_decisive"]), + str(summaries[backend]["nonblank_seconds_when_nonsolved"]), + ] for backend in BACKENDS]), + "", + ] + + if errors: + lines.extend([ + "## Reported Issues", + "", + "The following sanity checks failed and should be addressed before relying", + "on the benchmark summary:", + "", + ]) + for error in errors: + lines.append(f"- {error}") + lines.append("") + + wrong_decisive_rows = data["wrong_decisive_rows"] + if wrong_decisive_rows: + lines.extend([ + "## Wrong Decisive Results", + "", + markdown_table( + ["benchmark", "backend", "expected", "observed", "seconds"], + [[ + row.benchmark, + row.backend, + expected[row.benchmark], + row.result, + format_float(row.seconds), + ] for row in sorted( + wrong_decisive_rows, key=lambda row: (row.benchmark, row.backend))]), + "", + ]) + + return "\n".join(lines) + + +def main() -> int: + args = parse_args() + + try: + expected = read_expected(args.expected) + rows = read_results(args.results) + data = summarize(expected, rows, args.timeout_seconds) + report = render_report(args, expected, data) + except Exception as exc: # pylint: disable=broad-except + print(f"error: {exc}", file=sys.stderr) + return 1 + + args.report.write_text(report, encoding="utf-8") + if data["errors"]: + print(f"warning: wrote report with {len(data['errors'])} sanity issues") + return 2 + + print(args.report) + return 0 + + +if __name__ == "__main__": + sys.exit(main()) diff --git a/benchmarking/compare_new_ic3_sat_solvers.sh b/benchmarking/compare_new_ic3_sat_solvers.sh new file mode 100755 index 000000000..944791a12 --- /dev/null +++ b/benchmarking/compare_new_ic3_sat_solvers.sh @@ -0,0 +1,124 @@ +#!/bin/sh +# Compare SAT backends for ebmc --new-ic3 on AIGER benchmarks. +# Usage: +# compare_new_ic3_sat_solvers.sh [benchmark...] +# Environment: +# BENCH_DIR directory containing .aig files +# default: benchmarking/hwmcc08 +# BACKENDS space-separated backend list +# default: "ictminisat minisat2 cadical" +# JOBS parallel workers for full-directory runs +# default: 1 +# Output: +# CSV lines: benchmark,backend,seconds,result + +set -eu + +SCRIPT_DIR=$(CDPATH= cd -- "$(dirname "$0")" && pwd) +EBMC=${EBMC:-$SCRIPT_DIR/../src/ebmc/ebmc} +BENCH_DIR=${BENCH_DIR:-$SCRIPT_DIR/hwmcc08} +BACKENDS=${BACKENDS:-"ictminisat minisat2 cadical"} +JOBS=${JOBS:-1} +TIMEOUT=$1 +shift + +run_one() { + benchmark=$1 + backend=$2 + file=$BENCH_DIR/$benchmark.aig + + if [ ! -e "$file" ]; then + echo "$benchmark,$backend,,missing" + return + fi + + start=$(perl -MTime::HiRes=time -e 'printf "%.3f", time') + out=$(timeout "$TIMEOUT" \ + "$EBMC" \ + "$file" \ + --new-ic3 \ + --new-ic3-sat-solver \ + "$backend" \ + 2>&1) || status=$? + status=${status:-0} + end=$(perl -MTime::HiRes=time -e 'printf "%.3f", time') + t=$(echo "$end $start" | awk '{printf "%.2f", $1-$2}') + + if [ "$status" = 124 ] || [ "$status" = 142 ]; then + res=timeout + t="" + elif echo "$out" | grep -q "PROVED"; then + res=proved + elif echo "$out" | grep -q "REFUTED"; then + res=refuted + else + res="error" + t="" + fi + + echo "$benchmark,$backend,$t,$res" +} + +if [ "$#" -gt 0 ]; then + for b in "$@"; do + for backend in $BACKENDS; do + run_one "$b" "$backend" + done + done | sort -t, -k1,1 -k2,2 +else + tmpdir=$(mktemp -d "${TMPDIR:-/tmp}/new-ic3-sat.XXXXXX") + trap 'rm -rf "$tmpdir"' EXIT INT TERM + + ( + for path in "$BENCH_DIR"/*.aig; do + [ -e "$path" ] || continue + benchmark=$(basename "$path" .aig) + for backend in $BACKENDS; do + printf '%s,%s\n' "$benchmark" "$backend" + done + done + ) | xargs -P "$JOBS" -I '{}' sh -c ' + pair=$1 + benchmark=${pair%,*} + backend=${pair#*,} + bench_dir=$2 + ebmc=$3 + timeout_s=$4 + tmpdir=$5 + file=$bench_dir/$benchmark.aig + outfile=$tmpdir/$benchmark.$backend.csv + + if [ ! -e "$file" ]; then + echo "$benchmark,$backend,,missing" > "$outfile" + exit 0 + fi + + start=$(perl -MTime::HiRes=time -e "printf \"%.3f\", time") + out=$(timeout "$timeout_s" \ + "$ebmc" \ + "$file" \ + --new-ic3 \ + --new-ic3-sat-solver \ + "$backend" \ + 2>&1) || status=$? + status=${status:-0} + end=$(perl -MTime::HiRes=time -e "printf \"%.3f\", time") + t=$(echo "$end $start" | awk "{printf \"%.2f\", \$1-\$2}") + + if [ "$status" = 124 ] || [ "$status" = 142 ]; then + res=timeout + t="" + elif echo "$out" | grep -q "PROVED"; then + res=proved + elif echo "$out" | grep -q "REFUTED"; then + res=refuted + else + res=error + t="" + fi + + echo "$benchmark,$backend,$t,$res" > "$outfile" + ' sh '{}' "$BENCH_DIR" "$EBMC" "$TIMEOUT" "$tmpdir" + + cat "$tmpdir"/*.csv | sort -t, -k1,1 -k2,2 +fi diff --git a/benchmarking/hwmcc17-single.csv b/benchmarking/hwmcc17-single.csv new file mode 100644 index 000000000..f5bd0f9bf --- /dev/null +++ b/benchmarking/hwmcc17-single.csv @@ -0,0 +1,301 @@ +benchmark;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem;solver;status;bound;real;time;mem +139442p1;abcdeep;sat;3;0.71;0.25;65.4;abcsuperprove;sat;3;1.10;0.22;428.9;avy;sat;3;1.59;0.34;56.1;blimc;sat;3;1.47;0.69;4.9;conpcheck;sat;3;3.73;5.76;82.3;iimc;sat;3;1.01;1.07;70.9;iprover;sat;3;2.94;15.20;889.3;iproverdeep;sat;3;2.82;7.36;507.8;nuxmv;sat;3;0.70;0.11;85.9;nuxmvbmc;sat;3;0.68;0.06;33.6;pdtravdeep;sat;3;3.92;1.92;507.8;pdtravthrd;sat;3;3.36;3.72;1007.3;shiftbmc;sat;3;1.26;0.48;20.3;truss;sat;3;1.04;0.37;71.4 +139443p5;abcdeep;sat;3;0.72;0.64;184.5;abcsuperprove;sat;3;1.05;0.21;54.4;avy;sat;3;1.32;0.52;101.6;blimc;sat;3;1.53;1.39;7.9;conpcheck;sat;3;4.74;7.65;86.6;iimc;sat;3;2.72;2.58;123.6;iprover;sat;3;3.74;21.53;1213.8;iproverdeep;sat;3;3.73;11.70;718.5;nuxmv;sat;3;1.20;0.31;100.9;nuxmvbmc;sat;3;0.97;0.07;36.9;pdtravdeep;sat;3;4.10;3.30;538.9;pdtravthrd;sat;3;4.66;6.60;1026.2;shiftbmc;sat;3;1.27;0.78;23.1;truss;sat;3;1.27;0.70;78.0 +139444p22;abcdeep;sat;4;1.30;0.77;206.6;abcsuperprove;sat;4;1.18;0.69;468.9;avy;sat;4;1.75;0.83;75.8;blimc;sat;4;3.02;2.39;8.6;conpcheck;sat;4;4.57;8.47;91.5;iimc;sat;4;3.26;4.28;141.1;iprover;sat;4;6.84;42.28;2171.7;iproverdeep;sat;4;6.78;23.82;1299.7;nuxmv;sat;4;0.67;0.90;118.2;nuxmvbmc;sat;4;0.88;0.26;45.6;pdtravdeep;sat;4;6.41;4.77;578.7;pdtravthrd;sat;4;9.73;23.65;1062.6;shiftbmc;sat;4;1.92;1.19;25.2;truss;sat;4;1.61;1.33;116.5 +139452p0;abcdeep;uns;-1;1.59;3.32;663.1;abcsuperprove;uns;-1;0.39;0.12;34.6;avy;time;-1;3600.09;3599.43;33.8;blimc;unk;1000;70.29;69.38;717.4;conpcheck;uns;-1;3.02;1.74;65.0;iimc;uns;-1;0.92;0.05;21.0;iprover;time;1656;3600.76;14818.70;127588.3;iproverdeep;time;2542;3600.06;14494.34;115597.4;nuxmv;uns;-1;0.61;0.07;70.1;nuxmvbmc;unk;1001;0.34;0.00;0.0;pdtravdeep;uns;-1;1.50;1.30;116.1;pdtravthrd;uns;-1;1.66;0.75;232.7;shiftbmc;unk;1000;1.91;1.78;39.4;truss;uns;-1;1.21;0.87;89.5 +139453p0;abcdeep;uns;-1;1.56;5.52;1412.8;abcsuperprove;uns;-1;1.03;0.13;37.4;avy;time;-1;3600.06;3599.07;44.2;blimc;unk;1000;102.14;101.99;1160.5;conpcheck;uns;-1;2.57;1.96;82.7;iimc;uns;-1;0.09;0.00;0.0;iprover;time;2113;3600.72;14719.99;127720.1;iproverdeep;time;2545;3600.12;14470.92;123493.7;nuxmv;uns;-1;1.00;0.08;77.1;nuxmvbmc;unk;1001;0.29;0.05;0.0;pdtravdeep;uns;-1;2.86;2.09;116.1;pdtravthrd;uns;-1;1.11;0.73;231.0;shiftbmc;unk;1000;3.41;2.58;48.8;truss;uns;-1;1.59;1.54;119.6 +139462p0;abcdeep;uns;-1;2.10;3.00;844.2;abcsuperprove;uns;-1;1.18;0.12;34.9;avy;time;-1;3600.04;3599.16;27.5;blimc;unk;1000;108.02;107.97;1159.2;conpcheck;uns;-1;2.25;2.24;80.6;iimc;uns;-1;0.93;0.05;27.1;iprover;time;2054;3600.61;15101.18;127675.9;iproverdeep;time;2452;3600.13;14465.48;124153.1;nuxmv;uns;-1;0.23;0.08;79.4;nuxmvbmc;unk;1001;1.06;0.05;0.0;pdtravdeep;uns;-1;3.37;2.49;116.1;pdtravthrd;uns;-1;0.95;0.74;236.1;shiftbmc;unk;1000;3.02;2.38;42.8;truss;uns;-1;2.80;6.00;368.0 +139464p0;abcdeep;uns;-1;3.18;13.05;2552.5;abcsuperprove;uns;-1;0.44;0.13;37.4;avy;time;-1;3600.10;3598.33;36.1;blimc;unk;1000;186.93;186.14;1834.9;conpcheck;uns;-1;21.46;21.06;92.3;iimc;uns;-1;0.44;0.09;32.2;iprover;time;1962;3600.28;17330.01;127674.1;iproverdeep;time;2285;3600.10;14422.52;127140.0;nuxmv;uns;-1;0.70;0.07;21.1;nuxmvbmc;unk;1001;0.56;0.07;31.3;pdtravdeep;uns;-1;6.78;6.09;116.6;pdtravthrd;uns;-1;1.59;0.89;231.0;shiftbmc;unk;1000;5.09;4.38;59.6;truss;uns;-1;2.89;4.52;300.3 +6s0;abcdeep;time;96;3600.05;28779.72;2069.6;abcsuperprove;uns;-1;191.96;2172.32;1257.7;avy;uns;-1;2082.59;8326.96;1145.9;blimc;time;29;3600.12;3599.13;83.4;conpcheck;time;47;3600.12;10798.70;312.9;iimc;time;34;3600.63;28160.06;7931.9;iprover;time;26;3600.04;25335.63;55984.1;iproverdeep;time;26;3600.06;14492.02;41902.2;nuxmv;uns;-1;314.79;1256.18;270.9;nuxmvbmc;time;31;3600.10;3598.82;298.7;pdtravdeep;time;4;3600.09;14386.87;2486.0;pdtravthrd;uns;-1;1222.01;7719.00;6928.1;shiftbmc;time;119;3600.11;3598.74;784.2;truss;uns;-1;211.68;668.17;417.0 +6s105;abcdeep;time;35;3600.11;28782.67;1766.1;abcsuperprove;time;-1;3600.08;46217.56;4358.3;avy;time;-1;3600.06;14392.63;1522.6;blimc;time;33;3600.06;3599.95;96.7;conpcheck;time;27;3600.08;10798.94;287.6;iimc;time;31;3600.25;28143.62;4053.8;iprover;time;28;3600.05;25359.33;54924.4;iproverdeep;time;25;3600.11;14489.53;57444.8;nuxmv;time;33;3600.08;14395.79;577.7;nuxmvbmc;time;33;3600.06;3599.37;301.6;pdtravdeep;time;-1;3600.20;14382.96;5750.4;pdtravthrd;time;-1;3600.17;21717.54;6131.5;shiftbmc;time;32;3600.12;3598.52;414.4;truss;time;22;3600.11;10840.48;1518.2 +6s109;abcdeep;uns;-1;53.86;399.12;649.0;abcsuperprove;uns;-1;48.99;300.72;869.4;avy;uns;-1;14.60;53.55;214.5;blimc;time;34;3600.07;3599.33;114.7;conpcheck;uns;-1;121.26;265.91;113.5;iimc;uns;-1;91.77;718.41;304.1;iprover;time;22;3600.07;21741.85;67712.9;iproverdeep;time;22;3600.06;9737.76;51736.5;nuxmv;uns;-1;58.59;232.52;243.6;nuxmvbmc;time;25;3600.11;3599.11;316.6;pdtravdeep;time;-1;3600.20;14379.56;7088.5;pdtravthrd;uns;-1;64.63;416.22;1463.4;shiftbmc;time;26;3600.09;3599.69;543.4;truss;uns;-1;3328.37;10015.94;1462.0 +6s119;abcdeep;time;57;3600.05;28036.56;3421.4;abcsuperprove;time;-1;3600.11;28402.37;6765.0;avy;time;-1;3600.06;14340.09;2956.5;blimc;time;50;3600.10;3599.28;671.3;conpcheck;time;46;3600.08;10797.37;1065.3;iimc;time;49;3600.10;28548.80;2889.8;iprover;time;41;3600.16;11927.91;127736.2;iproverdeep;time;40;3600.06;12402.14;114192.1;nuxmv;time;51;3600.10;14396.21;9096.8;nuxmvbmc;time;51;3600.07;3599.38;1279.2;pdtravdeep;time;1;3600.34;14205.01;10588.3;pdtravthrd;sat;119;1283.28;6857.78;10049.1;shiftbmc;time;52;3600.05;3599.76;1077.0;truss;time;39;3600.23;10821.73;5533.2 +6s120;abcdeep;uns;-1;1.65;5.57;361.1;abcsuperprove;uns;-1;0.99;6.88;792.8;avy;uns;-1;0.98;1.04;116.7;blimc;time;178;3600.06;3599.36;155.8;conpcheck;uns;-1;2.49;2.27;79.0;iimc;uns;-1;3.47;24.15;100.5;iprover;time;202;3600.04;23894.58;68300.6;iproverdeep;time;162;3600.06;11885.13;40505.6;nuxmv;uns;-1;2.93;8.08;113.9;nuxmvbmc;unk;1001;745.66;744.91;1125.8;pdtravdeep;time;-1;3600.23;13484.20;7467.2;pdtravthrd;uns;-1;5.55;19.51;1046.5;shiftbmc;unk;1000;653.94;653.70;1389.1;truss;uns;-1;1.98;6.42;85.4 +6s128;abcdeep;time;-1;3600.10;63499.65;7976.3;abcsuperprove;time;-1;3600.02;63394.85;6533.1;avy;time;-1;3600.12;3560.33;371.6;blimc;time;-1;3600.07;3599.12;256.6;conpcheck;time;-1;3600.07;10797.98;1618.4;iimc;time;-1;3600.88;26568.82;12635.6;iprover;time;-1;3600.03;25324.87;42252.0;iproverdeep;time;-1;3600.03;14478.64;23599.7;nuxmv;time;-1;3600.05;14389.04;3459.2;nuxmvbmc;time;-1;3600.06;3598.94;1063.9;pdtravdeep;time;-1;3600.05;3599.46;908.6;pdtravthrd;time;-1;3600.04;3599.06;909.1;shiftbmc;time;-1;3600.02;3599.16;454.1;truss;s6;-1;5.99;10.53;1002.4 +6s130;abcdeep;time;239;3600.11;28716.06;3865.1;abcsuperprove;uns;-1;30.34;263.80;1141.8;avy;uns;-1;57.93;216.11;363.8;blimc;time;37;3600.09;3599.27;201.1;conpcheck;time;102;3600.09;10797.48;645.4;iimc;uns;-1;112.06;839.01;520.0;iprover;time;63;3600.10;25340.28;94597.0;iproverdeep;time;67;3600.08;13022.30;69476.2;nuxmv;uns;-1;303.48;1210.99;625.2;nuxmvbmc;time;69;3600.12;3599.44;884.8;pdtravdeep;time;-1;3600.19;14370.08;5040.7;pdtravthrd;uns;-1;95.69;614.17;1656.8;shiftbmc;time;294;3600.09;3599.25;1620.5;truss;time;17;3600.09;10828.04;1381.6 +6s131;abcdeep;time;320;3600.08;28712.67;4060.0;abcsuperprove;uns;-1;32.41;294.83;1127.9;avy;uns;-1;62.23;233.69;364.3;blimc;time;38;3600.10;3599.43;212.8;conpcheck;time;123;3600.05;10798.39;839.5;iimc;uns;-1;99.53;741.45;537.3;iprover;time;147;3600.04;21735.45;80361.5;iproverdeep;time;59;3600.08;10877.82;50429.3;nuxmv;uns;-1;414.61;1655.72;673.7;nuxmvbmc;time;69;3600.10;3599.16;796.6;pdtravdeep;time;-1;3600.12;14368.85;5445.3;pdtravthrd;uns;-1;94.13;610.83;1589.7;shiftbmc;time;383;3600.08;3599.29;2301.0;truss;time;17;3600.10;10829.94;1451.7 +6s134;abcdeep;sat;168;28.24;213.87;594.2;abcsuperprove;sat;336;3.79;15.76;725.8;avy;sat;168;46.68;180.65;503.6;blimc;sat;168;223.34;222.55;22.6;conpcheck;sat;168;2386.89;7155.75;264.1;iimc;sat;168;242.55;1923.01;445.7;iprover;time;143;3600.23;18461.41;127684.4;iproverdeep;time;145;3600.08;13525.20;109673.0;nuxmv;sat;1723;7.35;27.33;151.1;nuxmvbmc;sat;168;140.40;139.71;155.9;pdtravdeep;sat;169;21.34;65.24;794.8;pdtravthrd;sat;1869;7.69;21.39;1106.8;shiftbmc;sat;168;350.21;349.75;127.4;truss;time;107;3600.14;10828.48;2542.9 +6s145;abcdeep;time;37;3600.10;28677.14;2669.6;abcsuperprove;uns;-1;2267.39;9329.74;2058.7;avy;time;-1;3600.09;14367.03;1717.3;blimc;time;35;3600.08;3599.36;268.7;conpcheck;time;31;3600.10;10797.82;401.0;iimc;time;31;3600.11;28759.81;1538.7;iprover;time;24;3600.03;25337.58;111351.5;iproverdeep;time;24;3600.09;13790.43;82422.1;nuxmv;time;33;3600.09;14395.69;1468.4;nuxmvbmc;time;33;3600.09;3598.92;511.7;pdtravdeep;time;6;3600.34;14364.48;6971.5;pdtravthrd;time;-1;3600.44;21605.84;10318.5;shiftbmc;time;38;3600.07;3599.34;564.9;truss;time;17;3600.18;10826.82;3374.9 +6s158;abcdeep;time;2;3600.08;28660.09;1512.9;abcsuperprove;time;-1;3600.03;111563.24;9482.2;avy;time;-1;3600.03;14387.41;2980.3;blimc;time;2;3600.03;3599.26;123.5;conpcheck;time;1;3600.04;10797.62;259.0;iimc;time;1;3600.71;28169.49;7256.7;iprover;time;1;3600.08;25357.36;17363.7;iproverdeep;time;1;3600.09;14489.66;14998.4;nuxmv;time;1;3600.06;14397.00;968.8;nuxmvbmc;time;1;3600.11;3599.43;341.1;pdtravdeep;time;-1;3600.07;14363.33;3841.7;pdtravthrd;time;-1;3600.20;22104.11;4061.0;shiftbmc;time;2;3600.11;3599.24;621.6;truss;time;1;3600.11;10842.11;1161.9 +6s16;abcdeep;time;13;3600.04;28667.55;1928.3;abcsuperprove;sat;21934;1165.47;13000.77;3618.0;avy;time;-1;3600.10;14385.75;1585.0;blimc;time;13;3600.02;3599.65;140.8;conpcheck;time;11;3600.09;10798.21;286.5;iimc;time;11;3600.13;28763.39;1470.3;iprover;time;10;3600.08;21735.46;63678.4;iproverdeep;time;9;3600.09;9148.35;42532.3;nuxmv;sat;1463;22.76;89.22;258.4;nuxmvbmc;time;11;3600.08;3599.83;422.0;pdtravdeep;time;-1;3600.46;14373.28;12056.7;pdtravthrd;sat;1600;25.16;140.62;1335.2;shiftbmc;time;12;3600.05;3599.30;474.2;truss;time;9;3600.08;10829.44;1480.8 +6s160;abcdeep;time;229;3600.03;28726.91;2377.7;abcsuperprove;time;-1;3600.03;42298.97;3868.7;avy;time;-1;3600.11;14392.85;2598.2;blimc;time;157;3600.04;3599.25;289.3;conpcheck;time;110;3600.09;10798.36;386.5;iimc;time;195;3600.60;28158.82;5899.3;iprover;time;81;3600.34;22685.33;127731.8;iproverdeep;time;81;3600.08;14491.49;98288.7;nuxmv;time;47;3600.08;14398.11;787.3;nuxmvbmc;time;105;3600.08;3599.64;392.7;pdtravdeep;time;-1;3600.38;14374.58;10559.8;pdtravthrd;time;-1;3600.57;25019.81;12729.8;shiftbmc;time;157;3600.11;3598.76;532.4;truss;time;58;3600.14;10836.07;2039.4 +6s163;abcdeep;time;2053;3600.30;15842.21;109244.7;abcsuperprove;time;-1;3600.07;22671.60;119574.8;avy;time;-1;3600.07;10436.53;33714.4;blimc;unk;181;1492.72;1491.96;32931.1;conpcheck;time;961;3600.02;10797.21;33398.7;iimc;time;331;3600.05;24876.50;13331.1;iprover;time;0;3600.27;3310.98;127703.9;iproverdeep;time;2;3600.18;5096.61;127695.2;nuxmv;time;181;3600.13;14376.92;25606.2;nuxmvbmc;time;185;3600.04;3599.89;17779.1;pdtravdeep;time;474;3602.07;8827.95;58507.2;pdtravthrd;time;-1;3602.30;15663.64;54456.1;shiftbmc;unk;1000;883.02;882.10;33880.6;truss;time;10;3600.94;10707.52;37280.3 +6s185;abcdeep;time;20;3600.03;28779.64;1334.6;abcsuperprove;time;-1;3600.05;42191.52;3916.6;avy;time;-1;3600.09;14393.07;1281.2;blimc;time;22;3600.10;3599.39;68.1;conpcheck;time;19;3600.03;10797.52;313.0;iimc;time;87;3600.32;28170.70;4915.2;iprover;time;18;3600.08;25349.88;42447.7;iproverdeep;time;18;3600.03;14486.75;42435.7;nuxmv;time;21;3600.05;14397.97;517.1;nuxmvbmc;time;19;3600.05;3599.28;185.6;pdtravdeep;time;0;3600.04;14388.95;2052.1;pdtravthrd;time;-1;3600.52;24866.03;19704.0;shiftbmc;time;19;3600.04;3599.63;382.9;truss;time;102;3600.10;10838.92;1961.5 +6s186;abcdeep;time;20;3600.07;28776.69;1427.5;abcsuperprove;time;-1;3600.08;44366.45;3451.5;avy;time;-1;3600.10;14396.13;1145.5;blimc;time;22;3600.11;3599.25;85.4;conpcheck;time;18;3600.05;10799.10;279.6;iimc;time;83;3600.36;28165.90;3971.6;iprover;time;18;3600.09;25341.15;35543.2;iproverdeep;time;18;3600.09;14487.88;30028.6;nuxmv;time;22;3600.10;14397.50;465.1;nuxmvbmc;time;18;3600.04;3599.34;167.4;pdtravdeep;time;0;3600.13;14387.25;2171.6;pdtravthrd;time;-1;3600.28;23112.40;8835.7;shiftbmc;time;19;3600.10;3598.59;492.7;truss;time;85;3600.14;10837.56;1817.8 +6s187;abcdeep;time;20;3600.05;28789.99;1250.8;abcsuperprove;time;-1;3600.12;22953.51;3132.2;avy;time;-1;3600.07;14393.60;1111.7;blimc;time;20;3600.10;3599.27;98.5;conpcheck;time;16;3600.06;10797.61;299.8;iimc;sat;563;2860.44;22813.93;4090.9;iprover;time;17;3600.12;25333.64;48493.0;iproverdeep;time;17;3600.04;14488.34;29395.7;nuxmv;time;22;3600.08;14397.28;461.5;nuxmvbmc;time;17;3600.11;3599.39;156.2;pdtravdeep;time;0;3600.04;14389.70;1928.8;pdtravthrd;time;-1;3600.25;25092.29;7619.5;shiftbmc;time;17;3600.04;3599.39;344.4;truss;time;88;3600.12;10831.05;2263.3 +6s188;abcdeep;time;45;3600.09;28775.64;2250.8;abcsuperprove;time;-1;3600.07;30483.60;3029.3;avy;time;-1;3600.11;14393.94;6571.8;blimc;time;44;3600.07;3599.51;182.0;conpcheck;time;30;3600.06;10799.22;363.1;iimc;time;42;3600.07;28779.59;1368.6;iprover;time;32;3600.04;21735.95;99074.3;iproverdeep;time;32;3600.08;10638.49;70754.7;nuxmv;time;44;3600.10;14395.22;931.6;nuxmvbmc;time;44;3600.05;3598.94;545.9;pdtravdeep;time;-1;3600.33;14382.25;16644.4;pdtravthrd;time;-1;3600.70;21613.99;18256.9;shiftbmc;time;42;3600.11;3599.24;725.3;truss;time;30;3600.18;10873.42;1774.8 +6s191;abcdeep;time;182;3600.04;28726.17;2063.1;abcsuperprove;time;-1;3600.02;41890.91;3474.4;avy;time;-1;3600.11;14393.38;2259.0;blimc;time;162;3600.07;3599.57;195.4;conpcheck;time;115;3600.06;10797.62;376.1;iimc;time;118;3600.10;28788.93;1334.3;iprover;time;85;3600.10;21418.83;127710.4;iproverdeep;time;84;3600.05;14495.56;97148.1;nuxmv;time;52;3600.12;14400.12;710.0;nuxmvbmc;time;110;3600.06;3600.06;356.7;pdtravdeep;time;2;3600.56;14379.66;10491.4;pdtravthrd;time;-1;3601.15;24311.11;26881.3;shiftbmc;time;170;3600.04;3599.78;460.8;truss;time;63;3600.14;10833.73;2222.8 +6s195;abcdeep;time;6379567;3600.29;27088.12;127751.1;abcsuperprove;time;-1;3600.05;19061.25;80548.5;avy;time;-1;3600.10;14390.84;2866.3;blimc;time;371;3600.12;3599.32;241.8;conpcheck;time;208;3600.03;10797.07;518.9;iimc;time;297;3600.10;28771.32;1232.7;iprover;time;114;3600.72;15232.83;127675.0;iproverdeep;time;124;3600.04;14491.11;122725.2;nuxmv;time;549;3600.08;14399.10;1686.5;nuxmvbmc;time;553;3600.12;3599.69;1309.9;pdtravdeep;time;17;3600.45;13465.91;10117.7;pdtravthrd;time;-1;3600.56;15881.96;13400.7;shiftbmc;time;361;3600.03;3598.78;679.7;truss;time;91;3600.15;10827.72;2277.2 +6s20;abcdeep;sat;9;408.27;2711.70;1012.8;abcsuperprove;sat;15;142.83;1160.89;1324.2;avy;time;-1;3600.04;14370.65;2223.8;blimc;sat;9;567.88;567.13;82.8;conpcheck;sat;9;2660.53;7974.99;324.0;iimc;time;8;3601.14;28129.64;12035.4;iprover;sat;9;2537.84;15329.88;69391.7;iproverdeep;time;7;3600.07;9529.78;49970.2;nuxmv;sat;9;931.08;3722.68;728.8;nuxmvbmc;sat;9;2396.68;2395.81;557.9;pdtravdeep;sat;10;168.57;284.37;1281.6;pdtravthrd;sat;9;629.92;3649.15;3223.5;shiftbmc;sat;9;422.48;421.86;208.5;truss;time;7;3600.12;10885.02;1444.4 +6s202b41;abcdeep;mem;2058814;117.63;794.76;128013.8;abcsuperprove;uns;-1;6.59;6.12;212.3;avy;time;-1;3600.10;3541.68;198.8;blimc;time;485;3600.39;3599.34;26965.8;conpcheck;time;1000;3600.04;7199.02;1513.4;iimc;uns;-1;18.44;18.19;350.0;iprover;time;6;3600.88;6447.20;127716.3;iproverdeep;time;43;3600.23;9025.92;117885.5;nuxmv;uns;-1;12.64;42.51;2070.6;nuxmvbmc;unk;1001;6.26;6.07;346.0;pdtravdeep;uns;-1;7.06;6.89;792.6;pdtravthrd;uns;-1;8.10;7.10;1238.2;shiftbmc;unk;1000;157.07;156.66;1089.6;truss;time;94;3600.39;10801.06;11767.6 +6s204b16;abcdeep;time;33838938;3601.50;5120.97;127690.2;abcsuperprove;uns;-1;3.29;2.38;103.2;avy;time;-1;3600.07;10734.58;10878.1;blimc;unk;1000;889.55;888.74;11361.4;conpcheck;time;1000;3600.12;7198.27;3502.2;iimc;uns;-1;14.18;13.49;149.1;iprover;time;61;3600.14;15117.05;127629.6;iproverdeep;time;84;3600.08;11130.60;127689.4;nuxmv;uns;-1;6.51;21.25;972.3;nuxmvbmc;unk;1001;82.86;82.12;4118.0;pdtravdeep;uns;-1;18.48;18.20;392.3;pdtravthrd;uns;-1;19.09;18.40;628.5;shiftbmc;unk;1000;34.90;34.27;3380.3;truss;uns;-1;2705.59;8132.90;6673.3 +6s205b20;abcdeep;time;4019601;3600.23;9103.13;127683.6;abcsuperprove;uns;-1;6.78;5.91;212.3;avy;time;-1;3600.09;3541.37;187.1;blimc;time;521;3600.32;3598.79;25867.9;conpcheck;time;1000;3600.08;7198.65;1451.1;iimc;uns;-1;18.67;17.79;349.8;iprover;time;54;3601.07;6755.28;127723.0;iproverdeep;time;56;3600.09;7300.77;127703.8;nuxmv;uns;-1;12.48;40.69;2066.1;nuxmvbmc;unk;1001;6.57;5.97;343.8;pdtravdeep;uns;-1;7.58;6.69;789.7;pdtravthrd;uns;-1;7.29;6.90;1229.4;shiftbmc;unk;1000;154.95;154.56;1082.5;truss;time;94;3600.36;10800.22;12357.3 +6s206rb103;abcdeep;uns;-1;6.01;7.47;976.1;abcsuperprove;uns;-1;1.45;1.11;85.5;avy;time;-1;3600.05;3591.96;70.8;blimc;unk;1000;630.52;630.27;8259.9;conpcheck;uns;-1;2.59;2.07;163.5;iimc;uns;-1;2.53;1.59;65.1;iprover;uns;-1;32.63;224.06;11046.4;iproverdeep;time;834;3600.13;6617.34;127691.2;nuxmv;uns;-1;1.90;4.24;600.8;nuxmvbmc;unk;1001;1.23;0.57;102.0;pdtravdeep;uns;-1;3.03;1.99;357.9;pdtravthrd;uns;-1;2.66;1.99;579.6;shiftbmc;unk;1000;65.62;65.28;840.8;truss;uns;-1;10.10;26.37;1413.1 +6s207rb28;abcdeep;sat;7;2.07;1.65;258.9;abcsuperprove;sat;7;1.16;1.41;679.0;avy;sat;7;4.27;3.18;130.4;blimc;sat;7;7.35;6.79;24.8;conpcheck;sat;7;27.67;76.28;170.7;iimc;sat;7;22.18;30.65;450.7;iprover;sat;7;62.24;427.61;13594.9;iproverdeep;sat;7;62.53;245.23;8025.9;nuxmv;sat;7;1.95;3.02;247.9;nuxmvbmc;sat;7;1.15;0.67;83.5;pdtravdeep;sat;7;23.91;33.38;1039.0;pdtravthrd;sat;7;24.53;72.71;1526.2;shiftbmc;sat;7;8.70;8.48;84.0;truss;sat;7;2.45;6.47;388.2 +6s209b0;abcdeep;uns;-1;1.92;1.67;318.7;abcsuperprove;uns;-1;1.06;0.22;41.8;avy;time;-1;3600.06;3599.21;29.6;blimc;time;253;3600.08;3599.53;1317.9;conpcheck;uns;-1;2.70;2.05;90.2;iimc;uns;-1;0.78;0.09;28.1;iprover;uns;-1;4.59;26.19;1348.8;iproverdeep;time;907;3600.34;10963.33;127726.8;nuxmv;uns;-1;1.18;0.17;128.9;nuxmvbmc;unk;1001;0.68;0.07;22.3;pdtravdeep;uns;-1;652.00;2539.69;1056.4;pdtravthrd;uns;-1;5.30;6.51;1239.5;shiftbmc;unk;1000;4.22;3.88;62.5;truss;uns;-1;2.62;8.37;351.8 +6s210b037;abcdeep;sat;8;1.45;0.41;91.1;abcsuperprove;sat;8;0.93;0.17;37.3;avy;sat;8;1.00;0.53;29.4;blimc;sat;8;0.56;0.39;5.2;conpcheck;sat;8;2.91;2.05;59.8;iimc;sat;10;1.48;0.85;47.8;iprover;sat;8;6.22;36.05;1237.0;iproverdeep;sat;8;5.72;18.98;723.3;nuxmv;sat;9;1.35;0.16;98.2;nuxmvbmc;sat;8;0.68;0.15;42.2;pdtravdeep;sat;8;5.17;2.72;513.8;pdtravthrd;unk;-1;1.78;1.73;233.8;shiftbmc;sat;8;1.22;0.98;23.7;truss;sat;8;1.18;1.08;119.6 +6s215rb0;abcdeep;sat;8;1.16;0.51;92.6;abcsuperprove;sat;8;0.96;0.32;56.3;avy;sat;8;1.84;0.92;108.1;blimc;sat;8;1.85;1.69;6.6;conpcheck;sat;8;3.47;5.67;92.8;iimc;sat;12;6.72;9.04;225.4;iprover;sat;8;16.57;107.50;4043.7;iproverdeep;sat;8;15.81;58.65;2339.0;nuxmv;sat;15;0.72;0.47;126.7;nuxmvbmc;sat;8;0.56;0.18;44.6;pdtravdeep;sat;8;17.79;16.55;550.4;pdtravthrd;sat;8;18.36;40.66;1173.3;shiftbmc;sat;8;2.56;1.58;43.5;truss;sat;8;0.71;1.48;146.3 +6s216rb0;abcdeep;sat;14;1.22;0.70;195.5;abcsuperprove;sat;14;0.60;0.49;473.0;avy;sat;14;1.80;0.92;52.9;blimc;sat;14;2.61;1.99;8.7;conpcheck;sat;14;6.85;13.54;125.3;iimc;sat;16;7.53;8.98;242.7;iprover;sat;14;32.66;218.96;6514.4;iproverdeep;sat;14;31.18;121.64;3871.4;nuxmv;sat;15;0.92;0.56;127.1;nuxmvbmc;sat;14;0.82;0.26;50.2;pdtravdeep;sat;14;18.49;17.24;602.1;pdtravthrd;sat;15;16.83;40.00;1183.7;shiftbmc;sat;14;2.34;1.58;55.2;truss;sat;14;1.57;2.58;213.2 +6s218b2950;abcdeep;sat;26;17.11;27.74;1545.0;abcsuperprove;sat;26;5.19;7.30;1669.8;avy;sat;26;19.00;17.53;319.2;blimc;sat;26;117.76;116.97;294.0;conpcheck;sat;26;302.83;894.64;475.5;iimc;sat;26;138.36;286.77;4311.3;iprover;sat;26;663.75;4652.83;70256.2;iproverdeep;sat;26;2216.59;8906.93;67568.0;nuxmv;sat;27;18.27;66.95;1714.2;nuxmvbmc;sat;26;16.36;15.28;454.1;pdtravdeep;sat;26;284.26;344.83;3312.4;pdtravthrd;sat;30;278.74;362.54;5225.8;shiftbmc;sat;26;94.74;94.36;317.2;truss;time;24;3600.14;10809.25;6625.3 +6s22;abcdeep;time;57;3600.11;28454.36;2233.7;abcsuperprove;time;-1;3600.05;22175.99;3817.1;avy;time;-1;3600.04;14388.18;1429.4;blimc;time;59;3600.04;3599.36;218.8;conpcheck;time;44;3600.06;10797.62;383.6;iimc;time;53;3600.07;28747.71;1276.6;iprover;time;42;3600.05;25334.03;115162.2;iproverdeep;time;37;3600.03;14490.81;83722.4;nuxmv;time;11;3600.07;14397.29;1071.9;nuxmvbmc;time;57;3600.03;3599.22;785.1;pdtravdeep;time;-1;3601.29;14360.59;34253.0;pdtravthrd;time;-1;3600.76;21407.20;19922.3;shiftbmc;time;54;3600.10;3599.30;416.3;truss;time;50;3600.12;10829.17;2164.9 +6s221rb14;abcdeep;uns;-1;9.46;12.22;1508.7;abcsuperprove;uns;-1;2.65;1.81;114.9;avy;time;-1;3600.04;3590.79;86.6;blimc;unk;1000;1708.36;1707.11;21210.1;conpcheck;uns;-1;3.15;5.85;225.3;iimc;uns;-1;2.10;1.39;80.9;iprover;time;49;3600.31;14556.32;127701.4;iproverdeep;time;51;3600.02;14473.87;115878.4;nuxmv;uns;-1;3.53;7.92;955.1;nuxmvbmc;unk;1001;1.79;1.17;157.4;pdtravdeep;uns;-1;3.44;2.59;470.7;pdtravthrd;uns;-1;3.64;2.79;775.8;shiftbmc;unk;1000;47.72;47.28;541.0;truss;uns;-1;60.14;197.06;3047.9 +6s267rb3;abcdeep;time;27;3600.05;28732.10;1954.4;abcsuperprove;time;-1;3600.08;28436.74;5351.0;avy;time;-1;3600.05;14391.26;1171.4;blimc;time;26;3600.03;3599.26;159.7;conpcheck;time;24;3600.09;10798.62;304.9;iimc;time;24;3600.06;28751.42;1589.7;iprover;time;22;3600.09;23197.95;105097.1;iproverdeep;time;21;3600.05;12455.57;76827.5;nuxmv;time;24;3600.12;14398.84;1379.7;nuxmvbmc;time;25;3600.09;3599.41;700.4;pdtravdeep;time;1;3600.39;14326.17;9667.1;pdtravthrd;time;-1;3600.99;24348.19;26882.0;shiftbmc;time;25;3600.05;3599.64;746.9;truss;time;20;3600.12;10845.91;1919.5 +6s268r;abcdeep;time;129;3600.04;28727.22;6987.1;abcsuperprove;time;-1;3600.04;30416.93;7390.6;avy;time;-1;3600.06;14394.08;1932.6;blimc;time;129;3600.07;3599.47;557.2;conpcheck;time;129;3600.03;10797.71;426.5;iimc;time;129;3600.17;28787.49;3342.2;iprover;time;128;3600.22;23625.36;90558.0;iproverdeep;time;128;3600.04;14490.70;68391.3;nuxmv;time;38;3600.03;14397.98;5287.1;nuxmvbmc;time;129;3600.07;3599.25;3329.8;pdtravdeep;time;-1;3601.31;14323.01;25371.1;pdtravthrd;time;-1;3600.51;25061.95;13848.5;shiftbmc;time;129;3600.09;3599.24;459.8;truss;time;129;3600.16;10835.03;1751.8 +6s269r;abcdeep;time;89;3600.04;28778.36;2138.1;abcsuperprove;uns;-1;179.53;2008.45;1278.2;avy;uns;-1;1858.12;7425.11;925.0;blimc;time;30;3600.05;3599.58;80.0;conpcheck;uns;-1;2242.02;6709.29;268.7;iimc;time;35;3600.23;28148.73;2527.6;iprover;time;27;3600.09;25335.99;44989.7;iproverdeep;time;27;3600.08;14487.52;50954.8;nuxmv;uns;-1;215.03;859.25;218.7;nuxmvbmc;time;31;3600.08;3598.76;314.5;pdtravdeep;time;-1;3600.08;14386.47;2720.5;pdtravthrd;uns;-1;747.84;4892.45;4557.0;shiftbmc;time;141;3600.09;3599.23;598.7;truss;uns;-1;263.05;819.02;466.2 +6s271rb079;abcdeep;uns;-1;5.09;6.94;661.6;abcsuperprove;uns;-1;3.82;7.27;1327.8;avy;uns;-1;19.71;18.83;331.8;blimc;time;60;3600.06;3599.20;1104.4;conpcheck;uns;-1;3.58;6.04;172.9;iimc;uns;-1;18.64;17.99;653.2;iprover;time;49;3600.48;11028.83;127709.6;iproverdeep;time;60;3600.22;11269.77;127707.3;nuxmv;uns;-1;4.69;16.90;840.9;nuxmvbmc;time;314;3600.06;3598.89;7671.6;pdtravdeep;time;958;3603.14;9383.41;55434.3;pdtravthrd;uns;-1;26.31;43.54;2573.6;shiftbmc;unk;1000;163.68;163.06;25590.2;truss;uns;-1;33.27;113.90;2042.1 +6s274r;abcdeep;time;66126;3600.03;28674.89;89356.8;abcsuperprove;time;-1;3600.03;34260.90;76155.4;avy;time;-1;3600.11;10794.98;5156.1;blimc;unk;1000;115.38;114.68;549.1;conpcheck;time;1000;3600.03;6731.12;1951.5;iimc;time;65683;3600.34;28719.58;11409.2;iprover;time;143;3600.06;11635.69;127659.5;iproverdeep;time;178;3600.09;13001.45;127680.9;nuxmv;time;22587;3600.06;14398.68;36302.6;nuxmvbmc;unk;1001;27.49;27.36;1602.5;pdtravdeep;time;28550;3602.74;9298.99;53472.4;pdtravthrd;unk;-1;3.57;5.33;233.4;shiftbmc;unk;1000;10.65;10.08;1850.1;truss;time;471;3600.31;10828.62;5478.6 +6s275rb318;abcdeep;uns;-1;1.89;2.13;389.7;abcsuperprove;uns;-1;1.13;0.20;41.6;avy;uns;-1;1.43;0.52;45.9;blimc;time;610;3600.07;3599.48;1540.5;conpcheck;uns;-1;3.77;3.05;87.0;iimc;uns;-1;0.85;0.19;30.9;iprover;time;117;3600.21;14651.50;127706.9;iproverdeep;time;91;3600.13;13743.57;127669.9;nuxmv;uns;-1;0.80;0.71;147.9;nuxmvbmc;unk;1001;9.74;9.25;164.5;pdtravdeep;uns;-1;3.17;2.40;126.0;pdtravthrd;uns;-1;2.65;1.79;233.0;shiftbmc;unk;1000;131.19;130.58;178.7;truss;uns;-1;7.05;24.46;413.2 +6s276rb342;abcdeep;uns;-1;2.14;1.59;299.2;abcsuperprove;uns;-1;1.26;0.22;53.8;avy;uns;-1;1.72;0.55;105.4;blimc;time;677;3600.06;3599.16;2338.0;conpcheck;uns;-1;2.79;2.86;89.3;iimc;uns;-1;0.72;0.19;31.0;iprover;time;91;3600.67;13130.75;127723.5;iproverdeep;time;94;3600.19;12370.58;113240.0;nuxmv;uns;-1;0.56;0.36;139.9;nuxmvbmc;unk;1001;6.68;6.27;130.1;pdtravdeep;uns;-1;4.24;3.49;166.5;pdtravthrd;uns;-1;3.10;2.89;234.0;shiftbmc;unk;1000;11.07;10.38;160.2;truss;uns;-1;6.86;23.64;408.6 +6s279r;abcdeep;time;17;3600.10;28741.85;1436.9;abcsuperprove;time;-1;3600.09;41915.96;3258.0;avy;time;-1;3600.08;14393.07;1004.9;blimc;time;17;3600.03;3599.67;93.1;conpcheck;time;13;3600.08;10798.67;291.3;iimc;time;15;3600.06;28765.45;1033.4;iprover;time;15;3600.07;25350.92;31949.3;iproverdeep;time;15;3600.07;14483.61;30510.8;nuxmv;time;12;3600.03;14398.48;536.1;nuxmvbmc;time;15;3600.06;3599.38;222.0;pdtravdeep;time;-1;3600.05;14388.40;1888.9;pdtravthrd;time;-1;3600.36;21633.21;8278.4;shiftbmc;time;15;3600.09;3599.39;553.8;truss;time;11;3600.13;10830.86;1864.5 +6s280r;abcdeep;time;19;3600.05;28772.51;1517.4;abcsuperprove;time;-1;3600.08;42657.73;4667.8;avy;time;-1;3600.07;14396.35;1001.6;blimc;time;19;3600.05;3599.36;96.8;conpcheck;time;14;3600.11;10797.95;295.1;iimc;time;16;3600.04;28788.03;1225.6;iprover;time;16;3600.10;25334.73;31217.5;iproverdeep;time;16;3600.03;14481.29;22951.0;nuxmv;time;13;3600.04;14397.81;486.4;nuxmvbmc;time;16;3600.08;3599.95;196.8;pdtravdeep;time;-1;3600.08;14391.39;1441.1;pdtravthrd;time;-1;3600.24;21642.75;5674.3;shiftbmc;time;16;3600.03;3599.20;854.9;truss;time;12;3600.08;10847.10;1793.2 +6s281b35;abcdeep;mem;328098;249.80;1139.51;128095.9;abcsuperprove;uns;-1;33.61;180.13;8675.3;avy;uns;-1;980.02;3433.56;7880.3;blimc;time;29;3600.03;3599.19;455.8;conpcheck;uns;-1;1078.99;3219.70;1615.3;iimc;uns;-1;27.04;26.87;601.3;iprover;time;17;3600.10;17325.55;122451.5;iproverdeep;time;9;3600.04;7920.50;77379.1;nuxmv;uns;-1;420.84;1645.52;6923.2;nuxmvbmc;time;25;3600.09;3599.11;1709.6;pdtravdeep;uns;-1;18.34;18.00;2314.2;pdtravthrd;uns;-1;19.33;18.79;3537.8;shiftbmc;time;116;3600.07;3599.06;2246.0;truss;time;1;3600.97;10556.51;30731.6 +6s288r;abcdeep;uns;-1;13.18;46.29;2265.3;abcsuperprove;uns;-1;12.96;147.11;3494.5;avy;uns;-1;27.56;49.29;1019.2;blimc;time;509;3600.09;3598.93;4699.4;conpcheck;uns;-1;21.77;58.24;194.8;iimc;uns;-1;396.52;2654.17;6895.3;iprover;time;109;3600.12;0.00;5.3;iproverdeep;time;95;3600.11;11985.05;109326.3;nuxmv;uns;-1;37.72;145.80;1895.7;nuxmvbmc;unk;1001;501.31;500.72;11624.8;pdtravdeep;time;1266;3602.83;9085.26;52826.5;pdtravthrd;uns;-1;514.69;1141.18;3054.3;shiftbmc;unk;1000;72.41;72.07;8906.1;truss;uns;-1;122.45;385.49;2148.0 +6s29;abcdeep;time;165;3600.07;28625.00;3639.3;abcsuperprove;time;-1;3600.09;23207.64;3578.9;avy;time;-1;3600.06;14393.38;2062.5;blimc;time;166;3600.11;3599.20;239.4;conpcheck;time;101;3600.08;10798.63;486.4;iimc;time;126;3600.11;28733.10;2144.1;iprover;time;52;3600.08;25330.63;127059.1;iproverdeep;time;52;3600.12;14488.29;85687.4;nuxmv;time;155;3600.03;14400.06;2194.1;nuxmvbmc;time;156;3600.06;3599.38;1511.9;pdtravdeep;time;2;3600.90;14303.64;29341.9;pdtravthrd;time;-1;3601.29;24781.13;42406.3;shiftbmc;time;153;3600.06;3599.72;542.6;truss;time;79;3600.19;10831.33;2812.9 +6s290;abcdeep;uns;-1;67.40;463.18;1123.1;abcsuperprove;time;-1;3600.05;42469.04;7715.6;avy;uns;-1;13.75;29.24;247.6;blimc;time;167;3600.03;3599.71;275.3;conpcheck;uns;-1;138.93;393.64;158.7;iimc;time;17;3600.09;28780.50;1768.5;iprover;time;13;3600.10;25338.37;31179.6;iproverdeep;time;13;3600.05;14492.04;19455.1;nuxmv;time;12;3600.09;14396.15;976.7;nuxmvbmc;time;13;3600.07;3599.67;172.5;pdtravdeep;time;15;3600.05;14375.71;2075.0;pdtravthrd;uns;-1;100.30;557.81;2624.2;shiftbmc;time;179;3600.06;3598.85;1766.1;truss;uns;-1;1618.21;4876.46;2426.8 +6s292rb037;abcdeep;time;1015;3600.03;28777.55;20256.1;abcsuperprove;uns;-1;1.74;20.12;1035.8;avy;time;-1;3600.10;14395.67;12992.6;blimc;time;233;3600.05;3599.19;203.8;conpcheck;time;366;3600.05;10219.11;583.9;iimc;uns;-1;16.91;130.17;177.3;iprover;time;181;3600.41;14772.54;127687.8;iproverdeep;time;192;3600.11;13761.00;127659.9;nuxmv;time;369;3600.08;14399.50;1175.7;nuxmvbmc;time;371;3600.02;3599.71;759.9;pdtravdeep;uns;-1;3.71;2.89;132.4;pdtravthrd;uns;-1;6.02;7.29;254.1;shiftbmc;unk;1000;2927.81;2926.82;1032.7;truss;uns;-1;82.81;276.99;1007.7 +6s299b685;abcdeep;sat;22;183.63;266.76;16224.2;abcsuperprove;sat;37;2272.16;14284.10;66990.9;avy;sat;22;142.42;120.01;9683.3;blimc;time;5;3600.14;3599.33;10687.0;conpcheck;time;4;3600.06;10798.06;6147.9;iimc;s6;-1;1240.16;1238.90;11190.9;iprover;time;-1;3600.22;2742.26;127708.1;iproverdeep;time;-1;3600.31;2586.28;127699.1;nuxmv;time;5;3600.17;14317.91;40198.8;nuxmvbmc;time;7;3600.13;3598.19;10943.1;pdtravdeep;time;20;3602.73;7301.26;71342.5;pdtravthrd;time;-1;3603.23;17264.86;93363.0;shiftbmc;time;-1;3600.03;3599.02;4379.9;truss;time;1;3602.55;9512.97;64696.8 +6s310r;abcdeep;time;972;3600.07;28770.84;4586.0;abcsuperprove;uns;-1;230.58;2438.27;1352.1;avy;uns;-1;480.66;1919.68;882.3;blimc;time;66;3600.09;3599.43;81.6;conpcheck;uns;-1;1106.21;3302.86;313.5;iimc;uns;-1;2411.09;18354.69;3343.8;iprover;time;36;3600.05;22130.42;80524.6;iproverdeep;time;35;3600.07;14491.22;66337.8;nuxmv;uns;-1;110.81;440.53;245.1;nuxmvbmc;time;344;3600.04;3599.58;787.9;pdtravdeep;time;-1;3600.23;13490.13;6008.9;pdtravthrd;uns;-1;2315.39;14065.40;6251.7;shiftbmc;time;781;3600.08;3599.41;1583.5;truss;time;32;3600.08;10828.07;1589.5 +6s316b421;abcdeep;time;18;3600.10;27983.67;3917.3;abcsuperprove;time;-1;3600.07;25726.70;8332.3;avy;time;-1;3600.08;14147.75;2722.1;blimc;time;15;3600.06;3599.60;1116.6;conpcheck;time;14;3600.08;10797.42;1645.9;iimc;time;15;3600.16;28255.00;6164.2;iprover;time;13;3600.20;12067.75;127638.9;iproverdeep;time;14;3600.15;14176.52;127707.2;nuxmv;time;13;3600.12;14393.96;5026.3;nuxmvbmc;time;15;3600.06;3598.92;1557.2;pdtravdeep;time;-1;3600.59;14004.76;13176.9;pdtravthrd;time;-1;3600.57;20759.29;13442.6;shiftbmc;time;15;3600.07;3599.35;1963.3;truss;time;13;3600.43;10812.94;11746.3 +6s316b460;abcdeep;time;19;3600.10;27954.88;3525.8;abcsuperprove;time;-1;3600.12;26230.92;8044.9;avy;time;-1;3600.10;14145.76;3763.8;blimc;time;15;3600.05;3599.39;1061.6;conpcheck;time;14;3600.11;10797.98;1269.7;iimc;time;15;3600.07;28265.23;6277.3;iprover;time;13;3600.24;9820.23;127714.7;iproverdeep;time;13;3600.10;14490.17;123323.3;nuxmv;time;13;3600.12;14392.37;5382.3;nuxmvbmc;time;15;3600.03;3599.37;1336.7;pdtravdeep;time;-1;3600.56;14004.08;12380.0;pdtravthrd;time;-1;3600.67;20756.35;13976.8;shiftbmc;time;15;3600.06;3599.30;1257.6;truss;time;14;3600.36;10810.44;11179.0 +6s319r;abcdeep;sat;158;5.19;25.87;390.2;abcsuperprove;sat;158;14.69;179.73;1004.8;avy;sat;158;19.89;74.67;456.4;blimc;sat;158;18.04;17.28;19.5;conpcheck;sat;158;389.19;1159.62;140.8;iimc;sat;158;79.72;633.22;276.5;iprover;sat;158;847.28;5944.54;57565.8;iproverdeep;sat;158;942.16;3780.03;40656.4;nuxmv;sat;30441;47.55;184.54;179.3;nuxmvbmc;sat;158;67.70;66.83;99.9;pdtravdeep;sat;158;5.70;11.41;732.5;pdtravthrd;sat;998;15.36;75.81;1199.0;shiftbmc;sat;158;58.11;57.08;55.4;truss;time;116;3600.23;10876.39;3430.5 +6s320rb1;abcdeep;sat;9;2068.29;14306.52;1589.3;abcsuperprove;sat;16;245.22;1327.62;1876.2;avy;time;-1;3600.04;14371.76;1115.7;blimc;sat;9;1258.90;1258.31;91.6;conpcheck;time;7;3600.11;10798.09;311.7;iimc;time;8;3601.14;26617.01;11185.2;iprover;time;7;3600.07;25331.03;58533.4;iproverdeep;time;7;3600.10;11452.39;42926.5;nuxmv;sat;28128;792.30;3163.20;821.1;nuxmvbmc;time;8;3600.11;3598.74;518.3;pdtravdeep;sat;10;128.22;276.96;1345.3;pdtravthrd;sat;17;1228.34;8154.94;5914.4;shiftbmc;sat;9;1867.70;1866.95;192.5;truss;time;7;3600.05;10863.61;1410.4 +6s322rb646;abcdeep;time;14;3600.10;27987.29;9028.7;abcsuperprove;time;-1;3600.10;20147.76;16805.9;avy;time;-1;3600.11;14049.10;3017.1;blimc;time;8;3600.04;3600.10;1043.6;conpcheck;time;8;3600.04;10799.27;1410.6;iimc;time;9;3600.25;28117.73;8508.3;iprover;time;5;3600.21;8721.85;127700.3;iproverdeep;time;4;3600.06;9631.49;119970.2;nuxmv;time;10;3600.04;14390.51;8253.2;nuxmvbmc;time;10;3600.03;3599.01;4133.1;pdtravdeep;time;-1;3600.96;14043.47;20227.8;pdtravthrd;time;-1;3601.06;20877.74;26275.7;shiftbmc;time;10;3600.08;3599.30;1501.4;truss;time;5;3600.18;10805.98;8426.4 +6s329rb19;abcdeep;time;47;3600.06;28365.76;3207.2;abcsuperprove;time;-1;3600.08;35699.95;4782.0;avy;time;-1;3600.11;14333.27;3130.3;blimc;time;47;3600.10;3599.26;698.5;conpcheck;time;29;3600.05;10796.59;859.4;iimc;time;55;3600.07;28331.60;2407.3;iprover;time;16;3600.14;8953.87;127698.6;iproverdeep;time;19;3600.11;13950.88;127672.6;nuxmv;time;30;3600.07;14396.62;6886.1;nuxmvbmc;time;31;3600.10;3598.87;1248.9;pdtravdeep;time;1;3600.43;14232.83;9036.6;pdtravthrd;time;-1;3600.45;21399.57;9663.4;shiftbmc;time;39;3600.04;3598.92;975.4;truss;time;15;3600.18;10817.13;6113.3 +6s341r;abcdeep;time;17;3600.04;28602.09;2597.5;abcsuperprove;time;-1;3600.05;30023.99;4543.0;avy;time;-1;3600.11;14374.86;4754.2;blimc;time;22;3600.04;3599.34;257.3;conpcheck;time;15;3600.03;10797.96;473.9;iimc;time;12;3600.05;28606.34;1928.8;iprover;time;12;3600.11;25339.39;95119.4;iproverdeep;time;12;3600.11;14487.26;62530.4;nuxmv;time;13;3600.08;14397.77;2493.4;nuxmvbmc;time;13;3600.08;3599.42;1001.6;pdtravdeep;time;-1;3600.68;13433.14;12797.9;pdtravthrd;time;-1;3600.34;20313.14;8314.2;shiftbmc;time;20;3600.07;3598.76;626.1;truss;time;12;3600.21;10953.88;2753.1 +6s342rb122;abcdeep;time;402;3600.04;28068.12;14277.2;abcsuperprove;time;-1;3600.11;41435.20;11612.0;avy;time;-1;3600.07;14242.52;6190.8;blimc;time;202;3600.08;3599.61;1280.9;conpcheck;time;215;3600.03;10797.27;1944.2;iimc;time;245;3600.13;28514.06;3084.5;iprover;time;69;3600.19;13097.51;127655.2;iproverdeep;time;72;3600.02;12931.29;117821.7;nuxmv;time;295;3600.06;14394.00;7054.7;nuxmvbmc;time;311;3600.03;3599.03;3817.2;pdtravdeep;time;30;3602.04;13136.38;33826.4;pdtravthrd;time;-1;3600.76;18333.10;18060.7;shiftbmc;time;267;3600.03;3598.97;2237.0;truss;time;33;3600.53;10804.53;18952.5 +6s343b08;abcdeep;uns;-1;364.90;2700.83;6183.6;abcsuperprove;uns;-1;21.02;285.48;2359.8;avy;uns;-1;62.74;223.35;1248.9;blimc;time;65;3600.12;3598.94;731.0;conpcheck;time;1000;3600.10;7199.04;9194.7;iimc;uns;-1;312.13;2260.97;3111.3;iprover;time;42;3600.39;18485.27;127669.0;iproverdeep;time;41;3600.09;14491.27;95239.1;nuxmv;uns;-1;22.56;87.34;899.2;nuxmvbmc;time;721;3600.10;3598.74;8894.0;pdtravdeep;time;462;3602.53;10103.15;44502.0;pdtravthrd;uns;-1;553.66;1413.46;3056.4;shiftbmc;unk;1000;360.72;360.47;9063.3;truss;time;101;3600.14;10826.90;2936.6 +6s344rb054;abcdeep;uns;-1;3.53;4.01;544.6;abcsuperprove;uns;-1;1.56;0.52;59.7;avy;time;-1;3600.07;3595.02;55.5;blimc;time;525;3600.05;3599.27;1109.0;conpcheck;uns;-1;2.45;1.96;71.1;iimc;uns;-1;1.82;1.29;70.3;iprover;unk;0;16.06;106.86;7435.4;iproverdeep;unk;2;35.06;68.16;4455.6;nuxmv;uns;-1;1.14;0.99;301.5;nuxmvbmc;unk;1001;0.64;0.16;54.9;pdtravdeep;uns;-1;69.61;68.99;232.6;pdtravthrd;uns;-1;71.59;71.09;325.9;shiftbmc;unk;1000;11.87;11.38;71.8;truss;uns;-1;4.42;8.13;725.0 +6s344rb150;abcdeep;uns;-1;6.58;16.13;1694.3;abcsuperprove;uns;-1;1.34;0.49;57.9;avy;time;-1;3600.08;3594.87;55.6;blimc;time;561;3600.05;3599.55;1158.9;conpcheck;uns;-1;13.78;35.14;149.1;iimc;uns;-1;1.96;1.19;69.6;iprover;time;41;3600.35;12724.73;127705.6;iproverdeep;time;55;3600.19;13448.39;127696.5;nuxmv;uns;-1;1.09;0.94;301.7;nuxmvbmc;unk;1001;0.83;0.16;54.9;pdtravdeep;uns;-1;68.98;68.08;232.5;pdtravthrd;uns;-1;70.52;70.20;324.8;shiftbmc;unk;1000;11.90;11.28;73.5;truss;uns;-1;201.72;628.90;1591.7 +6s348b53;abcdeep;time;2870;3600.05;28679.87;14717.4;abcsuperprove;uns;-1;14.71;124.91;1263.6;avy;time;-1;3600.11;14334.17;3587.7;blimc;time;518;3600.10;3599.14;1126.1;conpcheck;time;22;3600.08;10800.11;314.5;iimc;uns;-1;2183.70;17416.82;4261.7;iprover;uns;-1;296.21;2071.17;26244.0;iproverdeep;time;41;3600.08;14489.07;79185.0;nuxmv;time;1766;3600.07;14396.67;7098.7;nuxmvbmc;unk;1001;1973.47;1972.68;3843.1;pdtravdeep;time;20;3600.10;14365.88;3905.1;pdtravthrd;time;-1;3600.17;21588.60;5654.9;shiftbmc;time;62;3600.08;3599.14;2095.7;truss;time;22;3600.15;10812.75;3443.1 +6s351rb02;abcdeep;time;152;3600.05;28584.53;2770.7;abcsuperprove;sat;80609;3044.57;17290.18;3495.6;avy;time;-1;3600.03;14390.02;1604.4;blimc;time;151;3600.08;3599.31;227.7;conpcheck;time;112;3600.03;10798.11;490.9;iimc;time;139;3600.09;28724.64;1444.1;iprover;time;55;3600.18;23704.96;127719.3;iproverdeep;time;55;3600.11;14491.07;94061.6;nuxmv;time;24;3600.04;14397.04;1723.0;nuxmvbmc;time;151;3600.10;3599.20;1326.9;pdtravdeep;time;6;3600.76;14211.10;27158.2;pdtravthrd;time;-1;3601.24;24570.44;31089.7;shiftbmc;time;129;3600.09;3599.39;486.8;truss;time;68;3600.21;10827.95;2791.8 +6s351rb15;abcdeep;time;354;3600.03;28626.36;7967.9;abcsuperprove;sat;22688;35.43;403.53;2560.6;avy;time;-1;3600.06;14389.74;3690.1;blimc;time;339;3600.09;3599.56;976.6;conpcheck;time;318;3600.12;10789.91;979.3;iimc;time;345;3600.11;28726.28;3506.3;iprover;time;256;3600.10;16107.13;127708.4;iproverdeep;time;256;3600.04;14491.28;117351.2;nuxmv;time;354;3600.04;14397.83;4169.8;nuxmvbmc;time;354;3600.04;3599.18;3209.2;pdtravdeep;sat;356;1421.03;4548.92;22336.5;pdtravthrd;sat;3897;311.39;1450.62;2938.1;shiftbmc;time;323;3600.07;3599.25;1038.4;truss;time;228;3600.12;10827.38;2525.1 +6s355rb08740;abcdeep;uns;-1;4.89;4.76;792.6;abcsuperprove;uns;-1;1.42;0.59;61.8;avy;time;-1;3600.06;3593.74;55.3;blimc;unk;1000;360.59;359.79;4412.3;conpcheck;uns;-1;2.16;1.96;74.0;iimc;uns;-1;0.69;0.09;32.3;iprover;unk;-1;2.02;7.75;922.3;iproverdeep;unk;-1;1.99;4.06;509.6;nuxmv;uns;-1;3.39;9.20;439.2;nuxmvbmc;unk;1001;2.11;1.46;100.5;pdtravdeep;uns;-1;1.01;0.80;160.9;pdtravthrd;uns;-1;1.63;0.79;161.2;shiftbmc;unk;1000;12.37;11.77;60.8;truss;uns;-1;3.38;3.29;412.6 +6s359r;abcdeep;time;2253191;3600.43;12721.27;127703.7;abcsuperprove;time;-1;3600.16;25531.99;127748.9;avy;time;-1;3600.11;10793.24;9868.5;blimc;time;19;3600.08;3599.47;62.0;conpcheck;time;5;3600.07;10798.32;256.7;iimc;time;35;3600.24;26673.11;3071.3;iprover;uns;-1;360.75;2523.30;7097.5;iproverdeep;time;11;3600.07;10875.13;11591.7;nuxmv;uns;-1;523.11;2091.42;358.5;nuxmvbmc;time;41;3600.11;3598.89;424.5;pdtravdeep;time;3074;3600.10;5579.90;2990.8;pdtravthrd;time;-1;3600.45;22199.93;10972.7;shiftbmc;time;8;3600.12;3599.37;300.3;truss;uns;-1;1130.43;3483.30;670.1 +6s365r;abcdeep;time;1756;3600.04;28791.16;5413.4;abcsuperprove;time;-1;3600.11;46193.46;9770.1;avy;time;-1;3600.06;10795.13;5141.9;blimc;time;353;3600.12;3599.62;109.5;conpcheck;time;356;3600.11;10797.79;427.9;iimc;time;746;3600.15;28177.25;3095.7;iprover;time;195;3600.09;21270.69;114351.6;iproverdeep;time;100;3600.09;13668.85;106201.4;nuxmv;time;1588;3600.03;14398.46;977.2;nuxmvbmc;unk;1001;1449.38;1448.76;454.7;pdtravdeep;time;6;3600.11;13490.39;5863.2;pdtravthrd;time;-1;3600.63;21144.91;11123.2;shiftbmc;time;849;3600.11;3599.21;526.6;truss;time;991;3600.60;10830.29;11119.0 +6s366r;abcdeep;time;96;3600.10;28671.90;3147.8;abcsuperprove;time;-1;3600.08;38910.16;6477.1;avy;time;-1;3600.07;14391.63;16152.4;blimc;time;70;3600.07;3599.45;262.2;conpcheck;time;69;3600.09;10797.99;443.4;iimc;time;70;3600.07;28774.38;2065.0;iprover;time;33;3600.09;25357.36;85811.0;iproverdeep;time;29;3600.03;14494.86;53272.9;nuxmv;time;67;3600.12;14396.73;8340.2;nuxmvbmc;time;70;3600.02;3599.01;833.6;pdtravdeep;time;-1;3600.59;14321.67;10075.4;pdtravthrd;uns;-1;969.48;6525.19;4681.7;shiftbmc;time;70;3600.03;3598.91;442.5;truss;time;56;3600.22;10828.13;3081.4 +6s367r;abcdeep;time;73;3600.08;28648.31;5071.9;abcsuperprove;time;-1;3600.06;28298.77;5072.3;avy;time;-1;3600.06;14392.96;3369.4;blimc;time;68;3600.03;3599.44;140.6;conpcheck;time;72;3600.04;10797.38;377.9;iimc;time;72;3600.06;28771.83;1384.5;iprover;time;29;3600.04;25334.57;84025.3;iproverdeep;time;27;3600.05;14449.89;64118.5;nuxmv;time;28;3600.12;14396.63;14609.5;nuxmvbmc;time;28;3600.04;3599.42;258.7;pdtravdeep;time;-1;3600.49;14336.88;17204.2;pdtravthrd;time;-1;3600.61;25022.03;14011.7;shiftbmc;time;73;3600.07;3599.50;345.8;truss;time;71;3600.21;10827.85;3231.8 +6s37;abcdeep;time;133;3600.09;28762.86;3604.7;abcsuperprove;time;-1;3600.07;26617.37;3259.7;avy;time;-1;3600.11;14395.30;1772.5;blimc;time;123;3600.03;3598.97;162.4;conpcheck;time;119;3600.12;10797.60;404.3;iimc;time;122;3600.14;28788.99;2268.6;iprover;time;83;3600.08;22795.16;106805.7;iproverdeep;time;83;3600.06;14485.08;80136.1;nuxmv;time;124;3600.09;14399.51;1978.5;nuxmvbmc;time;126;3600.02;3599.22;1581.8;pdtravdeep;time;-1;3600.96;14371.61;31647.8;pdtravthrd;time;-1;3600.83;21538.57;21331.4;shiftbmc;time;122;3600.05;3599.33;426.3;truss;time;84;3600.10;10846.99;2450.4 +6s372rb26;abcdeep;uns;-1;4.14;16.35;4050.6;abcsuperprove;uns;-1;0.93;1.62;779.4;avy;uns;-1;1.96;0.93;156.6;blimc;unk;1000;71.49;70.88;844.1;conpcheck;uns;-1;3.49;4.28;89.1;iimc;uns;-1;24.68;173.22;579.9;iprover;time;165;3600.14;13219.46;127615.0;iproverdeep;time;185;3600.11;11668.14;127695.8;nuxmv;uns;-1;1.61;2.07;173.0;nuxmvbmc;unk;1001;29.42;28.96;1694.3;pdtravdeep;time;344;3600.08;5395.85;1714.1;pdtravthrd;uns;-1;2.37;1.94;233.4;shiftbmc;unk;1000;9.53;8.58;1325.8;truss;uns;-1;13.17;48.36;541.2 +6s374b029;abcdeep;sat;10;12.25;13.25;1081.4;abcsuperprove;sat;10;6.99;11.94;2004.3;avy;sat;10;38.70;37.32;357.1;blimc;sat;10;33.95;33.49;202.4;conpcheck;sat;10;88.46;259.31;360.5;iimc;sat;12;129.10;203.76;3831.9;iprover;sat;10;692.55;4856.72;124462.7;iproverdeep;sat;10;742.27;2978.61;72672.3;nuxmv;sat;10;9.45;29.52;1637.9;nuxmvbmc;sat;10;6.97;6.55;467.5;pdtravdeep;sat;10;45.80;68.04;2582.1;pdtravthrd;sat;128;42.95;92.83;4475.1;shiftbmc;sat;10;198.82;198.17;790.7;truss;sat;10;38.30;112.85;3083.8 +6s374b114;abcdeep;uns;-1;12.97;17.98;2883.2;abcsuperprove;uns;-1;3.14;2.27;1031.0;avy;time;-1;3600.10;3576.10;139.0;blimc;unk;1000;12.86;12.78;48.5;conpcheck;uns;-1;2.68;2.04;151.4;iimc;uns;-1;0.95;0.28;63.1;iprover;time;146;3600.14;21185.47;74691.6;iproverdeep;time;87;3600.10;10879.33;44992.1;nuxmv;uns;-1;3.29;6.79;999.7;nuxmvbmc;unk;1001;86.60;85.93;231.1;pdtravdeep;uns;-1;3.31;2.29;383.2;pdtravthrd;uns;-1;2.98;2.30;582.5;shiftbmc;unk;1000;129.87;129.18;179.0;truss;uns;-1;66.08;205.14;3368.4 +6s376r;abcdeep;time;179;3600.03;28363.74;9771.6;abcsuperprove;time;-1;3600.03;27834.21;8483.9;avy;time;-1;3600.03;14344.75;3226.2;blimc;time;123;3600.11;3599.61;1616.0;conpcheck;time;135;3600.04;10797.58;2974.8;iimc;time;203;3600.09;27922.07;4224.8;iprover;time;36;3600.33;19350.62;127676.4;iproverdeep;time;36;3600.04;14483.30;98646.7;nuxmv;time;223;3600.05;14397.28;7593.0;nuxmvbmc;time;227;3600.03;3599.21;5754.5;pdtravdeep;time;0;3600.61;6957.87;10816.5;pdtravthrd;time;-1;3600.34;21035.37;12628.4;shiftbmc;time;344;3600.03;3598.85;6462.9;truss;time;49;3600.14;10823.82;4726.2 +6s377r;abcdeep;time;71;3600.05;28363.94;3651.9;abcsuperprove;time;-1;3600.05;34663.39;5079.3;avy;time;-1;3600.12;14345.86;2861.1;blimc;time;63;3600.07;3599.56;488.8;conpcheck;time;55;3600.05;10799.06;1149.3;iimc;time;63;3600.06;27929.32;2697.2;iprover;time;47;3600.24;15955.26;127661.3;iproverdeep;time;45;3600.06;14481.14;102960.6;nuxmv;time;20;3600.08;14396.79;3278.4;nuxmvbmc;time;63;3600.05;3599.32;1382.5;pdtravdeep;time;0;3600.17;5232.01;4843.7;pdtravthrd;time;-1;3600.34;19095.57;10165.8;shiftbmc;time;63;3600.07;3600.02;1259.2;truss;time;40;3600.16;10822.93;3611.6 +6s38;abcdeep;time;88;3600.06;28728.11;2252.1;abcsuperprove;uns;-1;159.55;1232.22;1204.0;avy;uns;-1;263.71;1047.43;586.9;blimc;time;35;3600.11;3599.59;192.7;conpcheck;time;37;3600.11;10798.73;311.8;iimc;uns;-1;1337.66;10638.21;853.1;iprover;time;22;3600.04;25343.90;89523.4;iproverdeep;time;21;3600.07;14487.71;60011.1;nuxmv;uns;-1;508.14;2028.00;454.7;nuxmvbmc;time;61;3600.06;3599.60;521.7;pdtravdeep;time;-1;3600.30;14377.08;9019.0;pdtravthrd;uns;-1;249.03;1449.62;1929.1;shiftbmc;time;69;3600.03;3599.16;466.4;truss;time;14;3600.11;10828.64;1693.1 +6s380b511;abcdeep;sat;18;2.51;1.62;115.9;abcsuperprove;sat;18;1.24;0.48;49.3;avy;sat;18;3.48;3.02;101.1;blimc;sat;18;1.49;0.79;15.1;conpcheck;sat;18;2.36;3.08;94.3;iimc;sat;20;1.23;1.32;97.6;iprover;sat;18;16.03;109.69;3428.8;iproverdeep;sat;18;16.64;62.82;2105.8;nuxmv;sat;18;1.29;1.30;212.5;nuxmvbmc;sat;18;0.54;0.27;50.3;pdtravdeep;sat;18;12.29;10.01;696.4;pdtravthrd;sat;18;13.77;14.71;1286.2;shiftbmc;sat;18;6.27;5.48;39.5;truss;sat;18;5.13;14.98;571.3 +6s384rb024;abcdeep;uns;-1;3.40;3.77;697.7;abcsuperprove;uns;-1;1.33;0.51;59.9;avy;time;-1;3600.10;3597.24;51.9;blimc;unk;1000;1.00;0.39;13.1;conpcheck;uns;-1;2.77;2.04;71.1;iimc;uns;-1;0.71;0.08;0.0;iprover;time;851;3600.16;13004.54;127619.9;iproverdeep;time;686;3600.14;12032.26;127639.9;nuxmv;uns;-1;0.81;1.87;327.7;nuxmvbmc;unk;1001;0.77;0.26;59.7;pdtravdeep;uns;-1;1.41;1.19;238.5;pdtravthrd;uns;-1;2.19;1.40;398.5;shiftbmc;unk;1000;49.67;48.97;684.4;truss;uns;-1;8.57;25.96;976.0 +6s387rb291;abcdeep;time;20;3600.10;28201.49;4590.0;abcsuperprove;uns;-1;1869.51;13011.28;8772.3;avy;time;-1;3600.04;14255.79;5339.8;blimc;time;13;3600.09;3599.61;819.6;conpcheck;time;13;3600.05;10798.64;1492.5;iimc;time;13;3600.23;28324.98;7684.4;iprover;time;11;3600.16;12950.48;127667.5;iproverdeep;time;10;3600.10;14330.72;123908.6;nuxmv;time;11;3600.06;14393.05;6509.6;nuxmvbmc;time;13;3600.11;3599.03;2525.9;pdtravdeep;time;-1;3600.93;14171.20;19606.2;pdtravthrd;time;-1;3601.00;21522.26;22193.6;shiftbmc;time;13;3600.03;3599.31;1344.0;truss;time;12;3600.17;10819.79;6364.0 +6s389b02;abcdeep;sat;0;1.87;1.20;110.4;abcsuperprove;sat;0;1.38;0.82;70.1;avy;sat;0;4.77;3.91;66.6;blimc;sat;0;4.42;3.90;15.5;conpcheck;sat;0;2.80;2.05;69.0;iimc;sat;0;25.08;25.18;267.1;iprover;sat;0;8.07;51.36;3486.2;iproverdeep;sat;0;8.01;28.15;2012.5;nuxmv;sat;0;0.74;0.28;153.1;nuxmvbmc;sat;0;0.72;0.14;45.7;pdtravdeep;sat;1;182.27;181.89;696.3;pdtravthrd;sat;1;187.16;373.57;1458.9;shiftbmc;sat;0;6.33;6.18;54.0;truss;sat;0;1.85;1.52;217.5 +6s391rb379;abcdeep;uns;-1;1.89;0.87;214.2;abcsuperprove;uns;-1;1.47;0.31;54.7;avy;time;-1;3600.05;3598.99;28.7;blimc;time;664;3600.02;3599.26;1007.5;conpcheck;uns;-1;3.10;1.96;62.3;iimc;uns;-1;1.11;0.09;27.8;iprover;time;472;3600.46;14043.07;127666.7;iproverdeep;time;645;3600.15;13928.08;127695.2;nuxmv;uns;-1;0.67;1.23;167.7;nuxmvbmc;unk;1001;1337.17;1336.73;3401.6;pdtravdeep;uns;-1;1.91;1.49;144.5;pdtravthrd;uns;-1;1.41;1.19;233.3;shiftbmc;unk;1000;4.51;3.88;64.2;truss;uns;-1;1.61;2.47;188.0 +6s393r;abcdeep;time;193;3600.10;28788.59;2162.5;abcsuperprove;time;-1;3600.11;46504.74;4834.6;avy;time;-1;3600.03;14394.65;1035.1;blimc;time;135;3600.09;3599.29;78.8;conpcheck;time;14;3600.08;10799.40;311.3;iimc;time;16;3600.38;28161.48;5015.8;iprover;uns;-1;3121.84;21967.15;18248.7;iproverdeep;time;11;3600.10;14490.34;17803.5;nuxmv;uns;-1;3053.99;12211.36;702.8;nuxmvbmc;time;83;3600.02;3599.79;459.0;pdtravdeep;time;-1;3600.13;14390.84;2224.6;pdtravthrd;uns;-1;211.36;1457.15;2279.3;shiftbmc;time;25;3600.04;3599.36;257.9;truss;time;10;3600.08;10828.13;1834.4 +6s394r;abcdeep;time;240;3600.04;28789.01;2500.3;abcsuperprove;time;-1;3600.03;46514.31;6240.0;avy;time;-1;3600.05;10798.44;648.8;blimc;time;153;3600.04;3599.55;85.9;conpcheck;time;22;3600.05;10797.04;243.3;iimc;time;28;3600.35;28201.92;5136.1;iprover;uns;-1;225.67;1576.61;9016.4;iproverdeep;time;15;3600.04;14489.32;14074.9;nuxmv;time;131;3600.09;14396.72;681.4;nuxmvbmc;time;131;3600.04;3599.24;429.4;pdtravdeep;time;1;3600.08;14395.01;2229.9;pdtravthrd;uns;-1;44.68;298.93;1288.5;shiftbmc;time;54;3600.08;3599.10;249.1;truss;time;14;3600.11;10841.12;1768.4 +6s398b09;abcdeep;time;-1;3600.09;63476.95;834.2;abcsuperprove;time;-1;3600.05;63426.33;442.3;avy;time;-1;3600.04;3598.16;76.2;blimc;time;-1;3600.06;3599.38;108.5;conpcheck;time;-1;3600.07;10798.34;294.4;iimc;time;-1;3600.33;26622.60;3311.3;iprover;time;-1;3600.09;25330.92;1634.7;iproverdeep;time;-1;3600.07;14467.99;926.8;nuxmv;time;-1;3600.07;14396.75;312.9;nuxmvbmc;time;-1;3600.12;3599.64;105.2;pdtravdeep;time;-1;3600.03;3599.24;587.5;pdtravthrd;time;-1;3600.10;3599.08;589.9;shiftbmc;time;-1;3600.05;3599.21;161.8;truss;time;-1;3600.10;10848.33;499.3 +6s399b02;abcdeep;time;0;3600.05;63517.50;986.6;abcsuperprove;time;-1;3600.05;63435.49;489.6;avy;time;-1;3600.06;14390.81;2494.1;blimc;time;0;3600.05;3599.50;119.9;conpcheck;time;0;3600.08;10798.87;192.1;iimc;time;0;3600.47;26623.78;4755.6;iprover;time;0;3600.08;25359.52;2250.2;iproverdeep;time;0;3600.05;14490.99;1379.1;nuxmv;time;0;3600.09;14397.73;378.1;nuxmvbmc;time;0;3600.03;3599.17;111.3;pdtravdeep;time;-1;3600.03;14378.28;1499.6;pdtravthrd;unk;-1;2.81;3.14;233.9;shiftbmc;time;0;3600.03;3599.44;167.8;truss;time;0;3600.11;10864.77;580.4 +6s4;abcdeep;time;17273836;3600.23;8284.04;127735.8;abcsuperprove;uns;-1;535.54;3167.96;14697.6;avy;time;-1;3600.10;10794.81;4704.2;blimc;unk;1000;84.43;83.99;265.6;conpcheck;time;1000;3600.05;6638.47;539.8;iimc;uns;-1;184.96;1461.54;1105.3;iprover;time;269;3600.22;13451.25;127611.8;iproverdeep;time;255;3600.14;10276.48;107717.1;nuxmv;time;9661;3600.07;14395.83;7260.1;nuxmvbmc;unk;1001;55.57;54.96;741.8;pdtravdeep;uns;-1;2272.01;7636.70;35091.5;pdtravthrd;uns;-1;2978.69;16024.36;44474.4;shiftbmc;unk;1000;49.64;48.67;465.1;truss;time;379;3600.13;10827.64;2041.1 +6s400rb07819;abcdeep;uns;-1;4.05;4.64;676.2;abcsuperprove;uns;-1;0.67;0.53;62.4;avy;time;-1;3600.04;3594.03;54.9;blimc;unk;1000;278.85;278.14;1559.3;conpcheck;uns;-1;2.92;1.97;73.2;iimc;uns;-1;0.34;0.10;32.1;iprover;unk;-1;1.94;7.24;897.7;iproverdeep;unk;-1;1.91;4.12;523.2;nuxmv;uns;-1;3.79;9.19;431.2;nuxmvbmc;unk;1001;2.10;1.37;99.9;pdtravdeep;uns;-1;1.40;0.79;162.8;pdtravthrd;uns;-1;1.04;0.79;160.2;shiftbmc;unk;1000;12.73;11.78;59.3;truss;uns;-1;3.60;3.16;391.6 +6s402rb0342;abcdeep;time;14;3600.05;28123.25;2686.7;abcsuperprove;time;-1;3600.06;27899.81;4143.4;avy;time;-1;3600.10;14309.58;2847.0;blimc;time;14;3600.09;3599.55;279.8;conpcheck;time;14;3600.11;10798.42;1126.6;iimc;time;13;3600.14;28131.37;4151.9;iprover;time;14;3600.12;13943.16;127666.5;iproverdeep;time;14;3600.10;14491.44;108501.0;nuxmv;time;14;3600.08;14395.47;8058.0;nuxmvbmc;time;14;3600.08;3598.68;1229.1;pdtravdeep;sat;17;110.42;352.30;3111.2;pdtravthrd;sat;19;1018.33;6020.78;7209.2;shiftbmc;time;14;3600.02;3599.26;940.1;truss;time;14;3600.23;10865.91;5239.9 +6s403rb1342;abcdeep;uns;-1;4.47;4.83;540.9;abcsuperprove;uns;-1;1.81;2.54;783.6;avy;uns;-1;6.24;5.01;46.0;blimc;time;122;3600.03;3599.01;563.3;conpcheck;uns;-1;3.15;5.86;122.8;iimc;uns;-1;0.79;0.69;57.1;iprover;uns;-1;19.81;130.71;6621.4;iproverdeep;time;154;3600.02;7145.92;95824.4;nuxmv;uns;-1;2.65;5.64;451.1;nuxmvbmc;time;262;3600.03;3599.72;2657.4;pdtravdeep;uns;-1;4.70;3.69;186.2;pdtravthrd;uns;-1;3.91;3.79;267.5;shiftbmc;unk;1000;7.17;6.68;52.5;truss;uns;-1;4.09;10.47;506.7 +6s404rb1;abcdeep;uns;-1;11.28;37.07;1452.8;abcsuperprove;uns;-1;5.71;28.12;1901.8;avy;uns;-1;27.66;25.64;449.5;blimc;time;23;3600.04;3599.20;674.0;conpcheck;uns;-1;10.82;26.47;200.7;iimc;uns;-1;713.22;5361.60;3037.3;iprover;time;20;3600.10;20572.39;127727.7;iproverdeep;time;13;3600.02;14492.25;96465.0;nuxmv;uns;-1;40.54;157.81;1363.2;nuxmvbmc;time;56;3600.09;3599.27;2193.3;pdtravdeep;time;-1;3600.48;14160.60;9772.6;pdtravthrd;uns;-1;56.51;81.68;2598.4;shiftbmc;time;52;3600.09;3599.43;2057.4;truss;uns;-1;71.00;238.94;1778.6 +6s404rb4;abcdeep;uns;-1;11.28;42.52;1418.0;abcsuperprove;uns;-1;10.91;98.45;2069.6;avy;uns;-1;31.35;25.84;570.4;blimc;time;22;3600.04;3599.16;646.1;conpcheck;uns;-1;25.50;71.79;217.3;iimc;uns;-1;1168.93;8979.78;3184.5;iprover;time;15;3600.08;20842.69;127555.7;iproverdeep;time;15;3600.08;14487.67;95256.2;nuxmv;uns;-1;86.89;345.74;1567.0;nuxmvbmc;time;62;3600.03;3599.13;2361.9;pdtravdeep;time;-1;3600.50;14149.83;9844.3;pdtravthrd;uns;-1;88.50;239.19;3115.3;shiftbmc;time;51;3600.04;3599.17;1909.7;truss;uns;-1;208.02;644.66;1861.8 +6s406rb067;abcdeep;uns;-1;5.95;7.11;667.5;abcsuperprove;uns;-1;3.95;7.12;1310.2;avy;uns;-1;19.78;18.33;286.5;blimc;time;64;3600.09;3599.54;1186.0;conpcheck;uns;-1;2.21;1.95;161.8;iimc;uns;-1;1776.47;4174.77;10837.9;iprover;time;42;3600.21;11324.24;127625.1;iproverdeep;time;46;3600.03;11678.81;116155.0;nuxmv;uns;-1;7.83;28.54;1151.0;nuxmvbmc;time;636;3600.05;3598.83;15187.5;pdtravdeep;time;-1;3602.22;13118.03;37623.9;pdtravthrd;uns;-1;25.72;36.17;2414.4;shiftbmc;unk;1000;1171.85;1170.78;24176.8;truss;uns;-1;51.03;179.14;1762.0 +6s41;abcdeep;sat;73;22.77;165.77;530.7;abcsuperprove;sat;73;20.54;114.00;813.5;avy;sat;73;53.85;213.07;328.8;blimc;sat;73;185.62;184.87;49.0;conpcheck;sat;73;269.30;801.36;178.8;iimc;sat;73;83.02;646.33;267.0;iprover;time;72;3600.07;23857.28;127615.3;iproverdeep;time;63;3600.04;14491.05;89189.3;nuxmv;sat;73;52.51;204.56;272.5;nuxmvbmc;sat;73;52.24;51.65;146.1;pdtravdeep;sat;75;33.73;123.30;1104.9;pdtravthrd;sat;73;36.02;194.22;1260.2;shiftbmc;sat;73;44.93;43.85;87.7;truss;time;68;3600.15;10829.51;2170.9 +6s42;abcdeep;time;40;3600.09;28718.49;2006.7;abcsuperprove;time;-1;3600.05;18703.82;2803.8;avy;time;-1;3600.11;14393.51;1585.3;blimc;time;39;3600.11;3599.53;128.5;conpcheck;time;33;3600.09;10799.22;362.4;iimc;time;34;3600.13;28772.32;1657.3;iprover;time;31;3600.21;23591.88;112158.9;iproverdeep;time;30;3600.04;12346.65;92288.0;nuxmv;time;36;3600.04;14396.60;1581.3;nuxmvbmc;time;36;3600.09;3599.63;536.2;pdtravdeep;time;-1;3601.30;14381.47;24922.5;pdtravthrd;time;-1;3600.37;21604.06;16553.2;shiftbmc;time;37;3600.04;3599.91;434.2;truss;time;24;3600.10;10830.82;2013.4 +6s421rb083;abcdeep;uns;-1;2.17;2.96;326.7;abcsuperprove;uns;-1;0.33;0.63;496.0;avy;uns;-1;1.14;0.66;75.5;blimc;time;113;3600.03;3599.61;109.1;conpcheck;uns;-1;2.21;1.96;80.9;iimc;uns;-1;1.09;1.87;28.1;iprover;time;108;3600.03;25335.47;33995.0;iproverdeep;time;109;3600.02;14485.53;22435.0;nuxmv;uns;-1;2.17;6.88;146.1;nuxmvbmc;unk;1001;788.95;788.43;2510.0;pdtravdeep;time;272;3600.69;8699.81;19662.9;pdtravthrd;uns;-1;1.25;0.93;233.1;shiftbmc;unk;1000;292.67;292.05;170.0;truss;uns;-1;2.10;4.81;130.7 +6s428rb098;abcdeep;uns;-1;1350.11;10632.95;1356.1;abcsuperprove;uns;-1;640.71;6374.07;2266.1;avy;uns;-1;482.59;1921.45;653.1;blimc;time;9;3600.07;3599.15;110.0;conpcheck;uns;-1;2194.81;6562.84;280.1;iimc;uns;-1;97.76;723.10;438.7;iprover;time;5;3600.04;25345.23;52354.4;iproverdeep;time;5;3600.07;14486.64;33550.0;nuxmv;time;7;3600.11;14399.09;1066.9;nuxmvbmc;time;5;3600.03;3599.83;298.7;pdtravdeep;time;-1;3600.32;14345.24;11950.7;pdtravthrd;uns;-1;818.54;5617.19;4083.1;shiftbmc;time;7;3600.06;3599.37;322.9;truss;uns;-1;205.57;663.86;509.6 +6s44;abcdeep;time;40;3600.04;28713.93;2017.7;abcsuperprove;time;-1;3600.11;30354.32;3979.8;avy;time;-1;3600.06;14392.57;1741.2;blimc;time;38;3600.10;3599.15;143.1;conpcheck;time;32;3600.06;10798.16;368.9;iimc;time;34;3600.06;28770.53;1628.2;iprover;time;30;3600.16;23366.04;124920.5;iproverdeep;time;30;3600.07;14484.33;94268.0;nuxmv;time;36;3600.12;14396.89;1528.5;nuxmvbmc;time;36;3600.06;3599.02;518.8;pdtravdeep;time;-1;3600.93;14376.49;18654.8;pdtravthrd;time;-1;3600.37;21604.22;15322.0;shiftbmc;time;36;3600.07;3598.97;481.8;truss;time;27;3600.15;10833.43;1842.4 +6s514r;abcdeep;time;20;3600.05;28786.32;1554.3;abcsuperprove;time;-1;3600.06;42881.80;4206.1;avy;time;-1;3600.03;14399.44;1495.2;blimc;time;21;3600.02;3599.37;107.0;conpcheck;time;16;3600.07;10798.62;395.4;iimc;time;17;3601.43;28193.26;17729.6;iprover;time;18;3600.04;25341.75;31691.8;iproverdeep;time;18;3600.10;14482.21;26014.3;nuxmv;time;18;3600.05;14397.78;417.1;nuxmvbmc;time;17;3600.03;3599.19;159.5;pdtravdeep;time;-1;3600.12;14392.34;1325.0;pdtravthrd;time;-1;3600.21;25142.29;7041.1;shiftbmc;time;18;3600.07;3599.16;518.8;truss;time;14;3600.16;10836.89;1750.6 +6s515rb1;abcdeep;uns;-1;1.29;0.31;141.9;abcsuperprove;uns;-1;1.05;0.15;438.7;avy;uns;-1;0.45;0.12;22.2;blimc;unk;1000;29.83;29.58;63.3;conpcheck;uns;-1;3.06;1.96;67.9;iimc;uns;-1;0.21;0.00;0.0;iprover;time;1216;3600.10;15853.32;127670.1;iproverdeep;time;1232;3600.07;13602.48;127603.0;nuxmv;uns;-1;1.01;0.15;79.3;nuxmvbmc;unk;1001;2560.14;2558.99;726.8;pdtravdeep;time;-1;3600.52;14088.35;10673.4;pdtravthrd;uns;-1;1.28;0.75;232.7;shiftbmc;unk;1000;1.13;0.78;77.3;truss;uns;-1;0.56;0.57;78.0 +6s516r;abcdeep;time;19;3600.11;28774.53;1582.5;abcsuperprove;time;-1;3600.06;42724.93;3636.3;avy;time;-1;3600.12;14394.82;1043.9;blimc;time;19;3600.08;3599.21;92.8;conpcheck;time;15;3600.08;10797.47;334.5;iimc;time;16;3600.13;28790.47;1088.4;iprover;time;17;3600.09;25341.32;33881.4;iproverdeep;time;16;3600.10;14482.83;26402.8;nuxmv;time;16;3600.04;14396.70;434.5;nuxmvbmc;time;16;3600.03;3599.37;180.6;pdtravdeep;time;-1;3600.05;14392.47;1529.9;pdtravthrd;time;-1;3600.23;21640.10;5760.9;shiftbmc;time;17;3600.09;3599.12;513.7;truss;time;12;3600.13;10848.46;1710.6 +6s517rb0;abcdeep;time;17;3600.08;28744.39;1462.8;abcsuperprove;time;-1;3600.08;41585.99;3015.6;avy;time;-1;3600.10;14394.73;973.8;blimc;time;17;3600.11;3599.32;80.4;conpcheck;time;13;3600.09;10797.52;332.6;iimc;time;14;3600.11;28762.74;963.4;iprover;time;15;3600.03;25336.46;30914.5;iproverdeep;time;15;3600.04;14485.11;21068.0;nuxmv;time;11;3600.11;14397.67;569.0;nuxmvbmc;time;15;3600.10;3599.47;241.5;pdtravdeep;time;-1;3600.10;14392.23;1876.7;pdtravthrd;time;-1;3600.25;21633.51;8952.4;shiftbmc;time;15;3600.07;3599.11;465.4;truss;time;11;3600.10;10830.06;1914.6 +abp4p2ff;abcdeep;sat;17;1.15;1.44;210.7;abcsuperprove;sat;17;1.25;3.20;623.0;avy;sat;17;0.93;1.16;152.4;blimc;sat;17;2.14;1.38;5.3;conpcheck;sat;36;3.84;4.28;77.6;iimc;sat;17;1.16;1.25;36.6;iprover;sat;17;7.44;46.79;2021.2;iproverdeep;sat;17;7.79;27.37;1201.9;nuxmv;sat;17;0.66;0.91;86.8;nuxmvbmc;sat;17;0.97;0.26;34.1;pdtravdeep;sat;19;3.74;9.81;514.4;pdtravthrd;sat;17;4.16;13.24;928.4;shiftbmc;sat;17;0.42;0.28;17.0;truss;sat;17;1.29;1.45;59.3 +bc57sensorsp2;abcdeep;sat;104;15.31;102.09;552.5;abcsuperprove;sat;104;19.46;215.83;1070.0;avy;sat;104;22.71;89.08;529.0;blimc;sat;104;59.73;59.08;40.7;conpcheck;sat;104;142.93;422.82;141.7;iimc;sat;104;17.54;132.69;135.5;iprover;sat;104;553.15;3879.30;38123.7;iproverdeep;sat;104;1140.89;4579.51;41063.0;nuxmv;sat;104;22.80;88.86;174.2;nuxmvbmc;sat;104;22.21;21.55;90.3;pdtravdeep;sat;105;13.10;40.51;911.8;pdtravthrd;sat;104;33.55;157.79;1268.1;shiftbmc;sat;104;23.95;22.85;65.8;truss;sat;104;25.57;100.05;332.2 +beemadd4b1;abcdeep;sat;15;18.28;133.95;365.3;abcsuperprove;sat;15;50.90;370.93;729.1;avy;sat;15;28.01;108.97;212.8;blimc;sat;15;14.88;14.09;10.2;conpcheck;sat;26;43.55;123.40;92.1;iimc;sat;20;3.87;22.39;58.1;iprover;sat;15;20.80;142.17;2412.6;iproverdeep;sat;15;29.71;115.69;2139.2;nuxmv;sat;15;28.30;112.54;120.6;nuxmvbmc;sat;15;28.13;27.57;44.5;pdtravdeep;time;3620;3600.17;13482.25;5826.2;pdtravthrd;sat;19;89.19;480.78;1433.5;shiftbmc;sat;15;17.87;16.88;29.9;truss;sat;15;27.15;105.07;165.5 +beemandrsn6b1;abcdeep;time;5;3600.10;28755.21;1620.3;abcsuperprove;time;-1;3600.04;46443.04;3971.2;avy;time;-1;3600.09;14395.43;2058.5;blimc;time;6;3600.09;3599.53;93.4;conpcheck;time;4;3600.11;10798.85;274.7;iimc;time;4;3600.31;26676.31;4330.5;iprover;time;5;3600.03;25340.17;21633.3;iproverdeep;time;5;3600.05;14488.10;15941.6;nuxmv;time;5;3600.03;14397.20;737.4;nuxmvbmc;time;5;3600.11;3599.79;229.5;pdtravdeep;time;841;3600.38;13463.88;9756.3;pdtravthrd;time;-1;3600.54;24253.50;17311.9;shiftbmc;time;5;3600.02;3599.22;711.9;truss;time;4;3600.05;10845.87;1424.7 +beemcmbrdg1b1;abcdeep;time;15;3600.11;28708.94;2823.6;abcsuperprove;time;-1;3600.07;46018.01;3881.4;avy;time;-1;3600.10;14394.71;2604.1;blimc;time;19;3600.02;3600.10;99.4;conpcheck;time;15;3600.09;10797.21;350.0;iimc;uns;-1;721.79;5757.08;1268.1;iprover;time;14;3600.11;21731.42;66191.3;iproverdeep;time;14;3600.09;10879.05;48197.0;nuxmv;time;12;3600.08;14398.02;938.4;nuxmvbmc;time;14;3600.08;3598.88;631.0;pdtravdeep;time;-1;3600.35;14375.32;14929.5;pdtravthrd;time;-1;3600.31;24569.07;11408.7;shiftbmc;time;15;3600.09;3599.29;800.8;truss;time;11;3600.06;10833.17;1727.2 +beemcmbrdg1f1;abcdeep;time;28;3600.09;28787.94;1958.0;abcsuperprove;uns;-1;81.17;758.19;1010.2;avy;uns;-1;1892.41;7565.54;1624.2;blimc;time;32;3600.04;3599.41;73.5;conpcheck;uns;-1;740.65;2205.86;157.9;iimc;uns;-1;56.93;453.04;210.6;iprover;time;24;3600.08;21734.01;50709.0;iproverdeep;time;24;3600.07;12052.25;46577.3;nuxmv;uns;-1;70.87;282.86;183.1;nuxmvbmc;time;25;3600.04;3599.66;223.5;pdtravdeep;time;-1;3600.07;14389.31;3369.5;pdtravthrd;uns;-1;634.69;3792.49;2752.4;shiftbmc;time;29;3600.05;3599.27;826.1;truss;uns;-1;192.99;616.80;447.8 +beemlifts3b1;abcdeep;time;27;3600.06;28492.09;6735.9;abcsuperprove;time;-1;3600.03;24940.70;3007.5;avy;time;-1;3600.09;14369.09;2273.3;blimc;time;28;3600.04;3599.38;319.1;conpcheck;time;20;3600.06;10798.73;354.0;iimc;time;33;3600.52;26657.36;6397.2;iprover;time;25;3600.09;18710.06;107055.6;iproverdeep;time;25;3600.05;9679.92;77591.4;nuxmv;time;14;3600.09;14398.58;3082.3;nuxmvbmc;time;24;3600.05;3599.18;2471.5;pdtravdeep;time;-1;3600.45;13403.25;11830.5;pdtravthrd;time;-1;3600.38;22179.80;16122.7;shiftbmc;time;26;3600.05;3599.34;1046.2;truss;time;17;3600.06;10836.87;1124.8 +beemlmprt8f1;abcdeep;sat;36;3.40;13.31;353.0;abcsuperprove;sat;44;3.95;21.38;673.1;avy;sat;35;2.41;4.00;142.8;blimc;sat;24;81.63;81.39;16.8;conpcheck;sat;31;8.74;19.68;84.7;iimc;sat;28;3.00;15.21;53.4;iprover;sat;24;1258.46;8838.08;29739.2;iproverdeep;sat;24;1775.16;7131.43;24495.0;nuxmv;sat;24;105.73;419.30;192.6;nuxmvbmc;sat;24;226.09;225.53;108.0;pdtravdeep;sat;24;22.69;82.27;726.1;pdtravthrd;sat;33;6.11;26.86;978.5;shiftbmc;sat;24;291.97;291.47;141.7;truss;sat;25;17.76;67.57;149.2 +beemptrsn4b1;abcdeep;time;26;3600.05;28775.69;2259.4;abcsuperprove;time;-1;3600.08;46468.31;5577.2;avy;time;-1;3600.10;14395.55;1646.3;blimc;time;43;3600.07;3599.52;111.2;conpcheck;time;16;3600.08;10796.67;430.4;iimc;uns;-1;36.88;290.17;216.2;iprover;time;26;3600.12;25350.04;48350.3;iproverdeep;time;23;3600.08;11794.17;43810.2;nuxmv;time;24;3600.11;14398.28;537.4;nuxmvbmc;time;24;3600.07;3599.40;318.4;pdtravdeep;time;-1;3600.39;14372.67;11094.6;pdtravthrd;time;-1;3600.37;24556.95;10559.5;shiftbmc;time;21;3600.09;3598.65;1024.7;truss;time;14;3600.10;10831.99;1757.5 +bj08amba2g1;abcdeep;uns;-1;0.89;1.32;234.0;abcsuperprove;uns;-1;0.51;0.07;22.4;avy;time;-1;3600.11;3599.92;39.6;blimc;unk;1000;10.14;9.49;84.3;conpcheck;uns;-1;2.26;0.64;38.4;iimc;uns;-1;0.42;0.00;0.0;iprover;uns;-1;1.60;4.57;430.8;iproverdeep;time;2250;3600.06;7248.65;58911.6;nuxmv;uns;-1;0.30;0.00;0.0;nuxmvbmc;unk;1001;0.65;0.05;0.0;pdtravdeep;uns;-1;629.82;2493.04;807.5;pdtravthrd;uns;-1;1.13;0.75;324.2;shiftbmc;unk;1000;0.35;0.08;16.1;truss;uns;-1;0.74;0.00;0.0 +bj08amba2g4f3;abcdeep;sat;10;1.72;2.03;261.6;abcsuperprove;sat;145;1.25;0.74;540.5;avy;sat;10;2.44;2.06;141.0;blimc;sat;10;5.96;5.29;18.4;conpcheck;sat;10;4.78;7.85;99.4;iimc;sat;10;2.62;10.08;182.5;iprover;sat;10;34.05;230.38;7062.5;iproverdeep;sat;10;35.49;138.07;4348.1;nuxmv;sat;27;0.59;1.20;151.9;nuxmvbmc;sat;10;1.54;0.95;62.4;pdtravdeep;sat;10;4.98;5.26;644.1;pdtravthrd;sat;28;7.05;21.68;1124.9;shiftbmc;sat;10;3.22;2.58;42.8;truss;sat;10;2.01;3.61;194.1 +bj08amba3g1;abcdeep;uns;-1;0.80;0.52;165.6;abcsuperprove;uns;-1;0.74;0.11;34.8;avy;time;-1;3600.07;3598.80;26.0;blimc;unk;1000;83.40;82.69;1061.2;conpcheck;uns;-1;2.84;1.24;34.3;iimc;uns;-1;1.03;0.04;27.6;iprover;uns;-1;6.86;42.40;1943.7;iproverdeep;time;2099;3600.03;10870.18;71490.8;nuxmv;uns;-1;0.45;0.04;11.4;nuxmvbmc;unk;1001;0.81;0.05;28.2;pdtravdeep;uns;-1;634.42;2531.39;807.5;pdtravthrd;uns;-1;1.40;0.81;370.5;shiftbmc;unk;1000;1.34;0.69;21.8;truss;uns;-1;1.04;0.73;92.5 +bj08amba5g62;abcdeep;uns;-1;1.67;1.19;241.1;abcsuperprove;uns;-1;1.25;0.39;59.4;avy;time;-1;3600.08;3598.39;42.6;blimc;time;764;3600.04;3599.22;4042.9;conpcheck;uns;-1;2.78;2.05;60.2;iimc;uns;-1;1.65;0.89;71.9;iprover;uns;-1;14.17;93.48;4312.9;iproverdeep;time;833;3600.04;7264.70;76634.7;nuxmv;uns;-1;1.59;3.15;221.8;nuxmvbmc;unk;1001;1623.86;1623.03;5663.0;pdtravdeep;time;4;3602.48;8755.04;62399.8;pdtravthrd;uns;-1;1.33;0.73;230.9;shiftbmc;unk;1000;2.80;1.98;24.2;truss;uns;-1;1.45;3.19;219.2 +bj08aut82;abcdeep;uns;-1;8.00;0.88;176.0;abcsuperprove;uns;-1;0.32;0.07;28.4;avy;time;-1;3600.07;3599.91;42.6;blimc;unk;1000;1.36;0.68;16.3;conpcheck;uns;-1;3.09;0.25;62.4;iimc;uns;-1;1.00;0.00;0.0;iprover;uns;-1;1.24;2.14;318.3;iproverdeep;unk;3000;3052.08;9204.81;59509.0;nuxmv;uns;-1;0.11;0.00;0.0;nuxmvbmc;unk;1001;0.39;0.00;0.0;pdtravdeep;uns;-1;617.32;2453.37;806.7;pdtravthrd;uns;-1;1.28;0.78;437.3;shiftbmc;unk;1000;0.24;0.06;17.9;truss;uns;-1;0.78;0.00;0.0 +bj08vendingcycle;abcdeep;sat;4;0.68;0.18;75.7;abcsuperprove;sat;4;0.66;0.11;36.1;avy;sat;5;0.83;0.11;22.4;blimc;sat;4;0.45;0.09;3.5;conpcheck;sat;13;2.18;0.15;67.8;iimc;sat;4;1.05;0.00;0.0;iprover;sat;4;1.71;4.40;407.8;iproverdeep;sat;4;1.10;1.75;250.2;nuxmv;sat;5;0.85;0.00;0.0;nuxmvbmc;sat;4;0.82;0.00;0.0;pdtravdeep;sat;5;3.22;0.98;458.6;pdtravthrd;sat;5;2.71;1.39;853.0;shiftbmc;sat;4;0.47;0.08;14.4;truss;sat;4;0.13;0.00;0.0 +bob05;abcdeep;uns;-1;13.21;58.75;496.5;abcsuperprove;uns;-1;5.38;60.25;1113.9;avy;uns;-1;5.77;13.67;280.3;blimc;time;67;3600.09;3599.29;287.0;conpcheck;uns;-1;18.76;48.96;176.4;iimc;uns;-1;127.01;902.57;826.0;iprover;time;87;3600.75;17141.84;127682.9;iproverdeep;time;101;3600.06;14319.68;124769.3;nuxmv;uns;-1;34.18;133.16;546.5;nuxmvbmc;time;131;3600.12;3599.50;3105.4;pdtravdeep;time;-1;3601.05;14373.60;15810.4;pdtravthrd;uns;-1;63.21;304.79;2000.3;shiftbmc;time;345;3600.04;3599.06;1957.1;truss;uns;-1;375.96;1155.12;974.6 +bob12s09;abcdeep;uns;-1;2724.27;21014.26;1780.3;abcsuperprove;uns;-1;205.67;2496.82;3446.2;avy;uns;-1;1934.12;7717.60;727.2;blimc;time;8;3600.02;3599.41;163.9;conpcheck;uns;-1;882.69;2640.89;217.2;iimc;time;9;3600.51;28124.94;5138.9;iprover;time;5;3600.11;25340.86;48354.8;iproverdeep;time;5;3600.11;14000.45;39901.6;nuxmv;time;7;3600.04;14396.28;1031.3;nuxmvbmc;time;8;3600.04;3599.15;408.4;pdtravdeep;time;-1;3600.49;14328.06;11626.7;pdtravthrd;time;-1;3600.60;23818.79;15691.4;shiftbmc;time;7;3600.06;3598.94;299.2;truss;uns;-1;1726.41;4985.56;751.8 +bob2;abcdeep;uns;-1;7.43;1.15;262.9;abcsuperprove;uns;-1;0.56;0.10;35.3;avy;uns;-1;0.71;0.21;99.2;blimc;unk;1000;26.17;25.29;39.1;conpcheck;uns;-1;2.76;1.76;32.3;iimc;uns;-1;1.02;0.00;0.0;iprover;time;620;3600.43;22203.43;127643.7;iproverdeep;time;250;3600.05;14488.28;85967.2;nuxmv;uns;-1;0.82;0.05;0.0;nuxmvbmc;unk;1001;3.14;2.67;81.0;pdtravdeep;time;290;3600.10;7621.42;4157.3;pdtravthrd;uns;-1;1.80;2.99;879.3;shiftbmc;unk;1000;12.04;10.98;59.0;truss;uns;-1;0.80;0.06;35.3 +bob3;abcdeep;uns;-1;13.54;43.22;390.7;abcsuperprove;uns;-1;0.69;0.11;43.8;avy;uns;-1;4.11;13.69;205.1;blimc;time;43;3600.08;3599.49;77.5;conpcheck;uns;-1;7.22;15.68;78.4;iimc;uns;-1;2.62;13.17;40.5;iprover;time;30;3600.06;24718.52;52602.2;iproverdeep;time;29;3600.04;12099.95;48723.2;nuxmv;uns;-1;3.26;9.73;91.3;nuxmvbmc;time;32;3600.07;3599.67;107.3;pdtravdeep;time;11;3600.03;14392.10;1024.4;pdtravthrd;uns;-1;3.39;14.54;1041.9;shiftbmc;time;38;3600.04;3599.42;250.8;truss;uns;-1;3.36;9.47;78.4 +bob9234specand;abcdeep;uns;-1;7.97;1.18;263.0;abcsuperprove;uns;-1;0.23;0.11;22.2;avy;time;-1;3600.05;3598.30;37.2;blimc;uns;-1;0.36;0.10;2.8;conpcheck;uns;-1;2.46;1.97;64.7;iimc;uns;-1;0.34;0.00;0.0;iprover;unk;-1;1.11;0.00;11.1;iproverdeep;unk;-1;0.96;0.00;11.2;nuxmv;uns;-1;0.45;0.05;0.0;nuxmvbmc;unk;1001;4.54;3.67;239.8;pdtravdeep;uns;-1;1.24;0.58;58.6;pdtravthrd;uns;-1;1.44;0.59;58.6;shiftbmc;unk;1000;1.04;0.28;21.5;truss;uns;-1;0.99;0.00;0.0 +bobcount;abcdeep;uns;-1;8.62;1.25;204.7;abcsuperprove;uns;-1;0.97;0.10;35.3;avy;uns;-1;0.45;0.52;130.7;blimc;unk;1000;31.29;30.59;29.5;conpcheck;uns;-1;2.35;2.05;64.9;iimc;uns;-1;0.05;0.00;0.0;iprover;time;1219;3600.23;15708.56;127687.2;iproverdeep;time;1148;3600.13;13208.78;127697.2;nuxmv;uns;-1;0.50;0.53;72.3;nuxmvbmc;unk;1001;16.87;16.56;64.9;pdtravdeep;time;9424;3600.10;14229.65;2579.3;pdtravthrd;uns;-1;0.81;0.76;362.0;shiftbmc;unk;1000;44.55;44.28;68.2;truss;uns;-1;1.14;0.33;35.4 +boblivea;abcdeep;uns;-1;9.98;27.86;383.3;abcsuperprove;uns;-1;4.11;33.80;701.9;avy;uns;-1;2.65;8.80;159.7;blimc;time;194;3600.02;3599.91;88.0;conpcheck;uns;-1;7.37;16.57;81.1;iimc;uns;-1;6.70;49.82;72.1;iprover;time;60;3600.12;24500.87;82264.7;iproverdeep;time;54;3600.09;12775.62;64683.3;nuxmv;uns;-1;1.43;4.54;89.8;nuxmvbmc;time;410;3600.06;3599.59;724.2;pdtravdeep;time;-1;3600.74;13782.72;19187.4;pdtravthrd;uns;-1;8.12;44.28;979.2;shiftbmc;unk;1000;800.92;800.77;345.9;truss;uns;-1;6.70;22.69;103.7 +boblivear;abcdeep;uns;-1;14.58;72.12;438.3;abcsuperprove;uns;-1;6.49;70.53;737.6;avy;uns;-1;3.81;12.92;182.0;blimc;time;215;3600.11;3598.67;86.8;conpcheck;uns;-1;23.85;64.49;95.1;iimc;uns;-1;4.90;33.20;58.1;iprover;time;63;3600.13;25332.38;107090.5;iproverdeep;time;60;3600.04;13511.75;87173.5;nuxmv;uns;-1;1.69;3.72;84.6;nuxmvbmc;unk;1001;778.35;777.51;295.2;pdtravdeep;time;-1;3600.28;13745.39;7667.5;pdtravthrd;uns;-1;28.71;168.21;1124.2;shiftbmc;unk;1000;594.81;593.90;423.2;truss;uns;-1;6.30;22.85;90.3 +bobmiterbm1or;abcdeep;sat;0;1.45;0.24;48.6;abcsuperprove;unk;-1;1.11;0.10;31.4;avy;unk;-1;1.72;0.12;37.1;blimc;sat;0;0.96;0.30;3.9;conpcheck;sat;2;2.70;0.26;29.5;iimc;sat;0;0.92;0.00;21.0;iprover;sat;0;0.24;0.10;230.1;iproverdeep;unk;-1;0.62;0.00;11.5;nuxmv;sat;0;0.40;0.06;16.5;nuxmvbmc;sat;0;0.58;0.00;0.0;pdtravdeep;sat;0;1.38;0.60;58.5;pdtravthrd;sat;0;0.69;0.59;58.6;shiftbmc;sat;0;1.06;0.18;15.4;truss;sat;0;0.44;0.04;35.2 +bobpcihm;abcdeep;time;25;3600.12;28665.76;3826.7;abcsuperprove;time;-1;3600.05;40988.30;8146.9;avy;time;-1;3600.12;14391.75;5803.1;blimc;time;34;3600.10;3599.57;144.1;conpcheck;time;92;3600.12;10798.63;365.5;iimc;time;117;3600.05;28762.44;1397.4;iprover;time;19;3600.09;24963.56;101955.9;iproverdeep;time;16;3600.02;14485.87;74271.0;nuxmv;time;90;3600.08;14398.84;1020.3;nuxmvbmc;time;23;3600.05;3599.45;430.2;pdtravdeep;time;-1;3600.26;14384.42;8074.6;pdtravthrd;time;-1;3600.42;18470.86;11375.2;shiftbmc;time;25;3600.09;3599.27;465.3;truss;time;141;3600.18;10828.07;2341.0 +bobsm9234;abcdeep;time;115702750;3600.07;29790.19;17133.0;abcsuperprove;time;-1;3600.04;46439.31;8987.4;avy;time;-1;3600.08;14394.56;7620.8;blimc;time;34;3600.05;3599.46;90.5;conpcheck;time;51;3600.06;10796.99;311.8;iimc;time;432;3600.42;28192.63;4261.7;iprover;time;18;3600.08;25341.99;47790.7;iproverdeep;time;17;3600.04;13449.63;40827.5;nuxmv;time;192;3600.04;14397.50;573.4;nuxmvbmc;time;22;3600.07;3599.42;250.6;pdtravdeep;time;2;3600.11;14388.27;2108.4;pdtravthrd;uns;-1;2.29;2.13;237.2;shiftbmc;time;66;3600.12;3598.96;420.7;truss;time;455;3600.16;10831.64;1814.3 +bobsmcodic;abcdeep;time;19;3600.05;28758.68;1328.7;abcsuperprove;uns;-1;701.45;11889.46;3071.9;avy;time;-1;3600.03;14387.73;3074.2;blimc;time;19;3600.09;3599.39;131.6;conpcheck;time;19;3600.04;10797.70;350.9;iimc;time;19;3600.06;28759.48;1503.8;iprover;time;19;3600.10;25340.32;116106.2;iproverdeep;time;19;3600.11;14485.58;75920.1;nuxmv;time;12;3600.09;14398.77;936.0;nuxmvbmc;time;19;3600.11;3599.48;499.5;pdtravdeep;time;-1;3600.64;14333.83;12504.7;pdtravthrd;time;-1;3600.22;25047.23;8207.5;shiftbmc;time;19;3600.02;3599.72;242.0;truss;time;16;3600.09;10826.62;1729.8 +bobsmfpu;abcdeep;time;115515597;3600.07;29689.90;59242.3;abcsuperprove;uns;-1;12.04;163.13;1276.2;avy;time;-1;3600.04;14357.07;3529.1;blimc;time;3;3600.08;3598.99;133.2;conpcheck;time;8;3600.07;10799.28;415.1;iimc;time;14;3600.13;28630.50;2412.0;iprover;time;3;3600.11;25339.43;27885.2;iproverdeep;time;3;3600.04;14495.97;17515.5;nuxmv;time;3;3600.09;14398.28;896.4;nuxmvbmc;time;3;3600.10;3599.07;284.4;pdtravdeep;time;-1;3600.42;14187.73;10985.0;pdtravthrd;uns;-1;63.55;67.08;260.2;shiftbmc;time;24;3600.08;3599.26;781.4;truss;time;3;3600.04;10860.39;945.0 +bobsmhdlc3;abcdeep;time;44;3600.10;28793.20;1925.4;abcsuperprove;uns;-1;1248.08;7000.10;1925.2;avy;time;-1;3600.09;14396.42;2146.3;blimc;time;47;3600.08;3599.44;92.6;conpcheck;time;36;3600.09;10799.26;291.1;iimc;time;38;3600.29;28123.22;3905.0;iprover;time;31;3600.09;25342.14;60292.1;iproverdeep;time;31;3600.10;14490.97;44379.0;nuxmv;uns;-1;2456.72;9825.70;562.8;nuxmvbmc;time;40;3600.11;3599.94;200.0;pdtravdeep;time;1;3600.11;14390.17;2772.2;pdtravthrd;time;-1;3600.60;25112.86;11585.5;shiftbmc;time;42;3600.10;3598.89;473.4;truss;time;78;3600.14;10828.85;2535.2 +bobsmi2c;abcdeep;uns;-1;10.49;69.53;529.3;abcsuperprove;uns;-1;1.21;3.42;784.8;avy;uns;-1;10.84;40.81;321.7;blimc;time;36;3600.07;3599.91;89.2;conpcheck;uns;-1;29.16;82.29;89.5;iimc;uns;-1;18.66;139.77;114.2;iprover;time;14;3600.07;25335.66;54061.1;iproverdeep;time;14;3600.07;14490.84;41113.2;nuxmv;uns;-1;34.48;133.33;142.5;nuxmvbmc;time;21;3600.02;3599.41;218.5;pdtravdeep;time;-1;3600.07;14391.65;2729.9;pdtravthrd;uns;-1;7.48;32.11;1038.3;shiftbmc;time;22;3600.03;3599.43;535.1;truss;uns;-1;33.23;129.01;312.7 +bobsmminiuart;abcdeep;time;3076;3600.05;28746.52;23997.4;abcsuperprove;uns;-1;2183.24;26352.47;17684.1;avy;time;-1;3600.04;10797.89;20849.4;blimc;unk;1000;3293.96;3293.02;670.3;conpcheck;time;1000;3600.08;2410.38;293.3;iimc;uns;-1;2014.66;16101.79;1309.7;iprover;time;362;3600.08;16896.90;127683.6;iproverdeep;time;295;3600.08;11908.89;117234.5;nuxmv;time;2909;3600.10;14395.32;1246.2;nuxmvbmc;unk;1001;173.06;172.46;270.0;pdtravdeep;time;8;3600.25;13484.70;10051.9;pdtravthrd;time;-1;3600.52;24525.41;11964.3;shiftbmc;unk;1000;411.51;411.02;211.0;truss;time;3095;3600.24;10829.39;6768.4 +bobsynth13;abcdeep;sat;0;1.20;0.72;96.9;abcsuperprove;sat;0;0.38;0.22;45.6;avy;sat;0;1.91;1.02;30.1;blimc;sat;0;0.78;0.19;4.1;conpcheck;sat;0;2.48;2.05;63.3;iimc;sat;0;0.24;0.00;0.0;iprover;sat;0;1.34;1.93;399.6;iproverdeep;sat;0;1.15;1.35;254.3;nuxmv;sat;0;0.28;0.08;21.8;nuxmvbmc;sat;0;0.70;0.06;31.9;pdtravdeep;sat;0;2.91;1.82;530.6;pdtravthrd;sat;0;3.72;2.53;956.5;shiftbmc;sat;0;2.41;1.98;25.4;truss;sat;0;1.52;0.68;116.8 +bobsynthand;abcdeep;uns;-1;1.97;1.57;478.4;abcsuperprove;uns;-1;0.55;0.12;36.5;avy;time;-1;3600.07;3598.41;33.8;blimc;uns;-1;2.55;2.19;9.3;conpcheck;uns;-1;2.19;1.96;69.4;iimc;uns;-1;0.78;0.00;0.0;iprover;unk;-1;1.34;0.14;264.6;iproverdeep;unk;-1;1.15;0.12;160.8;nuxmv;uns;-1;1.21;1.20;166.9;nuxmvbmc;unk;1001;73.58;73.26;4196.0;pdtravdeep;uns;-1;1.13;0.59;58.6;pdtravthrd;uns;-1;0.95;0.59;58.5;shiftbmc;unk;1000;3.35;3.28;37.3;truss;uns;-1;0.61;0.60;99.2 +bobsynthor;abcdeep;sat;2;1.45;0.71;97.0;abcsuperprove;sat;2;0.84;0.54;46.6;avy;sat;2;2.38;1.63;35.6;blimc;sat;2;2.33;2.19;9.4;conpcheck;sat;3;2.92;1.96;88.4;iimc;sat;2;15.65;17.04;219.4;iprover;sat;2;9.17;54.22;2849.3;iproverdeep;sat;2;8.33;29.86;1670.0;nuxmv;sat;3;0.95;0.42;23.8;nuxmvbmc;sat;2;0.67;0.16;55.8;pdtravdeep;sat;2;4.59;3.28;658.2;pdtravthrd;sat;2;5.65;11.19;1269.5;shiftbmc;sat;2;3.69;2.79;35.2;truss;sat;2;0.89;1.29;168.5 +bobtuint24;abcdeep;sat;0;0.48;0.15;44.1;abcsuperprove;sat;0;1.11;0.12;35.4;avy;sat;0;0.92;0.24;23.1;blimc;sat;0;0.99;0.38;3.3;conpcheck;sat;2;2.15;0.55;64.5;iimc;sat;0;0.91;0.00;0.0;iprover;sat;0;0.84;2.15;424.6;iproverdeep;sat;0;1.22;1.32;256.3;nuxmv;sat;0;0.53;0.00;0.0;nuxmvbmc;sat;0;0.83;0.00;0.0;pdtravdeep;sat;0;2.48;0.87;457.3;pdtravthrd;sat;0;0.99;1.19;625.0;shiftbmc;sat;0;0.79;0.28;20.3;truss;sat;0;0.59;0.00;0.0 +bobtuttt;abcdeep;sat;27;21.37;136.17;588.2;abcsuperprove;sat;53;10.09;79.27;980.1;avy;sat;27;50.70;194.51;503.5;blimc;sat;27;87.56;86.88;39.0;conpcheck;unk;25;273.20;802.53;226.4;iimc;sat;27;41.57;311.49;645.8;iprover;sat;27;203.89;1426.49;18114.7;iproverdeep;sat;27;202.91;810.96;11092.5;nuxmv;sat;27;76.91;304.05;421.9;nuxmvbmc;sat;27;65.83;65.05;211.7;pdtravdeep;sat;28;72.43;250.00;1445.3;pdtravthrd;sat;807;80.78;471.32;2122.6;shiftbmc;sat;27;41.99;41.37;151.2;truss;time;26;3600.15;10828.20;2248.0 +bobunr2p10d40l;abcdeep;uns;-1;1.60;1.74;227.3;abcsuperprove;uns;-1;0.94;0.30;457.2;avy;uns;-1;1.58;1.03;58.6;blimc;time;295;3600.02;3599.21;362.1;conpcheck;uns;-1;3.01;1.96;79.6;iimc;uns;-1;2.85;4.27;153.5;iprover;uns;-1;2.35;13.15;1040.9;iproverdeep;unk;2;7.40;12.92;700.8;nuxmv;uns;-1;2.34;6.07;238.8;nuxmvbmc;unk;1001;1070.27;1069.57;4116.9;pdtravdeep;s11;3277;2687.01;9514.97;35993.9;pdtravthrd;uns;-1;20.02;48.14;1069.8;shiftbmc;unk;1000;146.87;145.87;892.4;truss;uns;-1;1.62;1.94;178.9 +brpp1;abcdeep;sat;3;0.82;0.14;48.6;abcsuperprove;sat;3;0.69;0.12;35.7;avy;sat;3;0.75;0.15;41.5;blimc;sat;3;0.48;0.30;3.7;conpcheck;sat;8;2.91;0.45;66.9;iimc;sat;3;1.14;0.29;31.1;iprover;sat;3;1.01;4.50;509.4;iproverdeep;sat;3;1.86;2.51;273.5;nuxmv;sat;3;1.01;0.11;76.2;nuxmvbmc;sat;3;0.53;0.04;15.4;pdtravdeep;sat;3;2.89;1.13;472.0;pdtravthrd;sat;3;1.98;2.91;881.6;shiftbmc;sat;3;1.10;0.18;19.5;truss;sat;3;0.82;0.00;0.0 +cmudme2;abcdeep;uns;-1;924.19;7328.78;2025.8;abcsuperprove;uns;-1;3.93;34.67;789.4;avy;uns;-1;137.34;546.89;966.7;blimc;time;105;3600.06;3599.24;103.2;conpcheck;uns;-1;923.54;2129.23;159.5;iimc;uns;-1;2.13;13.04;46.8;iprover;time;74;3600.07;25340.17;83692.3;iproverdeep;time;68;3600.02;14486.46;70417.0;nuxmv;uns;-1;180.64;721.34;187.2;nuxmvbmc;time;95;3600.11;3599.65;268.3;pdtravdeep;time;-1;3600.15;14387.80;2727.5;pdtravthrd;uns;-1;3.77;10.58;927.2;shiftbmc;time;105;3600.12;3599.11;382.1;truss;uns;-1;58.96;203.27;325.1 +counterp0;abcdeep;sat;9;7.64;0.14;63.7;abcsuperprove;sat;9;0.50;0.11;35.0;avy;sat;17;1.16;0.20;99.7;blimc;sat;9;1.02;0.00;0.0;conpcheck;sat;20;2.37;0.10;67.4;iimc;sat;9;0.82;0.00;0.0;iprover;sat;9;0.61;1.57;389.4;iproverdeep;sat;9;1.12;0.95;244.7;nuxmv;sat;9;0.43;0.00;0.0;nuxmvbmc;sat;9;1.06;0.00;0.0;pdtravdeep;sat;9;2.62;0.91;454.0;pdtravthrd;sat;10;3.29;1.33;853.5;shiftbmc;sat;9;0.26;0.00;0.0;truss;sat;9;0.41;0.00;0.0 +csmacdp2;abcdeep;sat;7;0.91;0.54;189.0;abcsuperprove;sat;7;1.32;0.19;380.7;avy;sat;7;1.62;0.45;107.0;blimc;sat;7;2.35;2.20;6.6;conpcheck;sat;7;4.36;7.89;87.5;iimc;sat;7;1.75;2.25;77.6;iprover;sat;7;8.09;52.21;2161.1;iproverdeep;sat;7;6.91;25.38;1097.9;nuxmv;sat;7;0.99;0.51;114.9;nuxmvbmc;sat;7;0.75;0.17;39.9;pdtravdeep;sat;7;3.63;2.46;528.4;pdtravthrd;sat;7;6.38;19.26;1031.3;shiftbmc;sat;7;1.64;0.78;21.8;truss;sat;7;1.16;0.71;100.1 +dme6p1;abcdeep;sat;3;0.75;0.12;36.2;abcsuperprove;sat;3;0.58;0.15;36.2;avy;sat;3;0.45;0.24;70.7;blimc;sat;3;1.95;1.28;11.7;conpcheck;sat;9;2.89;1.29;79.5;iimc;sat;3;1.34;0.78;55.8;iprover;sat;3;2.17;8.59;728.5;iproverdeep;sat;3;1.99;4.32;382.9;nuxmv;sat;3;0.72;0.13;84.3;nuxmvbmc;sat;3;0.40;0.05;15.7;pdtravdeep;sat;3;3.66;1.26;487.0;pdtravthrd;sat;3;2.75;4.63;1019.5;shiftbmc;sat;3;1.44;0.36;19.6;truss;sat;3;0.48;0.16;52.8 +dme6p1neg;abcdeep;sat;2;1.20;0.29;150.6;abcsuperprove;sat;2;0.59;0.13;35.8;avy;sat;2;0.44;0.25;65.8;blimc;sat;2;0.82;0.29;3.5;conpcheck;sat;6;2.53;0.87;68.0;iimc;sat;2;1.39;0.76;55.3;iprover;sat;2;2.00;6.54;639.3;iproverdeep;sat;2;1.79;3.46;369.8;nuxmv;sat;2;0.36;0.05;0.0;nuxmvbmc;sat;2;1.00;0.00;0.0;pdtravdeep;sat;2;2.98;1.13;480.7;pdtravthrd;sat;2;2.50;5.17;1019.3;shiftbmc;sat;2;1.37;0.28;19.2;truss;sat;2;0.19;0.14;45.8 +eijkbs1512;abcdeep;uns;-1;16.31;123.60;907.5;abcsuperprove;uns;-1;1.04;1.12;767.4;avy;uns;-1;2.04;2.54;206.4;blimc;time;182;3600.08;3599.55;84.9;conpcheck;uns;-1;23.77;63.36;88.8;iimc;uns;-1;3.65;25.37;65.8;iprover;time;106;3600.08;25333.74;73928.3;iproverdeep;time;54;3600.09;14488.43;38408.0;nuxmv;uns;-1;296.92;1186.43;283.2;nuxmvbmc;time;280;3600.03;3599.03;479.1;pdtravdeep;uns;-1;1.71;0.94;119.8;pdtravthrd;uns;-1;1.36;0.99;233.0;shiftbmc;time;288;3600.08;3599.72;486.6;truss;uns;-1;5.85;20.25;132.8 +eijkbs3271;abcdeep;time;114058810;3600.09;29742.29;18444.0;abcsuperprove;uns;-1;0.48;1.82;789.2;avy;uns;-1;3078.08;12305.34;1286.1;blimc;time;42;3600.07;3599.20;103.1;conpcheck;time;35;3600.07;10797.69;425.8;iimc;uns;-1;1897.47;15163.60;1853.2;iprover;time;16;3600.05;25336.49;33136.4;iproverdeep;time;15;3600.10;14479.06;23777.1;nuxmv;time;16;3600.12;14398.36;300.1;nuxmvbmc;time;16;3600.06;3599.07;164.8;pdtravdeep;time;-1;3600.15;14390.07;3478.5;pdtravthrd;uns;-1;0.97;0.95;233.0;shiftbmc;time;138;3600.12;3598.61;1227.1;truss;time;12;3600.08;10828.78;1775.1 +eijkbs6669;abcdeep;time;116698502;3600.04;29768.88;43357.6;abcsuperprove;uns;-1;1.37;8.92;785.9;avy;time;-1;3600.08;14394.02;461.5;blimc;time;22;3600.10;3599.46;147.2;conpcheck;time;5;3600.11;10798.02;350.8;iimc;time;4;3600.79;28199.52;8733.8;iprover;time;4;3600.08;25352.36;7600.5;iproverdeep;time;4;3600.06;14491.23;4541.8;nuxmv;time;4;3600.08;14396.12;500.2;nuxmvbmc;time;4;3600.03;3599.32;124.0;pdtravdeep;time;-1;3600.11;14372.61;1580.6;pdtravthrd;uns;-1;8.46;7.69;234.3;shiftbmc;time;8;3600.08;3598.71;520.5;truss;time;4;3600.09;10821.25;1602.3 +eijks1196;abcdeep;uns;-1;0.94;0.51;256.0;abcsuperprove;uns;-1;0.91;0.11;35.4;avy;uns;-1;1.33;0.15;57.3;blimc;time;692;3600.10;3599.26;246.6;conpcheck;uns;-1;2.17;1.96;64.4;iimc;uns;-1;0.87;1.09;47.0;iprover;uns;-1;1.83;4.44;449.8;iproverdeep;unk;4;4.92;8.25;296.3;nuxmv;uns;-1;1.08;1.74;93.1;nuxmvbmc;unk;1001;103.38;102.36;570.6;pdtravdeep;uns;-1;1.73;0.89;119.4;pdtravthrd;uns;-1;1.00;0.94;236.4;shiftbmc;unk;1000;105.38;105.29;140.8;truss;uns;-1;1.09;0.99;67.6 +eijks1238;abcdeep;uns;-1;1.49;1.33;267.4;abcsuperprove;uns;-1;0.80;0.14;36.3;avy;uns;-1;1.54;0.31;47.7;blimc;time;709;3600.06;3599.35;236.4;conpcheck;uns;-1;2.29;1.95;67.2;iimc;uns;-1;0.49;0.63;42.6;iprover;uns;-1;1.64;4.72;456.8;iproverdeep;unk;4;6.04;9.47;303.1;nuxmv;uns;-1;0.55;1.29;92.9;nuxmvbmc;unk;1001;106.11;105.74;553.6;pdtravdeep;uns;-1;1.50;0.86;119.3;pdtravthrd;uns;-1;1.62;0.96;236.4;shiftbmc;unk;1000;161.60;160.68;228.0;truss;uns;-1;1.09;0.84;68.5 +eijks344;abcdeep;uns;-1;8.02;8.03;332.7;abcsuperprove;uns;-1;0.47;0.11;45.7;avy;uns;-1;1.47;3.32;131.8;blimc;unk;1000;150.09;149.98;63.6;conpcheck;uns;-1;3.40;3.08;78.3;iimc;uns;-1;1.43;2.91;26.3;iprover;uns;-1;1.04;4.47;521.4;iproverdeep;time;288;3600.08;7250.17;52716.4;nuxmv;uns;-1;0.49;1.35;78.8;nuxmvbmc;unk;1001;26.72;26.36;133.3;pdtravdeep;time;20660;3600.30;8100.68;8413.2;pdtravthrd;uns;-1;1.05;0.79;235.6;shiftbmc;unk;1000;2552.49;2551.91;1568.5;truss;uns;-1;2.36;6.11;54.3 +eijks349;abcdeep;uns;-1;9.58;9.00;340.7;abcsuperprove;uns;-1;0.40;0.11;49.7;avy;uns;-1;1.82;4.12;141.3;blimc;unk;1000;155.43;155.18;62.6;conpcheck;uns;-1;2.73;2.48;76.1;iimc;uns;-1;0.48;2.14;26.0;iprover;uns;-1;1.53;4.04;507.6;iproverdeep;time;303;3600.07;7249.29;53261.7;nuxmv;uns;-1;0.66;1.34;83.5;nuxmvbmc;unk;1001;23.74;23.15;133.4;pdtravdeep;time;1;3600.24;10523.60;7860.3;pdtravthrd;uns;-1;1.12;0.79;234.6;shiftbmc;unk;1000;317.51;316.54;444.9;truss;uns;-1;2.26;7.51;64.4 +eijks386;abcdeep;uns;-1;7.86;1.52;236.9;abcsuperprove;uns;-1;0.56;0.12;49.6;avy;uns;-1;1.05;0.37;62.8;blimc;unk;1000;63.93;63.28;67.3;conpcheck;uns;-1;2.24;2.06;75.3;iimc;uns;-1;0.52;0.00;0.0;iprover;time;733;3600.30;16030.23;127705.8;iproverdeep;time;588;3600.11;10192.83;114629.1;nuxmv;uns;-1;0.37;0.54;74.9;nuxmvbmc;unk;1001;15.42;15.05;161.5;pdtravdeep;uns;-1;1.39;0.68;115.6;pdtravthrd;uns;-1;1.52;0.79;234.2;shiftbmc;unk;1000;95.98;95.36;187.3;truss;uns;-1;0.49;0.70;45.7 +eijks444;abcdeep;uns;-1;67.62;495.10;736.8;abcsuperprove;uns;-1;1.18;0.12;49.6;avy;uns;-1;64.29;253.77;692.0;blimc;time;100;3600.06;3599.39;56.3;conpcheck;uns;-1;25.54;69.71;88.1;iimc;uns;-1;0.92;5.29;31.3;iprover;time;53;3600.09;25339.45;69550.2;iproverdeep;time;49;3600.06;14485.44;59017.5;nuxmv;uns;-1;39.89;156.63;121.2;nuxmvbmc;time;69;3600.10;3599.39;145.7;pdtravdeep;uns;-1;1.16;0.70;119.4;pdtravthrd;uns;-1;1.40;0.75;234.6;shiftbmc;time;62;3600.05;3599.07;413.5;truss;uns;-1;6.82;23.83;119.0 +eijks953;abcdeep;uns;-1;1.81;3.98;322.8;abcsuperprove;uns;-1;0.86;0.48;506.2;avy;uns;-1;1.83;1.51;135.9;blimc;time;259;3600.11;3599.30;118.0;conpcheck;uns;-1;2.98;2.28;78.8;iimc;uns;-1;1.89;8.87;52.0;iprover;time;326;3600.29;16608.50;127716.7;iproverdeep;time;374;3600.11;8012.21;86438.2;nuxmv;uns;-1;2.15;4.89;93.7;nuxmvbmc;unk;1001;114.59;114.26;384.2;pdtravdeep;uns;-1;1.56;0.84;119.2;pdtravthrd;uns;-1;1.82;0.89;232.6;shiftbmc;unk;1000;842.84;842.13;1087.3;truss;uns;-1;1.44;3.46;58.2 +intel001;abcdeep;uns;-1;7.61;0.99;245.0;abcsuperprove;uns;-1;0.29;0.10;89.1;avy;uns;-1;1.46;0.25;53.4;blimc;unk;1000;10.58;9.89;12.4;conpcheck;uns;-1;2.75;1.95;67.5;iimc;uns;-1;0.35;0.00;0.0;iprover;time;684;3600.69;13049.35;127668.6;iproverdeep;time;531;3600.39;13270.83;127564.7;nuxmv;uns;-1;0.40;0.16;72.2;nuxmvbmc;unk;1001;8.08;7.77;102.3;pdtravdeep;time;15792;3600.14;10441.39;2940.1;pdtravthrd;uns;-1;3.66;2.97;821.1;shiftbmc;unk;1000;46.36;45.47;58.8;truss;uns;-1;0.54;0.00;0.0 +intel003;abcdeep;uns;-1;0.97;0.86;217.8;abcsuperprove;uns;-1;1.32;1.02;591.8;avy;uns;-1;0.82;0.32;103.6;blimc;unk;1000;161.31;160.79;73.4;conpcheck;uns;-1;2.68;1.76;59.5;iimc;uns;-1;1.03;1.65;32.5;iprover;time;544;3600.38;15062.73;127666.5;iproverdeep;time;475;3600.09;13935.08;126631.4;nuxmv;uns;-1;1.09;0.45;84.8;nuxmvbmc;unk;1001;196.46;195.66;956.1;pdtravdeep;time;125;3600.09;13843.15;3549.2;pdtravthrd;uns;-1;2.50;2.26;914.0;shiftbmc;unk;1000;27.78;27.37;171.6;truss;uns;-1;0.90;0.67;51.6 +intel007;abcdeep;uns;-1;28.50;148.77;678.9;abcsuperprove;uns;-1;42.81;348.90;998.5;avy;uns;-1;21.65;78.70;281.5;blimc;time;160;3600.09;3599.46;284.7;conpcheck;uns;-1;71.88;206.44;149.7;iimc;uns;-1;45.43;276.00;312.1;iprover;time;72;3600.13;13952.17;127705.5;iproverdeep;time;76;3600.14;11971.47;127691.3;nuxmv;uns;-1;74.83;296.38;347.5;nuxmvbmc;time;283;3600.05;3599.29;3025.5;pdtravdeep;time;-1;3600.24;13482.70;10826.4;pdtravthrd;uns;-1;11.99;50.79;1399.8;shiftbmc;time;302;3600.10;3599.55;1722.7;truss;uns;-1;25.59;83.88;345.8 +intel012;abcdeep;time;92;3600.03;28369.84;9182.0;abcsuperprove;time;-1;3600.05;37430.61;7146.0;avy;time;-1;3600.11;14348.32;5991.1;blimc;time;100;3600.06;3600.18;1289.9;conpcheck;time;69;3600.07;10798.68;1150.1;iimc;time;85;3600.25;28398.37;16871.1;iprover;time;36;3600.11;24092.72;124140.4;iproverdeep;time;45;3600.11;14493.70;90167.8;nuxmv;time;57;3600.08;14396.46;4009.9;nuxmvbmc;time;92;3600.04;3599.55;3303.8;pdtravdeep;time;-1;3601.64;14284.19;28331.9;pdtravthrd;time;-1;3600.47;18127.63;15579.9;shiftbmc;time;76;3600.07;3599.27;1304.3;truss;time;44;3600.12;10817.75;3208.8 +intel013;abcdeep;time;97;3600.12;28190.56;14423.1;abcsuperprove;time;-1;3600.05;26840.71;12393.6;avy;time;-1;3600.07;14279.51;8577.1;blimc;time;101;3600.07;3599.34;2950.6;conpcheck;time;89;3600.11;10797.05;2784.7;iimc;time;65;3600.14;28374.97;6623.5;iprover;time;19;3600.16;22069.90;127714.8;iproverdeep;time;21;3600.07;14488.18;103567.3;nuxmv;time;55;3600.06;14396.61;6034.2;nuxmvbmc;time;97;3600.09;3599.61;4581.0;pdtravdeep;time;93;3602.99;12825.93;76474.2;pdtravthrd;time;-1;3601.13;19409.09;49358.1;shiftbmc;time;93;3600.07;3599.07;3375.6;truss;time;23;3600.19;10814.15;4918.0 +intel014;abcdeep;time;101;3600.04;28486.24;10230.1;abcsuperprove;time;-1;3600.10;36590.97;6388.7;avy;time;-1;3600.05;14364.60;5290.3;blimc;time;121;3600.06;3599.87;1012.7;conpcheck;time;90;3600.02;10797.65;1071.1;iimc;time;105;3600.10;28508.17;3632.3;iprover;time;56;3600.15;19992.14;127628.6;iproverdeep;time;62;3600.15;13990.64;107421.5;nuxmv;time;38;3600.11;14398.76;5810.8;nuxmvbmc;time;97;3600.05;3598.95;4200.7;pdtravdeep;time;-1;3601.66;14324.70;30007.9;pdtravthrd;time;-1;3600.76;20378.12;18204.5;shiftbmc;time;97;3600.03;3599.25;1325.8;truss;time;58;3600.18;11007.20;2836.8 +intel016;abcdeep;time;78;3600.07;28635.11;4353.8;abcsuperprove;time;-1;3600.08;42315.61;6962.3;avy;time;-1;3600.04;14386.45;5922.1;blimc;time;106;3600.12;3599.16;292.4;conpcheck;time;67;3600.03;10798.56;519.2;iimc;time;68;3600.12;28641.10;1800.3;iprover;time;54;3600.18;22701.37;127558.2;iproverdeep;time;49;3600.07;14485.83;100114.0;nuxmv;time;50;3600.06;14397.30;2374.6;nuxmvbmc;time;68;3600.05;3598.96;1336.9;pdtravdeep;time;-1;3600.38;14378.79;8418.9;pdtravthrd;time;-1;3600.44;20941.42;15286.6;shiftbmc;time;78;3600.04;3598.99;705.5;truss;time;57;3600.14;10854.57;2779.8 +intel025;abcdeep;time;72;3600.10;28643.19;3442.4;abcsuperprove;time;-1;3600.07;41768.93;6118.0;avy;uns;-1;1417.12;5660.39;3909.4;blimc;time;84;3600.10;3599.44;153.8;conpcheck;time;57;3600.09;10797.82;319.9;iimc;time;50;3600.11;28764.48;1701.7;iprover;time;66;3600.09;24413.83;127659.4;iproverdeep;time;61;3600.04;14489.32;94856.3;nuxmv;time;36;3600.10;14397.30;2642.8;nuxmvbmc;time;52;3600.03;3598.78;1203.6;pdtravdeep;time;-1;3600.09;14378.18;3700.4;pdtravthrd;time;-1;3600.37;17590.66;7952.4;shiftbmc;time;62;3600.04;3599.18;402.7;truss;time;47;3600.12;10828.55;2689.5 +intel026;abcdeep;uns;-1;400.73;3164.05;4329.8;abcsuperprove;uns;-1;68.49;462.29;2130.7;avy;uns;-1;84.75;333.82;1056.5;blimc;time;342;3600.03;3599.18;166.3;conpcheck;uns;-1;223.91;446.49;325.8;iimc;uns;-1;74.56;580.30;485.5;iprover;time;202;3600.20;14463.37;127650.7;iproverdeep;time;196;3600.10;13249.32;127669.4;nuxmv;uns;-1;8.14;31.72;282.0;nuxmvbmc;unk;1001;862.53;861.57;2104.7;pdtravdeep;time;-1;3600.45;13482.64;11381.4;pdtravthrd;uns;-1;8.79;28.92;1125.1;shiftbmc;time;816;3600.06;3599.39;894.5;truss;uns;-1;206.30;646.01;585.8 +intel027;abcdeep;time;100;3600.06;28394.11;11502.1;abcsuperprove;time;-1;3600.04;39017.58;7968.8;avy;time;-1;3600.05;14354.23;7107.1;blimc;time;124;3600.08;3599.68;1495.2;conpcheck;time;89;3600.05;10797.48;1627.2;iimc;time;104;3600.09;28488.39;3301.3;iprover;time;36;3600.18;23875.49;127670.2;iproverdeep;time;36;3600.02;14490.62;91171.8;nuxmv;time;100;3600.05;14394.64;4632.0;nuxmvbmc;time;100;3600.11;3599.12;3891.3;pdtravdeep;time;-1;3601.58;14285.51;33380.6;pdtravthrd;time;-1;3600.37;16328.25;13719.8;shiftbmc;time;100;3600.03;3599.07;1634.0;truss;time;65;3600.18;10818.07;3178.8 +intel028;abcdeep;time;436;3600.08;28458.31;22425.0;abcsuperprove;time;-1;3600.02;37866.25;8906.0;avy;time;-1;3600.11;13830.89;12523.4;blimc;time;156;3600.04;3599.47;2555.5;conpcheck;time;373;3600.05;10797.86;6229.2;iimc;time;528;3600.22;28439.35;7885.0;iprover;time;34;3600.06;25105.41;124772.7;iproverdeep;time;34;3600.07;14491.21;88324.1;nuxmv;time;428;3600.04;14396.30;9494.3;nuxmvbmc;time;428;3600.09;3598.62;8572.4;pdtravdeep;time;-1;3600.70;13337.14;13863.0;pdtravthrd;time;-1;3600.48;19045.31;12999.4;shiftbmc;time;944;3600.11;3599.94;15362.6;truss;time;38;3600.21;10816.58;4502.7 +intel032;abcdeep;time;71;3600.06;28599.97;3693.7;abcsuperprove;time;-1;3600.11;42055.99;5836.4;avy;time;-1;3600.06;14390.61;4877.4;blimc;time;83;3600.09;3599.29;139.7;conpcheck;time;64;3600.05;10798.56;362.1;iimc;time;69;3600.06;28761.62;1543.5;iprover;time;65;3600.06;22588.75;124432.3;iproverdeep;time;63;3600.12;14448.42;117608.4;nuxmv;time;67;3600.07;14397.45;1368.1;nuxmvbmc;time;67;3600.06;3598.81;1037.5;pdtravdeep;time;-1;3600.25;14379.41;4847.3;pdtravthrd;time;-1;3600.37;17677.05;9589.1;shiftbmc;time;69;3600.07;3599.28;522.8;truss;time;50;3600.17;10838.40;3801.2 +intel034;abcdeep;uns;-1;3418.67;27152.33;45518.6;abcsuperprove;time;-1;3600.05;41292.88;19996.2;avy;time;-1;3600.05;10787.50;6945.4;blimc;time;604;3600.07;3599.40;2274.5;conpcheck;uns;-1;763.24;2256.70;4104.2;iimc;uns;-1;764.95;5863.98;6018.5;iprover;time;76;3600.58;14162.40;127694.5;iproverdeep;time;96;3600.02;13214.11;114216.2;nuxmv;uns;-1;244.01;974.29;5542.1;nuxmvbmc;unk;1001;376.02;375.32;6668.2;pdtravdeep;time;-1;3600.61;13457.68;13460.4;pdtravthrd;uns;-1;641.29;1956.67;4712.9;shiftbmc;unk;1000;173.43;172.73;4268.4;truss;uns;-1;598.48;1822.98;1558.4 +intel036;abcdeep;sat;109;332.32;2195.02;5130.8;abcsuperprove;sat;109;738.55;4238.45;5802.4;avy;sat;109;1812.12;7190.05;3067.8;blimc;sat;109;519.06;518.46;1436.9;conpcheck;time;91;3600.07;10798.95;2301.4;iimc;sat;109;1298.17;10019.94;2531.8;iprover;time;30;3600.12;19696.80;127703.0;iproverdeep;time;38;3600.03;14490.55;105762.3;nuxmv;sat;109;600.52;2397.27;2595.4;nuxmvbmc;sat;109;553.83;552.55;1728.6;pdtravdeep;sat;109;554.59;2058.72;5962.2;pdtravthrd;sat;109;831.42;3702.84;5689.4;shiftbmc;time;108;3600.10;3599.26;2955.9;truss;time;47;3600.16;10816.37;2619.0 +intel039;abcdeep;sat;35;17.29;77.34;1872.9;abcsuperprove;sat;35;24.47;301.48;3440.1;avy;sat;35;30.35;50.52;965.4;blimc;sat;35;100.06;99.38;671.0;conpcheck;sat;35;579.00;1732.39;1042.8;iimc;sat;35;86.99;308.53;1723.4;iprover;time;24;3600.17;21216.66;127657.3;iproverdeep;time;26;3600.10;14490.83;103870.4;nuxmv;sat;35;24.30;93.49;1620.4;nuxmvbmc;sat;35;23.71;22.68;808.2;pdtravdeep;sat;35;216.34;602.85;4579.7;pdtravthrd;sat;35;262.42;1202.97;4301.5;shiftbmc;sat;35;239.88;239.15;887.0;truss;sat;35;710.38;2814.49;4466.6 +intel040;abcdeep;sat;37;17.69;81.23;1951.2;abcsuperprove;sat;37;18.21;212.56;3237.2;avy;sat;37;30.60;46.07;987.0;blimc;sat;37;90.74;90.08;635.4;conpcheck;sat;37;504.33;1501.66;918.5;iimc;sat;37;82.14;272.49;1696.3;iprover;time;30;3600.06;21620.89;127702.2;iproverdeep;time;36;3600.08;14491.65;103491.5;nuxmv;sat;37;25.69;97.51;1710.3;nuxmvbmc;sat;37;24.11;23.47;856.1;pdtravdeep;sat;37;226.24;674.01;5275.0;pdtravthrd;sat;37;277.12;1265.30;3970.0;shiftbmc;sat;37;211.82;211.77;766.3;truss;sat;37;1115.34;4432.23;4477.3 +intel043;abcdeep;sat;83;113.85;468.68;3631.3;abcsuperprove;sat;83;58.41;597.59;3987.0;avy;sat;83;168.53;611.91;2062.1;blimc;sat;83;260.61;259.96;1337.3;conpcheck;sat;83;858.97;2573.93;1437.5;iimc;sat;83;152.19;869.46;1823.5;iprover;time;34;3600.05;25084.28;124783.6;iproverdeep;time;38;3600.05;14493.31;86142.2;nuxmv;sat;83;127.52;504.16;2213.9;nuxmvbmc;sat;83;123.99;123.07;1449.3;pdtravdeep;sat;83;302.81;632.43;4476.6;pdtravthrd;sat;83;470.87;1797.71;4770.4;shiftbmc;sat;83;318.44;317.87;1304.4;truss;time;43;3600.13;10815.45;2195.0 +intel044;abcdeep;sat;84;303.50;2395.87;1493.6;abcsuperprove;sat;90;88.69;752.27;1147.3;avy;sat;88;180.31;715.17;861.4;blimc;sat;70;333.91;333.00;54.7;conpcheck;sat;82;457.56;1365.29;170.6;iimc;sat;78;166.24;1304.45;336.5;iprover;time;23;3600.04;25329.45;70433.6;iproverdeep;time;23;3600.08;14483.14;50112.5;nuxmv;sat;94;107.01;427.22;271.3;nuxmvbmc;time;25;3600.06;3599.20;323.4;pdtravdeep;time;-1;3600.17;14388.94;2676.8;pdtravthrd;sat;70;25.33;112.41;1371.5;shiftbmc;sat;70;1395.45;1394.63;262.4;truss;sat;82;247.25;791.70;794.1 +intel046;abcdeep;sat;126;134.08;1038.54;1170.9;abcsuperprove;sat;122;96.12;858.12;1280.9;avy;sat;76;241.96;962.42;1000.8;blimc;sat;70;316.92;316.19;58.4;conpcheck;sat;92;436.16;1302.45;169.6;iimc;sat;84;180.82;1422.17;401.0;iprover;time;25;3600.03;21737.07;60728.9;iproverdeep;time;23;3600.10;10875.77;45532.7;nuxmv;sat;88;126.63;504.02;259.8;nuxmvbmc;time;25;3600.10;3599.40;317.0;pdtravdeep;time;-1;3600.11;14387.09;2801.1;pdtravthrd;sat;78;22.42;98.21;1426.7;shiftbmc;sat;70;1430.32;1429.53;377.7;truss;sat;92;206.17;666.07;708.3 +intel047;abcdeep;sat;80;207.46;1626.02;1323.0;abcsuperprove;sat;160;107.36;978.24;1239.0;avy;sat;86;168.19;669.23;860.6;blimc;sat;70;315.58;315.00;56.6;conpcheck;sat;90;509.22;1521.06;145.2;iimc;sat;80;203.64;1603.27;419.2;iprover;time;25;3600.05;25335.87;66257.7;iproverdeep;time;23;3600.08;14488.10;58244.6;nuxmv;sat;100;114.97;456.10;274.1;nuxmvbmc;time;25;3600.12;3599.46;355.2;pdtravdeep;time;-1;3600.15;14389.14;2807.0;pdtravthrd;sat;78;25.17;113.75;1404.3;shiftbmc;sat;70;970.74;970.24;281.9;truss;sat;82;251.00;804.01;797.6 +intel056;abcdeep;uns;-1;17.94;131.67;575.4;abcsuperprove;uns;-1;13.77;144.78;708.5;avy;uns;-1;14.18;50.68;243.1;blimc;time;319;3600.06;3599.10;109.9;conpcheck;uns;-1;32.82;92.19;100.9;iimc;uns;-1;14.19;103.52;100.2;iprover;time;27;3600.07;21738.69;48840.0;iproverdeep;time;24;3600.03;10880.04;41604.3;nuxmv;uns;-1;10.37;40.05;143.3;nuxmvbmc;time;27;3600.10;3599.57;213.2;pdtravdeep;time;-1;3600.08;14393.72;1607.9;pdtravthrd;uns;-1;3.04;9.98;979.9;shiftbmc;time;917;3600.04;3599.25;2253.0;truss;uns;-1;20.53;78.89;225.1 +intel061;abcdeep;uns;-1;29.40;220.58;593.6;abcsuperprove;uns;-1;12.47;124.70;685.9;avy;uns;-1;14.21;52.51;255.4;blimc;time;326;3600.11;3599.50;112.1;conpcheck;uns;-1;36.25;103.56;101.4;iimc;uns;-1;13.52;96.96;94.0;iprover;time;26;3600.09;25351.78;40573.0;iproverdeep;time;24;3600.04;14489.83;35162.0;nuxmv;uns;-1;7.94;29.46;130.5;nuxmvbmc;time;28;3600.04;3599.15;219.4;pdtravdeep;time;-1;3600.07;14393.34;2893.3;pdtravthrd;uns;-1;3.25;9.86;983.0;shiftbmc;time;370;3600.04;3599.10;837.6;truss;uns;-1;11.71;43.11;173.9 +intel064;abcdeep;time;13;3600.05;28680.11;3849.4;abcsuperprove;time;-1;3600.12;42257.22;7734.1;avy;time;-1;3600.08;14389.37;3453.9;blimc;time;10;3600.04;3599.27;181.0;conpcheck;time;6;3600.06;10798.64;630.9;iimc;time;7;3600.09;28610.14;2474.4;iprover;time;6;3600.04;25329.12;41502.1;iproverdeep;time;6;3600.03;14488.46;28448.1;nuxmv;time;4;3600.09;14396.70;2602.2;nuxmvbmc;time;6;3600.09;3599.31;482.5;pdtravdeep;time;-1;3600.14;14377.74;3466.5;pdtravthrd;time;-1;3600.18;24566.00;6265.2;shiftbmc;time;9;3600.07;3598.78;918.1;truss;uns;-1;2368.94;7126.50;2070.9 +intel066;abcdeep;time;13;3600.11;28728.08;2455.6;abcsuperprove;time;-1;3600.11;42479.43;9377.3;avy;time;-1;3600.03;14391.39;2799.3;blimc;time;10;3600.12;3599.48;172.7;conpcheck;time;6;3600.03;10797.58;675.3;iimc;time;5;3600.11;28722.06;1623.6;iprover;time;4;3600.08;25352.57;16308.3;iproverdeep;time;4;3600.07;14485.21;10745.4;nuxmv;time;4;3600.07;14395.14;1083.5;nuxmvbmc;time;4;3600.08;3599.33;367.9;pdtravdeep;time;-1;3600.12;14333.65;3514.0;pdtravthrd;time;-1;3600.20;19837.36;4468.7;shiftbmc;time;8;3600.11;3598.99;871.8;truss;uns;-1;1932.11;2697.38;695.9 +irstdme6;abcdeep;sat;53;21.48;159.35;575.0;abcsuperprove;sat;63;1.85;9.95;700.6;avy;sat;60;7.42;28.19;298.5;blimc;sat;53;58.70;58.19;19.2;conpcheck;sat;53;5.47;9.99;87.0;iimc;sat;59;9.41;66.38;84.4;iprover;time;49;3600.12;25343.21;71416.2;iproverdeep;time;49;3600.12;14487.46;52539.5;nuxmv;sat;62;5.94;18.92;122.2;nuxmvbmc;sat;53;78.37;77.75;119.7;pdtravdeep;sat;54;25.36;93.95;975.8;pdtravthrd;sat;56;6.02;26.06;1066.6;shiftbmc;sat;53;30.27;30.06;55.0;truss;sat;53;28.12;109.02;280.9 +kenflashp03;abcdeep;uns;-1;0.75;0.42;170.2;abcsuperprove;uns;-1;0.87;0.11;34.4;avy;uns;-1;1.63;0.13;34.3;blimc;unk;1000;55.11;54.49;120.3;conpcheck;uns;-1;2.87;1.75;49.9;iimc;uns;-1;1.26;0.04;40.9;iprover;uns;-1;1.74;6.24;635.3;iproverdeep;time;1909;3600.11;7251.06;43141.3;nuxmv;uns;-1;1.07;1.05;119.6;nuxmvbmc;unk;1001;21.45;21.15;456.3;pdtravdeep;time;12;3600.22;13472.76;6272.6;pdtravthrd;uns;-1;1.84;0.98;351.1;shiftbmc;unk;1000;5.57;5.05;110.2;truss;uns;-1;0.86;0.04;35.8 +kenflashp07;abcdeep;uns;-1;1.19;0.48;174.5;abcsuperprove;uns;-1;0.85;0.11;44.2;avy;uns;-1;1.54;0.13;22.2;blimc;unk;1000;30.48;29.88;133.1;conpcheck;uns;-1;3.07;2.06;64.8;iimc;uns;-1;0.40;0.14;26.7;iprover;time;1263;3600.26;16840.72;127527.2;iproverdeep;time;1607;3600.07;14483.16;120076.7;nuxmv;uns;-1;0.40;0.56;100.6;nuxmvbmc;unk;1001;14.76;13.67;352.2;pdtravdeep;time;22;3600.23;13483.12;5631.9;pdtravthrd;uns;-1;2.62;3.05;885.5;shiftbmc;unk;1000;5.99;5.18;147.1;truss;uns;-1;0.95;0.10;40.3 +kenflashp08;abcdeep;uns;-1;1.16;0.51;174.2;abcsuperprove;uns;-1;0.83;0.12;35.5;avy;uns;-1;0.32;0.15;22.2;blimc;unk;1000;32.79;32.69;102.1;conpcheck;uns;-1;2.86;1.96;67.1;iimc;uns;-1;0.76;0.14;25.2;iprover;uns;-1;1.16;2.67;416.8;iproverdeep;time;1714;3600.05;10872.00;72565.3;nuxmv;uns;-1;0.69;0.55;95.5;nuxmvbmc;unk;1001;13.44;13.37;351.7;pdtravdeep;time;22;3600.18;13480.10;5630.6;pdtravthrd;uns;-1;1.30;0.86;468.2;shiftbmc;unk;1000;6.18;5.48;141.3;truss;uns;-1;0.37;0.11;40.6 +kenflashp09;abcdeep;uns;-1;0.98;0.65;194.6;abcsuperprove;uns;-1;1.28;0.14;35.7;avy;uns;-1;1.22;0.12;22.7;blimc;unk;1000;65.36;64.78;149.1;conpcheck;uns;-1;2.45;1.95;66.6;iimc;uns;-1;0.66;0.10;26.4;iprover;uns;-1;2.28;8.69;759.7;iproverdeep;time;1930;3600.04;7250.49;43188.0;nuxmv;uns;-1;0.72;1.31;122.1;nuxmvbmc;unk;1001;33.96;33.07;627.2;pdtravdeep;time;97;3600.28;13470.85;6851.0;pdtravthrd;uns;-1;1.36;1.02;353.6;shiftbmc;unk;1000;7.89;7.28;123.6;truss;uns;-1;0.61;0.09;39.2 +kenflashp10;abcdeep;uns;-1;0.68;0.63;226.2;abcsuperprove;uns;-1;0.42;0.13;35.5;avy;time;-1;3600.07;3599.68;42.3;blimc;uns;-1;0.96;0.20;4.4;conpcheck;uns;-1;2.77;1.75;36.8;iimc;uns;-1;0.99;0.05;41.4;iprover;unk;-1;5.08;18.00;593.1;iproverdeep;unk;-1;5.08;8.31;353.5;nuxmv;uns;-1;1.74;1.70;130.0;nuxmvbmc;unk;1001;14.21;13.75;494.4;pdtravdeep;time;840;3600.28;13473.42;8206.3;pdtravthrd;uns;-1;0.91;0.95;333.1;shiftbmc;unk;1000;1.04;0.48;22.9;truss;uns;-1;0.89;0.15;45.7 +kenflashp13;abcdeep;uns;-1;1.10;1.03;228.3;abcsuperprove;uns;-1;0.98;0.08;28.5;avy;time;-1;3600.09;3599.51;30.2;blimc;uns;-1;0.58;0.00;0.0;conpcheck;uns;-1;2.68;1.77;36.0;iimc;uns;-1;0.41;0.00;0.0;iprover;unk;-1;0.99;0.00;11.2;iproverdeep;unk;-1;0.91;0.00;11.1;nuxmv;uns;-1;0.84;0.16;71.8;nuxmvbmc;unk;1001;7.75;7.05;289.9;pdtravdeep;uns;-1;0.88;0.59;58.6;pdtravthrd;uns;-1;1.59;0.59;58.6;shiftbmc;unk;1000;1.12;0.28;22.0;truss;uns;-1;0.75;0.03;33.5 +mentorbm1and;abcdeep;sat;11;1.86;2.42;328.2;abcsuperprove;sat;11;1.47;1.40;674.9;avy;sat;11;3.27;2.22;159.0;blimc;sat;11;5.88;5.19;20.5;conpcheck;sat;11;12.04;27.69;129.8;iimc;sat;11;28.87;38.84;437.7;iprover;sat;11;57.03;392.39;12860.0;iproverdeep;sat;11;66.31;261.27;7949.5;nuxmv;sat;11;1.53;3.48;314.7;nuxmvbmc;sat;11;1.85;0.86;95.7;pdtravdeep;sat;11;30.86;31.03;911.8;pdtravthrd;sat;11;30.51;70.64;1441.6;shiftbmc;sat;11;4.62;4.28;50.3;truss;sat;11;3.89;8.81;413.9 +mentorbm1or;abcdeep;uns;-1;2.50;1.88;301.5;abcsuperprove;uns;-1;0.86;0.42;47.0;avy;time;-1;3600.03;3597.63;44.1;blimc;unk;1000;339.48;338.77;2809.3;conpcheck;uns;-1;2.38;1.96;67.3;iimc;uns;-1;4.32;3.69;79.3;iprover;uns;-1;17.29;69.95;3444.4;iproverdeep;unk;2;18.35;40.76;2139.3;nuxmv;uns;-1;1.97;5.46;366.0;nuxmvbmc;unk;1001;118.39;117.34;5388.2;pdtravdeep;uns;-1;27.51;27.39;181.3;pdtravthrd;uns;-1;3.48;2.89;233.5;shiftbmc;unk;1000;4.76;4.57;37.4;truss;uns;-1;1.46;3.02;290.6 +mentorbm1p02;abcdeep;uns;-1;2.31;1.83;297.2;abcsuperprove;uns;-1;1.47;0.61;529.7;avy;uns;-1;3.06;2.23;39.3;blimc;unk;1000;678.48;677.76;3198.2;conpcheck;uns;-1;2.72;2.05;94.7;iimc;uns;-1;14.99;17.35;261.7;iprover;uns;-1;9.84;60.58;3198.6;iproverdeep;time;1185;3600.06;7251.82;104216.5;nuxmv;uns;-1;1.80;3.88;302.2;nuxmvbmc;unk;1001;102.41;101.85;3958.0;pdtravdeep;uns;-1;27.53;26.89;180.0;pdtravthrd;uns;-1;28.01;27.19;299.2;shiftbmc;unk;1000;17.56;16.59;2258.8;truss;uns;-1;3.47;6.76;392.1 +mutexp0;abcdeep;sat;7;8.26;0.16;42.1;abcsuperprove;sat;7;0.63;0.10;45.7;avy;sat;7;1.21;0.19;92.1;blimc;sat;7;0.38;0.00;0.0;conpcheck;sat;16;2.42;0.10;67.8;iimc;sat;7;0.12;0.00;0.0;iprover;sat;7;1.15;1.90;331.9;iproverdeep;sat;7;1.43;0.72;188.3;nuxmv;sat;7;0.91;0.00;0.0;nuxmvbmc;sat;7;0.28;0.00;0.0;pdtravdeep;sat;7;3.53;0.87;454.2;pdtravthrd;sat;7;3.65;1.45;852.8;shiftbmc;sat;7;1.08;0.00;0.0;truss;sat;7;0.35;0.00;0.0 +ndista128;abcdeep;uns;-1;8.44;3.58;389.1;abcsuperprove;uns;-1;0.31;0.10;35.2;avy;uns;-1;1.39;1.07;242.7;blimc;unk;1000;3.51;2.89;5.1;conpcheck;uns;-1;2.68;2.07;75.1;iimc;uns;-1;0.22;0.00;0.0;iprover;uns;-1;1762.57;8840.75;107172.1;iproverdeep;time;1098;3600.10;12658.52;127711.1;nuxmv;uns;-1;0.92;0.90;84.2;nuxmvbmc;unk;1001;0.50;0.17;37.5;pdtravdeep;time;2324;3600.07;5739.17;1099.6;pdtravthrd;uns;-1;1.51;1.02;277.6;shiftbmc;unk;1000;1.65;0.68;29.7;truss;uns;-1;0.91;2.33;73.7 +neclabakery001;abcdeep;uns;-1;3.61;19.26;550.1;abcsuperprove;uns;-1;1.90;6.73;727.1;avy;uns;-1;2.94;4.35;283.6;blimc;time;278;3600.10;3598.84;81.6;conpcheck;uns;-1;4.19;8.49;82.0;iimc;uns;-1;2.40;10.79;45.0;iprover;time;149;3600.09;22267.02;95866.2;iproverdeep;time;150;3600.09;11961.83;67615.2;nuxmv;uns;-1;5.78;18.93;113.4;nuxmvbmc;time;537;3600.09;3600.16;338.2;pdtravdeep;time;-1;3600.16;14325.79;4688.5;pdtravthrd;uns;-1;4.80;18.86;973.8;shiftbmc;unk;1000;72.21;71.58;260.4;truss;uns;-1;4.33;15.09;95.7 +neclaftp4002;abcdeep;uns;-1;6.45;29.01;4236.3;abcsuperprove;uns;-1;0.88;0.10;33.2;avy;uns;-1;1.07;0.63;46.4;blimc;unk;1000;44.96;44.78;573.0;conpcheck;uns;-1;9.93;23.43;161.3;iimc;uns;-1;0.48;0.30;43.5;iprover;time;1089;3600.21;12202.16;127720.2;iproverdeep;time;1321;3600.04;10709.52;113531.3;nuxmv;uns;-1;0.25;0.06;79.0;nuxmvbmc;unk;1001;0.61;0.05;16.4;pdtravdeep;uns;-1;630.22;2482.98;857.9;pdtravthrd;uns;-1;3.71;3.29;253.4;shiftbmc;unk;1000;58.58;57.58;782.0;truss;uns;-1;10.26;39.36;451.8 +neclaftp5001;abcdeep;uns;-1;6.88;0.88;208.5;abcsuperprove;uns;-1;1.15;0.12;46.4;avy;uns;-1;1.22;0.12;36.1;blimc;unk;1000;1.01;0.09;6.1;conpcheck;uns;-1;3.01;1.95;62.7;iimc;uns;-1;0.61;0.00;0.0;iprover;uns;-1;0.91;0.30;155.5;iproverdeep;unk;2;1.26;0.18;85.3;nuxmv;uns;-1;1.01;0.00;0.0;nuxmvbmc;unk;1001;0.71;0.27;35.7;pdtravdeep;uns;-1;644.37;2535.43;845.1;pdtravthrd;uns;-1;1.08;0.93;202.6;shiftbmc;unk;1000;12.52;11.48;203.6;truss;uns;-1;0.68;0.00;0.0 +neclatcas1a001;abcdeep;time;22505347;3601.41;10429.43;127704.0;abcsuperprove;uns;-1;1.17;0.11;34.1;avy;uns;-1;0.57;0.24;22.6;blimc;unk;1000;17.62;16.58;169.9;conpcheck;uns;-1;21.39;57.37;149.9;iimc;uns;-1;0.61;0.00;0.0;iprover;uns;-1;1.79;6.81;600.0;iproverdeep;time;107;3600.04;7247.35;14704.0;nuxmv;uns;-1;0.39;0.13;83.8;nuxmvbmc;unk;1001;3.45;3.17;75.9;pdtravdeep;uns;-1;641.50;2524.62;815.3;pdtravthrd;uns;-1;1.96;1.03;356.7;shiftbmc;unk;1000;11.74;10.88;168.3;truss;uns;-1;2.72;8.07;170.6 +nusmvbrp;abcdeep;uns;-1;9.10;8.72;357.9;abcsuperprove;uns;-1;2.49;11.79;686.3;avy;uns;-1;1.87;3.15;188.8;blimc;time;109;3600.05;3599.59;63.2;conpcheck;uns;-1;2.54;2.18;79.9;iimc;uns;-1;2.36;13.04;41.9;iprover;time;37;3600.11;25332.31;36278.9;iproverdeep;time;36;3600.05;14488.63;31956.1;nuxmv;uns;-1;1.32;3.29;90.3;nuxmvbmc;time;54;3600.03;3599.61;186.0;pdtravdeep;time;-1;3600.12;14391.37;1306.4;pdtravthrd;uns;-1;4.47;16.02;909.5;shiftbmc;time;485;3600.09;3599.08;1584.0;truss;uns;-1;3.41;11.48;106.4 +nusmvdme216;abcdeep;time;115;3600.08;28781.71;2555.0;abcsuperprove;time;-1;3600.07;42603.78;9723.0;avy;time;-1;3600.07;14393.57;3069.3;blimc;time;106;3600.04;3599.43;121.1;conpcheck;time;81;3600.11;10796.92;363.4;iimc;time;198;3600.13;28144.06;2440.3;iprover;time;62;3600.04;25349.93;92175.3;iproverdeep;time;57;3600.07;14484.32;63532.3;nuxmv;time;97;3600.07;14396.17;858.4;nuxmvbmc;time;97;3600.06;3599.25;433.3;pdtravdeep;time;-1;3600.15;14378.16;5820.3;pdtravthrd;time;-1;3600.29;21262.13;8342.5;shiftbmc;time;103;3600.05;3598.71;599.5;truss;time;72;3600.19;10827.13;2959.8 +nusmvguidancep1;abcdeep;uns;-1;1.51;0.45;165.1;abcsuperprove;uns;-1;0.68;0.47;498.4;avy;uns;-1;0.50;0.33;88.6;blimc;time;776;3600.04;3599.91;390.5;conpcheck;uns;-1;2.73;1.95;69.6;iimc;uns;-1;1.30;1.55;53.8;iprover;uns;-1;4.43;26.88;1153.2;iproverdeep;time;347;3600.10;7245.57;57638.3;nuxmv;uns;-1;1.52;0.96;103.4;nuxmvbmc;unk;1001;20.55;20.24;515.0;pdtravdeep;time;225;3600.22;13474.51;6199.3;pdtravthrd;uns;-1;2.06;3.61;960.8;shiftbmc;unk;1000;16.35;15.86;316.3;truss;uns;-1;1.16;1.55;80.1 +nusmvreactorp3;abcdeep;uns;-1;1.35;1.02;224.7;abcsuperprove;uns;-1;1.21;0.42;488.3;avy;uns;-1;0.98;0.14;61.7;blimc;unk;1000;44.75;43.98;192.8;conpcheck;uns;-1;2.48;2.06;75.4;iimc;uns;-1;0.37;0.70;41.8;iprover;uns;-1;2.02;6.33;551.9;iproverdeep;time;1074;3600.11;3623.63;34932.1;nuxmv;uns;-1;0.57;0.18;73.7;nuxmvbmc;unk;1001;9.03;8.25;319.9;pdtravdeep;time;3120;3600.19;13485.37;5751.2;pdtravthrd;uns;-1;1.67;0.95;284.6;shiftbmc;unk;1000;2.31;2.08;210.2;truss;uns;-1;0.57;0.59;54.6 +nusmvreactorp5;abcdeep;uns;-1;0.92;0.49;172.9;abcsuperprove;uns;-1;1.26;0.12;44.1;avy;uns;-1;0.80;0.14;22.4;blimc;unk;1000;1515.40;1515.04;221.8;conpcheck;uns;-1;2.72;1.75;66.0;iimc;uns;-1;1.03;0.10;27.1;iprover;uns;-1;1.20;2.35;383.6;iproverdeep;time;1730;3600.10;7249.92;75444.0;nuxmv;uns;-1;0.30;0.13;73.2;nuxmvbmc;time;897;3600.03;3599.26;477.7;pdtravdeep;time;1010;3600.44;13484.86;11458.4;pdtravthrd;uns;-1;0.92;0.90;264.5;shiftbmc;unk;1000;3.24;2.38;203.2;truss;uns;-1;0.15;0.00;0.0 +nusmvsyncarb5p2;abcdeep;uns;-1;8.56;0.79;211.1;abcsuperprove;uns;-1;0.90;0.10;49.2;avy;uns;-1;1.53;0.19;57.9;blimc;unk;1000;1.10;0.70;4.5;conpcheck;uns;-1;2.67;2.05;65.2;iimc;uns;-1;0.48;0.00;0.0;iprover;time;691;3600.31;9933.45;127705.1;iproverdeep;time;704;3600.14;9300.57;127705.2;nuxmv;uns;-1;0.84;0.05;15.3;nuxmvbmc;unk;1001;1.71;1.07;42.6;pdtravdeep;time;26535;3600.10;6415.44;2288.7;pdtravthrd;uns;-1;0.90;0.74;366.8;shiftbmc;unk;1000;12.63;11.78;28.3;truss;uns;-1;0.42;0.00;0.0 +nusmvtcasp3;abcdeep;uns;-1;101.95;800.90;1697.8;abcsuperprove;uns;-1;0.99;1.88;693.3;avy;uns;-1;45.93;176.99;464.5;blimc;time;739;3600.06;3599.64;542.3;conpcheck;uns;-1;179.70;450.39;229.1;iimc;uns;-1;38.78;301.12;246.7;iprover;uns;-1;3.46;18.87;950.0;iproverdeep;unk;8;35.13;49.22;926.9;nuxmv;uns;-1;10.60;38.49;371.4;nuxmvbmc;unk;1001;78.99;78.76;790.2;pdtravdeep;time;1151;3600.25;13479.39;6666.2;pdtravthrd;uns;-1;2.79;3.52;995.1;shiftbmc;unk;1000;540.19;539.29;494.5;truss;uns;-1;116.22;378.73;384.5 +oc8051gm03acc;abcdeep;time;100;3600.07;28634.88;2703.5;abcsuperprove;time;-1;3600.05;42053.02;3759.4;avy;uns;-1;1222.44;4879.42;1230.2;blimc;time;51;3600.10;3599.60;153.0;conpcheck;time;32;3600.12;10797.80;305.6;iimc;time;66;3600.06;28756.85;1344.1;iprover;time;121;3600.11;24329.49;104253.4;iproverdeep;time;51;3600.11;14493.08;77146.2;nuxmv;time;77;3600.06;14396.54;802.6;nuxmvbmc;time;81;3600.10;3599.25;612.3;pdtravdeep;time;-1;3600.14;14380.98;4777.9;pdtravthrd;time;-1;3600.25;17847.22;5934.7;shiftbmc;time;53;3600.11;3599.13;435.7;truss;time;25;3600.17;10838.60;1925.6 +oc8051gm06iram;abcdeep;time;49;3600.07;28647.36;2189.5;abcsuperprove;time;-1;3600.03;42140.88;3262.5;avy;time;-1;3600.11;14392.29;1240.8;blimc;time;39;3600.11;3599.29;133.5;conpcheck;time;25;3600.08;10798.55;319.8;iimc;time;38;3600.07;28756.50;1164.1;iprover;time;37;3600.07;21734.19;89363.4;iproverdeep;time;38;3600.10;10610.53;65986.6;nuxmv;time;16;3600.11;14398.33;655.6;nuxmvbmc;time;44;3600.11;3598.92;417.6;pdtravdeep;time;-1;3600.28;14377.53;6835.2;pdtravthrd;time;-1;3600.37;19340.56;10308.9;shiftbmc;time;32;3600.05;3599.10;418.4;truss;time;21;3600.08;10828.68;1815.8 +oc8051gm0caddr;abcdeep;uns;-1;2240.50;17725.29;9507.2;abcsuperprove;uns;-1;63.30;570.44;1073.1;avy;uns;-1;300.36;1192.78;916.1;blimc;time;83;3600.05;3599.09;264.9;conpcheck;time;133;3600.08;10797.71;675.3;iimc;time;588;3600.10;28756.62;2519.0;iprover;time;214;3600.08;22485.06;127687.6;iproverdeep;time;272;3600.11;13041.84;110194.3;nuxmv;uns;-1;293.09;1169.45;804.5;nuxmvbmc;time;739;3600.06;3599.05;3125.5;pdtravdeep;time;-1;3600.61;13471.07;11236.6;pdtravthrd;uns;-1;615.81;3029.51;3230.1;shiftbmc;time;515;3600.09;3599.30;3152.7;truss;time;36;3600.13;10827.26;2214.0 +oc8051gm12data;abcdeep;uns;-1;1843.88;14561.06;7328.7;abcsuperprove;uns;-1;58.74;513.37;1039.3;avy;uns;-1;339.83;1350.16;881.7;blimc;time;77;3600.11;3599.55;263.5;conpcheck;time;119;3600.05;10797.44;631.6;iimc;time;513;3600.13;28756.94;2365.9;iprover;time;172;3600.09;24861.78;127692.4;iproverdeep;time;245;3600.05;14490.32;111205.4;nuxmv;uns;-1;465.41;1858.33;1101.9;nuxmvbmc;time;637;3600.02;3598.99;3121.2;pdtravdeep;time;-1;3600.51;13472.95;11238.3;pdtravthrd;uns;-1;380.01;1644.48;2344.1;shiftbmc;time;444;3600.12;3598.96;2255.2;truss;time;33;3600.17;10829.41;2160.1 +oc8051gm15addr;abcdeep;time;1146;3600.05;28616.74;15657.1;abcsuperprove;uns;-1;103.77;585.07;1222.0;avy;uns;-1;218.94;866.11;847.5;blimc;time;76;3600.10;3599.03;267.6;conpcheck;time;156;3600.09;10798.50;745.2;iimc;time;529;3600.14;28748.01;2508.6;iprover;time;195;3600.17;21965.86;127692.5;iproverdeep;time;234;3600.09;12132.90;98922.4;nuxmv;uns;-1;379.47;1515.19;1074.8;nuxmvbmc;time;667;3600.06;3599.09;4040.9;pdtravdeep;time;-1;3600.75;13463.74;11888.8;pdtravthrd;uns;-1;317.35;1527.56;2268.2;shiftbmc;time;586;3600.07;3599.28;2609.8;truss;time;35;3600.18;10827.87;2165.0 +oc8051gm1edata;abcdeep;uns;-1;1863.51;14720.74;9352.3;abcsuperprove;uns;-1;61.45;545.10;1091.8;avy;uns;-1;220.06;870.73;775.7;blimc;time;84;3600.04;3599.71;261.1;conpcheck;time;157;3600.10;10798.25;764.3;iimc;time;620;3600.08;28752.33;2715.8;iprover;time;150;3600.13;25320.61;127584.4;iproverdeep;time;143;3600.02;14489.90;94756.5;nuxmv;uns;-1;398.35;1590.63;1081.7;nuxmvbmc;time;747;3600.05;3599.34;3327.9;pdtravdeep;time;-1;3600.61;13470.47;12622.0;pdtravthrd;uns;-1;975.98;4220.00;4738.5;shiftbmc;time;623;3600.11;3599.34;3171.0;truss;time;34;3600.18;10829.07;2302.2 +oc8051gm2daddr;abcdeep;time;1043;3600.02;28598.55;12505.8;abcsuperprove;uns;-1;60.95;548.36;1074.9;avy;uns;-1;349.34;1388.30;1153.5;blimc;time;81;3600.09;3599.18;270.5;conpcheck;time;139;3600.05;10797.56;751.7;iimc;time;619;3600.10;28754.73;2797.9;iprover;time;199;3600.09;17996.61;126066.4;iproverdeep;time;238;3600.02;14491.23;112567.4;nuxmv;uns;-1;339.81;1356.31;973.3;nuxmvbmc;time;742;3600.04;3599.13;3561.9;pdtravdeep;time;-1;3600.59;13474.50;11280.3;pdtravthrd;uns;-1;851.80;4277.85;4368.3;shiftbmc;time;504;3600.08;3599.51;2589.8;truss;time;34;3600.18;10827.27;2130.1 +oc8051gm36addr;abcdeep;time;1002;3600.03;28621.21;13138.0;abcsuperprove;uns;-1;58.12;505.19;1050.9;avy;uns;-1;192.87;762.17;794.5;blimc;time;82;3600.05;3599.05;277.1;conpcheck;time;173;3600.08;10798.59;848.2;iimc;time;587;3600.07;28757.35;2522.3;iprover;time;220;3600.20;21454.65;120258.1;iproverdeep;time;140;3600.07;14490.02;100064.0;nuxmv;uns;-1;407.82;1628.40;1072.3;nuxmvbmc;time;697;3600.03;3599.40;3570.3;pdtravdeep;time;-1;3600.62;13471.94;11088.6;pdtravthrd;uns;-1;636.29;3042.28;3137.8;shiftbmc;time;677;3600.04;3598.82;3388.9;truss;time;35;3600.12;10827.00;2173.6 +oc8051gm3apc;abcdeep;time;74;3600.09;28648.40;2240.3;abcsuperprove;uns;-1;253.23;2683.69;1282.1;avy;time;-1;3600.06;14392.22;1409.0;blimc;time;44;3600.08;3599.25;156.6;conpcheck;time;30;3600.11;10798.24;305.7;iimc;time;60;3600.10;28754.29;1241.1;iprover;time;63;3600.08;22385.86;83220.4;iproverdeep;time;44;3600.06;14489.14;72837.6;nuxmv;uns;-1;1465.88;5860.98;589.6;nuxmvbmc;time;60;3600.12;3599.37;565.9;pdtravdeep;time;-1;3600.18;14380.91;4442.6;pdtravthrd;time;-1;3600.17;19961.71;5605.6;shiftbmc;time;50;3600.04;3598.98;406.8;truss;time;23;3600.08;10829.74;1838.2 +oc8051gm3bacc;abcdeep;time;59;3600.06;28643.63;2164.3;abcsuperprove;time;-1;3600.05;41450.54;3717.0;avy;time;-1;3600.05;14391.46;1438.2;blimc;time;44;3600.07;3599.65;164.5;conpcheck;time;26;3600.10;10798.33;374.0;iimc;time;56;3600.04;28757.85;1349.4;iprover;time;111;3600.12;25339.15;100749.4;iproverdeep;time;46;3600.02;14489.05;77046.4;nuxmv;time;54;3600.09;14397.85;800.9;nuxmvbmc;time;55;3600.03;3599.28;557.7;pdtravdeep;time;-1;3600.27;14382.92;4543.2;pdtravthrd;time;-1;3600.20;20135.40;5578.1;shiftbmc;time;32;3600.09;3599.43;500.0;truss;time;22;3600.18;10834.33;1781.9 +oc8051gm3dpc;abcdeep;time;83;3600.07;28645.41;2545.4;abcsuperprove;uns;-1;438.25;5093.78;1552.6;avy;uns;-1;3222.94;12882.90;1453.8;blimc;time;45;3600.07;3599.39;157.1;conpcheck;time;29;3600.11;10798.20;295.6;iimc;time;66;3600.07;28752.64;1296.8;iprover;time;52;3600.04;25335.26;106047.8;iproverdeep;time;53;3600.11;14492.12;75911.5;nuxmv;uns;-1;1431.01;5721.86;596.0;nuxmvbmc;time;71;3600.04;3599.27;585.9;pdtravdeep;time;-1;3600.22;14380.31;4299.0;pdtravthrd;uns;-1;2758.33;13527.52;5009.7;shiftbmc;time;47;3600.07;3599.61;387.3;truss;time;23;3600.09;10829.34;2241.4 +oc8051gm3facc;abcdeep;time;58;3600.09;28646.76;2237.7;abcsuperprove;time;-1;3600.09;42073.87;3411.6;avy;time;-1;3600.06;14392.53;1457.6;blimc;time;45;3600.08;3599.17;151.7;conpcheck;time;26;3600.07;10798.33;364.5;iimc;time;58;3600.04;28755.27;1201.8;iprover;time;102;3600.14;25259.84;108244.8;iproverdeep;time;42;3600.05;14491.47;82865.7;nuxmv;time;59;3600.06;14397.82;837.5;nuxmvbmc;time;60;3600.06;3599.13;570.7;pdtravdeep;time;-1;3600.18;14382.36;4321.3;pdtravthrd;uns;-1;1995.36;11324.91;4189.3;shiftbmc;time;37;3600.03;3599.42;513.1;truss;time;22;3600.10;10833.99;1928.5 +oc8051gm43acc;abcdeep;time;40;3600.05;28633.45;2113.4;abcsuperprove;time;-1;3600.05;41821.36;3773.3;avy;time;-1;3600.10;14393.51;1430.7;blimc;time;34;3600.08;3599.70;125.2;conpcheck;time;25;3600.03;10799.04;332.0;iimc;time;34;3600.04;28750.30;1230.4;iprover;time;31;3600.12;22869.35;99611.6;iproverdeep;time;30;3600.04;12121.07;72369.5;nuxmv;time;37;3600.09;14397.75;715.0;nuxmvbmc;time;37;3600.12;3599.23;455.5;pdtravdeep;time;-1;3600.37;14375.78;7046.6;pdtravthrd;time;-1;3600.30;20955.06;8078.3;shiftbmc;time;30;3600.09;3599.04;466.3;truss;time;21;3600.17;10830.47;1937.4 +oc8051gm49acc;abcdeep;time;73;3600.09;28626.57;2318.7;abcsuperprove;time;-1;3600.06;42105.64;3536.4;avy;time;-1;3600.11;14392.56;1556.5;blimc;time;50;3600.08;3599.66;173.9;conpcheck;time;30;3600.03;10798.54;355.8;iimc;time;61;3600.08;28755.00;1369.3;iprover;time;82;3600.11;25352.53;106337.0;iproverdeep;time;47;3600.05;14491.07;77393.8;nuxmv;time;70;3600.06;14396.48;802.0;nuxmvbmc;time;71;3600.04;3599.07;540.3;pdtravdeep;time;-1;3600.17;14379.63;4347.9;pdtravthrd;time;-1;3600.25;18835.52;6428.0;shiftbmc;time;44;3600.06;3599.47;426.4;truss;time;24;3600.09;10828.78;1916.5 +oc8051gm49pc;abcdeep;time;68;3600.11;28652.01;2408.2;abcsuperprove;uns;-1;232.94;2345.74;1234.5;avy;time;-1;3600.04;14390.97;1430.3;blimc;time;46;3600.03;3599.42;154.5;conpcheck;time;29;3600.02;10796.84;316.6;iimc;time;58;3600.07;28753.90;1227.5;iprover;time;49;3600.08;25328.09;105834.5;iproverdeep;time;50;3600.09;14492.33;75928.1;nuxmv;uns;-1;2559.42;10234.02;706.8;nuxmvbmc;time;59;3600.06;3598.77;521.6;pdtravdeep;time;-1;3600.22;14381.92;3491.7;pdtravthrd;time;-1;3600.20;20079.27;6195.1;shiftbmc;time;47;3600.06;3599.18;433.5;truss;time;23;3600.15;10828.48;1767.5 +oc8051gm4biram;abcdeep;time;72;3600.03;28631.59;2644.0;abcsuperprove;uns;-1;800.88;9756.55;2255.5;avy;uns;-1;1668.27;6663.32;1366.9;blimc;time;52;3600.06;3599.02;170.3;conpcheck;time;39;3600.03;10797.34;381.4;iimc;time;65;3600.08;28753.54;1219.9;iprover;time;91;3600.05;25350.46;108538.9;iproverdeep;time;49;3600.11;14492.85;77151.3;nuxmv;time;63;3600.04;14396.19;836.3;nuxmvbmc;time;63;3600.08;3599.34;578.9;pdtravdeep;time;-1;3600.21;14381.55;4503.0;pdtravthrd;uns;-1;2078.75;11813.40;4506.7;shiftbmc;time;56;3600.02;3599.21;462.1;truss;time;25;3600.21;10833.19;1988.4 +oc8051gm4dacc;abcdeep;time;69;3600.02;28650.96;2260.0;abcsuperprove;time;-1;3600.06;42103.37;3485.3;avy;time;-1;3600.07;10793.35;1389.2;blimc;time;49;3600.06;3599.03;172.4;conpcheck;time;30;3600.02;10798.31;288.5;iimc;time;59;3600.08;28757.45;1253.0;iprover;time;95;3600.05;25344.43;107067.9;iproverdeep;time;47;3600.04;14490.67;80399.3;nuxmv;time;64;3600.09;14397.31;770.2;nuxmvbmc;time;65;3600.07;3598.89;527.9;pdtravdeep;time;-1;3600.19;14383.30;4463.7;pdtravthrd;uns;-1;2811.84;13656.72;5419.5;shiftbmc;time;48;3600.05;3599.37;356.9;truss;time;24;3600.13;10828.72;1882.4 +oc8051gm58addr;abcdeep;time;1290;3600.11;28616.88;12278.9;abcsuperprove;uns;-1;56.51;494.03;1065.4;avy;uns;-1;160.95;634.58;710.9;blimc;time;81;3600.03;3599.36;252.9;conpcheck;time;171;3600.09;10798.07;924.5;iimc;time;617;3600.10;28752.34;2642.9;iprover;time;191;3600.07;24250.10;127702.3;iproverdeep;time;197;3600.04;14490.57;108272.9;nuxmv;uns;-1;410.46;1640.32;1029.5;nuxmvbmc;time;679;3600.03;3598.84;3006.3;pdtravdeep;time;-1;3600.54;13475.25;10926.2;pdtravthrd;uns;-1;401.19;1946.14;2491.0;shiftbmc;time;623;3600.05;3599.03;4269.4;truss;time;38;3600.15;10826.92;2223.8 +oc8051gm59data;abcdeep;time;1145;3600.03;28621.86;12358.5;abcsuperprove;uns;-1;54.12;474.37;1048.9;avy;uns;-1;211.71;837.41;796.7;blimc;time;79;3600.10;3599.72;261.1;conpcheck;time;172;3600.04;10797.56;854.8;iimc;time;608;3600.13;28754.75;2614.7;iprover;time;219;3600.16;18082.23;127679.4;iproverdeep;time;232;3600.08;14481.48;109480.3;nuxmv;uns;-1;383.09;1529.12;1084.3;nuxmvbmc;time;669;3600.10;3598.91;3472.3;pdtravdeep;time;-1;3600.65;13473.89;11418.5;pdtravthrd;uns;-1;456.80;2041.97;2641.7;shiftbmc;time;652;3600.10;3599.10;2721.2;truss;time;36;3600.16;10827.61;2072.5 +oc8051gm63iram;abcdeep;time;27;3600.07;28640.75;2211.8;abcsuperprove;time;-1;3600.02;41632.05;5750.5;avy;time;-1;3600.11;14392.78;1359.0;blimc;time;25;3600.06;3599.60;123.3;conpcheck;time;22;3600.07;10797.92;384.3;iimc;time;25;3600.08;28745.91;1172.2;iprover;time;24;3600.09;25350.57;71882.6;iproverdeep;time;23;3600.07;14490.81;50486.3;nuxmv;time;26;3600.02;14397.60;881.8;nuxmvbmc;time;26;3600.11;3599.50;620.3;pdtravdeep;time;-1;3600.17;14377.27;6272.7;pdtravthrd;time;-1;3600.41;20959.46;12804.4;shiftbmc;time;27;3600.09;3599.40;536.6;truss;time;18;3600.17;10834.84;1926.1 +oc8051gm64pc;abcdeep;time;65;3600.11;28660.66;2160.7;abcsuperprove;uns;-1;990.99;12255.94;2404.1;avy;time;-1;3600.11;14391.96;1513.9;blimc;time;42;3600.10;3599.58;147.7;conpcheck;time;27;3600.03;10798.11;294.6;iimc;time;57;3600.10;28750.78;1194.5;iprover;time;41;3600.09;25336.73;93391.0;iproverdeep;time;43;3600.12;14491.34;74359.9;nuxmv;uns;-1;3002.22;12006.57;748.0;nuxmvbmc;time;58;3600.07;3599.45;504.5;pdtravdeep;time;-1;3600.17;14379.84;3998.8;pdtravthrd;time;-1;3600.31;17549.05;5686.9;shiftbmc;time;39;3600.08;3599.45;369.8;truss;time;23;3600.12;10834.68;1898.8 +oc8051gm68addr;abcdeep;time;1044;3600.04;28619.94;11363.7;abcsuperprove;uns;-1;49.98;434.15;1034.7;avy;uns;-1;251.70;997.73;861.0;blimc;time;82;3600.07;3599.54;258.8;conpcheck;time;152;3600.07;10797.59;891.3;iimc;time;629;3600.11;28755.78;2642.3;iprover;time;205;3600.15;25251.11;125101.6;iproverdeep;time;119;3600.09;14489.25;96762.6;nuxmv;uns;-1;391.60;1561.91;1043.8;nuxmvbmc;time;756;3600.09;3599.17;3793.4;pdtravdeep;time;-1;3600.65;13472.43;10298.9;pdtravthrd;uns;-1;414.21;1793.80;2443.2;shiftbmc;time;607;3600.08;3599.58;3126.7;truss;time;35;3600.14;10828.42;2173.6 +oc8051gm6dpc;abcdeep;time;78;3600.09;28634.07;2318.3;abcsuperprove;uns;-1;238.91;2523.25;1251.1;avy;uns;-1;2949.17;11789.04;1583.3;blimc;time;45;3600.06;3599.41;161.5;conpcheck;time;29;3600.08;10797.44;281.0;iimc;time;65;3600.04;28751.15;1221.1;iprover;time;63;3600.10;21736.15;91876.1;iproverdeep;time;48;3600.04;14492.39;69722.0;nuxmv;uns;-1;1100.01;4397.15;544.6;nuxmvbmc;time;67;3600.06;3599.14;560.3;pdtravdeep;time;-1;3600.23;14380.05;4146.6;pdtravthrd;time;-1;3600.20;20468.33;5611.2;shiftbmc;time;46;3600.12;3599.28;358.0;truss;time;23;3600.13;10828.05;2004.3 +oc8051gm7daddr;abcdeep;time;1188;3600.07;28622.72;14721.0;abcsuperprove;uns;-1;62.12;547.26;1074.5;avy;uns;-1;289.96;1150.70;923.9;blimc;time;81;3600.11;3599.29;258.0;conpcheck;time;153;3600.07;10798.62;758.9;iimc;time;631;3600.14;28753.62;2635.5;iprover;time;203;3600.09;20323.37;127705.1;iproverdeep;time;193;3600.10;14488.53;106302.0;nuxmv;uns;-1;418.36;1671.53;1088.8;nuxmvbmc;time;713;3600.12;3599.20;3361.2;pdtravdeep;time;-1;3600.54;13472.09;11253.2;pdtravthrd;uns;-1;367.64;1541.41;2397.5;shiftbmc;time;588;3600.10;3599.11;2729.0;truss;time;36;3600.15;10828.26;2296.7 +oc8051gm81pc;abcdeep;time;48;3600.06;28629.17;2120.3;abcsuperprove;time;-1;3600.06;42116.17;2852.5;avy;uns;-1;2887.62;11540.74;2179.9;blimc;time;37;3600.03;3599.32;142.1;conpcheck;time;26;3600.04;10798.64;339.9;iimc;time;40;3600.11;28751.55;1271.6;iprover;time;35;3600.05;25348.66;77113.4;iproverdeep;time;31;3600.10;14491.63;55538.6;nuxmv;time;41;3600.07;14400.03;703.2;nuxmvbmc;time;42;3600.08;3599.50;444.6;pdtravdeep;time;-1;3600.29;14380.31;5880.3;pdtravthrd;time;-1;3600.18;20961.07;7151.8;shiftbmc;time;35;3600.04;3599.33;367.0;truss;time;22;3600.11;10828.16;1892.6 +oc8051gm88iram;abcdeep;time;53;3600.04;28640.41;2590.6;abcsuperprove;time;-1;3600.04;41358.99;4099.5;avy;time;-1;3600.06;14393.43;1620.0;blimc;time;40;3600.06;3599.54;137.9;conpcheck;time;27;3600.05;10797.11;315.9;iimc;time;37;3600.12;28752.58;1198.6;iprover;time;34;3600.05;22244.97;89298.7;iproverdeep;time;30;3600.09;10883.67;67482.3;nuxmv;time;40;3600.08;14398.24;832.2;nuxmvbmc;time;40;3600.11;3598.85;555.2;pdtravdeep;time;-1;3600.47;14376.58;8116.7;pdtravthrd;time;-1;3600.33;20960.49;8515.0;shiftbmc;time;38;3600.11;3599.23;475.8;truss;time;21;3600.14;10828.48;1874.0 +oc8051gm8apc;abcdeep;time;78;3600.08;28635.69;2513.2;abcsuperprove;time;-1;3600.05;29109.54;2931.3;avy;time;-1;3600.09;14390.97;1530.6;blimc;time;44;3600.08;3599.51;154.2;conpcheck;time;29;3600.10;10797.43;369.2;iimc;time;67;3600.08;28752.09;1292.0;iprover;time;47;3600.06;25350.93;90211.1;iproverdeep;time;43;3600.09;14490.58;68451.7;nuxmv;time;21;3600.06;14398.05;800.6;nuxmvbmc;time;60;3600.12;3599.42;548.1;pdtravdeep;time;-1;3600.25;14379.72;4845.6;pdtravthrd;uns;-1;2837.49;16364.88;5727.1;shiftbmc;time;45;3600.07;3599.04;472.4;truss;time;23;3600.08;10831.99;1824.4 +oc8051gm95pc;abcdeep;time;75;3600.06;28656.26;2237.3;abcsuperprove;time;-1;3600.05;41222.86;3580.2;avy;time;-1;3600.08;14390.29;1472.0;blimc;time;40;3600.05;3599.42;151.1;conpcheck;time;26;3600.10;10798.42;348.7;iimc;time;51;3600.04;28748.52;1172.9;iprover;time;46;3600.02;25346.20;83584.5;iproverdeep;time;36;3600.11;14488.49;72508.2;nuxmv;uns;-1;3022.57;12089.19;702.7;nuxmvbmc;time;54;3600.07;3599.46;513.8;pdtravdeep;time;-1;3600.17;14381.13;3937.8;pdtravthrd;time;-1;3600.22;20952.21;7272.5;shiftbmc;time;35;3600.10;3599.47;402.8;truss;time;22;3600.11;10831.11;1783.3 +oc8051gm98addr;abcdeep;uns;-1;871.28;6797.06;5331.6;abcsuperprove;uns;-1;60.33;523.09;1076.8;avy;uns;-1;186.53;735.94;707.0;blimc;time;82;3600.04;3599.29;263.5;conpcheck;time;157;3600.06;10797.25;746.1;iimc;time;608;3600.11;28753.80;2511.8;iprover;time;157;3600.23;24879.56;127701.6;iproverdeep;time;121;3600.11;13349.29;101895.6;nuxmv;uns;-1;519.61;2077.13;1336.8;nuxmvbmc;time;795;3600.04;3598.69;4004.4;pdtravdeep;time;-1;3600.63;13472.50;11566.7;pdtravthrd;uns;-1;322.07;1553.06;2422.4;shiftbmc;time;609;3600.05;3599.28;2804.5;truss;time;35;3600.16;10828.16;2044.8 +oc8051gm9ddata;abcdeep;time;1050;3600.07;28627.72;15769.0;abcsuperprove;uns;-1;62.71;482.19;1016.7;avy;uns;-1;445.47;1774.23;1157.6;blimc;time;82;3600.06;3599.54;262.5;conpcheck;time;156;3600.12;10797.51;670.7;iimc;time;614;3600.11;28753.41;2838.7;iprover;time;163;3600.06;24121.02;125901.9;iproverdeep;time;134;3600.04;11483.05;88718.5;nuxmv;uns;-1;282.17;1125.47;823.4;nuxmvbmc;time;749;3600.07;3598.97;3949.9;pdtravdeep;time;-1;3600.68;13466.45;12507.5;pdtravthrd;uns;-1;666.03;3029.98;3493.2;shiftbmc;time;610;3600.02;3599.01;2725.2;truss;time;36;3600.17;10828.75;2139.3 +oc8051gma4pc;abcdeep;time;67;3600.07;28645.06;2016.8;abcsuperprove;time;-1;3600.08;42127.31;2945.5;avy;time;-1;3600.10;14391.93;1546.1;blimc;time;42;3600.07;3599.28;140.7;conpcheck;time;28;3600.05;10797.69;283.8;iimc;time;51;3600.12;28753.40;1210.0;iprover;time;47;3600.04;25334.35;86901.4;iproverdeep;time;39;3600.07;14490.03;70390.8;nuxmv;time;27;3600.11;14398.52;731.5;nuxmvbmc;time;54;3600.06;3599.47;517.5;pdtravdeep;time;-1;3600.14;14381.10;4163.3;pdtravthrd;time;-1;3600.21;18276.36;5770.0;shiftbmc;time;40;3600.09;3598.95;379.3;truss;time;23;3600.13;10833.67;1914.2 +oc8051gma6data;abcdeep;uns;-1;1088.41;8537.36;6489.4;abcsuperprove;uns;-1;53.52;467.61;1027.8;avy;uns;-1;319.32;1269.91;1030.7;blimc;time;82;3600.08;3599.35;275.0;conpcheck;time;161;3600.09;10797.92;836.6;iimc;time;628;3600.14;28755.83;2588.6;iprover;time;202;3600.21;20469.89;127735.5;iproverdeep;time;215;3600.04;14406.83;122201.1;nuxmv;uns;-1;344.94;1377.06;1094.1;nuxmvbmc;time;801;3600.08;3599.16;4203.1;pdtravdeep;time;-1;3600.58;13469.46;11442.2;pdtravthrd;uns;-1;656.32;2814.78;3374.4;shiftbmc;time;673;3600.10;3598.90;3307.9;truss;time;36;3600.16;10828.82;2210.3 +oc8051gmadacc;abcdeep;time;292;3600.04;28641.95;4672.9;abcsuperprove;uns;-1;385.00;4415.37;1577.5;avy;uns;-1;1179.70;4707.73;1199.2;blimc;time;63;3600.09;3599.75;213.1;conpcheck;time;56;3600.07;10799.27;384.9;iimc;time;104;3600.05;28760.32;1559.0;iprover;time;64;3600.05;21735.68;99903.5;iproverdeep;time;54;3600.11;14491.33;83166.6;nuxmv;time;41;3600.09;14397.07;1418.4;nuxmvbmc;time;168;3600.10;3598.91;1143.5;pdtravdeep;time;-1;3600.40;13479.01;7390.2;pdtravthrd;uns;-1;1068.61;5699.93;3648.5;shiftbmc;time;159;3600.07;3599.34;945.8;truss;time;25;3600.11;10829.56;1964.8 +oc8051gmb6acc;abcdeep;time;128;3600.06;28657.17;2988.8;abcsuperprove;uns;-1;1074.44;12791.03;2601.4;avy;uns;-1;1995.95;7973.67;1345.0;blimc;time;50;3600.08;3599.38;175.6;conpcheck;time;32;3600.10;10798.54;367.1;iimc;time;67;3600.13;28754.60;1250.3;iprover;time;45;3600.07;25340.45;88842.2;iproverdeep;time;39;3600.04;14488.72;67650.3;nuxmv;time;83;3600.09;14396.79;991.8;nuxmvbmc;time;85;3600.07;3598.67;734.2;pdtravdeep;time;-1;3600.24;14378.73;4939.3;pdtravthrd;time;-1;3600.20;20935.06;6936.6;shiftbmc;time;56;3600.06;3598.92;520.5;truss;time;24;3600.10;10831.09;1861.1 +oc8051gmb8addr;abcdeep;time;1096;3600.07;28625.13;15116.2;abcsuperprove;uns;-1;113.80;650.09;1274.6;avy;uns;-1;239.61;949.74;879.0;blimc;time;86;3600.03;3599.56;284.6;conpcheck;time;156;3600.05;10798.43;673.5;iimc;time;632;3600.06;28751.18;2946.2;iprover;time;156;3600.05;22257.85;125396.4;iproverdeep;time;188;3600.03;13229.97;99740.2;nuxmv;uns;-1;595.34;2376.79;1445.5;nuxmvbmc;time;634;3600.06;3598.93;3493.9;pdtravdeep;time;-1;3600.53;13473.45;10850.6;pdtravthrd;uns;-1;454.12;2203.66;2483.6;shiftbmc;time;631;3600.09;3599.59;3057.9;truss;time;34;3600.12;10826.24;2220.8 +oc8051gmbfpc;abcdeep;time;31;3600.10;28651.92;1989.4;abcsuperprove;time;-1;3600.07;40758.68;3761.2;avy;time;-1;3600.03;14390.30;1478.5;blimc;time;29;3600.10;3599.08;112.4;conpcheck;time;22;3600.11;10798.12;312.4;iimc;time;28;3600.06;28752.14;1254.3;iprover;time;25;3600.07;24762.86;92620.6;iproverdeep;time;25;3600.11;14493.51;69898.4;nuxmv;time;17;3600.11;14398.01;859.2;nuxmvbmc;time;30;3600.12;3599.29;625.1;pdtravdeep;time;-1;3600.28;14378.35;7427.6;pdtravthrd;time;-1;3600.37;17528.89;10102.8;shiftbmc;time;25;3600.05;3599.52;470.0;truss;time;20;3600.19;10826.33;1884.5 +oc8051gmc5addr;abcdeep;time;1119;3600.08;28612.15;12247.3;abcsuperprove;uns;-1;105.95;586.31;1204.9;avy;uns;-1;208.73;826.19;808.8;blimc;time;79;3600.02;3598.81;269.6;conpcheck;time;154;3600.04;10798.12;783.8;iimc;time;632;3600.09;28750.04;2840.6;iprover;time;184;3600.08;19538.87;120176.4;iproverdeep;time;175;3600.09;12806.08;98066.4;nuxmv;uns;-1;460.60;1839.53;1146.5;nuxmvbmc;time;779;3600.04;3599.28;3968.2;pdtravdeep;time;-1;3600.63;13469.33;10862.9;pdtravthrd;uns;-1;415.15;1741.86;2496.5;shiftbmc;time;633;3600.06;3599.26;3065.8;truss;time;37;3600.20;10828.02;2193.1 +oc8051gmc6data;abcdeep;uns;-1;1159.18;9083.72;6727.6;abcsuperprove;uns;-1;58.36;522.97;1086.2;avy;uns;-1;284.63;1129.55;936.5;blimc;time;81;3600.03;3599.36;262.9;conpcheck;time;158;3600.09;10797.31;781.2;iimc;time;638;3600.14;28750.07;2631.6;iprover;time;181;3600.10;23340.29;127705.8;iproverdeep;time;195;3600.09;14493.02;112676.1;nuxmv;uns;-1;413.07;1648.96;1147.9;nuxmvbmc;time;788;3600.05;3598.92;3956.1;pdtravdeep;time;-1;3600.64;13469.22;12446.0;pdtravthrd;uns;-1;525.16;2401.87;2673.2;shiftbmc;time;659;3600.03;3599.18;3321.6;truss;time;38;3600.11;10826.96;2082.5 +oc8051gmcadata;abcdeep;time;1153;3600.11;28615.56;12868.5;abcsuperprove;uns;-1;58.69;514.06;1091.1;avy;uns;-1;336.21;1336.19;1155.9;blimc;time;80;3600.08;3599.43;245.8;conpcheck;time;174;3600.08;10798.00;990.0;iimc;time;559;3600.11;28757.57;2466.1;iprover;time;155;3601.46;22023.47;127721.5;iproverdeep;time;221;3600.05;14486.33;112484.6;nuxmv;uns;-1;325.74;1298.78;997.7;nuxmvbmc;time;830;3600.06;3599.25;4260.4;pdtravdeep;time;-1;3600.64;13472.58;11745.1;pdtravthrd;uns;-1;391.25;1892.13;2441.4;shiftbmc;time;631;3600.05;3599.56;3148.9;truss;time;36;3600.16;10828.41;2196.5 +oc8051gmcciram;abcdeep;time;58;3600.05;28643.00;2292.1;abcsuperprove;time;-1;3600.10;42063.17;3840.2;avy;time;-1;3600.10;14392.02;2112.5;blimc;time;47;3600.02;3599.37;168.7;conpcheck;time;30;3600.07;10798.80;304.5;iimc;time;51;3600.13;28754.45;1217.2;iprover;time;64;3600.08;23156.30;99755.3;iproverdeep;time;48;3600.05;14492.48;82391.5;nuxmv;time;57;3600.07;14395.29;782.7;nuxmvbmc;time;57;3600.06;3599.23;538.5;pdtravdeep;time;-1;3600.12;14379.73;5573.1;pdtravthrd;uns;-1;1763.27;9925.71;4515.4;shiftbmc;time;42;3600.08;3599.18;477.3;truss;time;24;3600.08;10828.68;1847.5 +oc8051gmd7acc;abcdeep;time;66;3600.12;28631.32;2132.3;abcsuperprove;time;-1;3600.08;42113.02;3752.3;avy;time;-1;3600.04;14390.81;1482.5;blimc;time;45;3600.07;3599.05;147.0;conpcheck;time;29;3600.05;10798.69;296.3;iimc;time;55;3600.12;28754.63;1216.4;iprover;time;63;3600.10;21745.28;89614.5;iproverdeep;time;40;3600.04;14492.56;80461.1;nuxmv;time;64;3600.09;14397.98;804.6;nuxmvbmc;time;65;3600.06;3599.41;558.1;pdtravdeep;time;-1;3600.22;14379.28;4539.4;pdtravthrd;time;-1;3600.24;19114.18;6729.9;shiftbmc;time;44;3600.05;3599.22;383.1;truss;time;22;3600.11;10829.07;1874.8 +oc8051gmdaaddr;abcdeep;time;1084;3600.10;28603.96;16041.1;abcsuperprove;uns;-1;62.09;557.16;1057.3;avy;uns;-1;206.83;818.07;737.4;blimc;time;81;3600.03;3599.69;265.3;conpcheck;time;147;3600.07;10798.46;761.2;iimc;time;573;3600.06;28756.62;2723.3;iprover;time;200;3600.09;23669.02;123088.4;iproverdeep;time;209;3600.08;14490.06;107866.4;nuxmv;uns;-1;552.89;2210.35;1355.0;nuxmvbmc;time;812;3600.02;3599.34;4274.0;pdtravdeep;time;-1;3600.67;13473.69;11656.7;pdtravthrd;uns;-1;384.54;1862.41;2389.2;shiftbmc;time;630;3600.02;3599.05;3042.3;truss;time;35;3600.18;10826.71;2171.0 +oc8051gme0pc;abcdeep;time;70;3600.02;28636.19;2214.6;abcsuperprove;uns;-1;374.68;4107.28;1332.3;avy;time;-1;3600.06;14391.81;1680.8;blimc;time;43;3600.06;3599.44;149.5;conpcheck;time;28;3600.11;10797.71;357.7;iimc;time;54;3600.10;28756.33;1086.5;iprover;time;44;3600.12;25017.80;92923.9;iproverdeep;time;48;3600.12;14490.58;82461.0;nuxmv;uns;-1;3368.46;13471.42;746.8;nuxmvbmc;time;58;3600.09;3599.02;506.5;pdtravdeep;time;-1;3600.21;14380.21;4073.9;pdtravthrd;time;-1;3600.30;20958.17;6166.8;shiftbmc;time;40;3600.07;3598.92;449.4;truss;time;23;3600.08;10833.36;1800.9 +oc8051gme2addr;abcdeep;time;317;3600.11;28619.73;4443.9;abcsuperprove;uns;-1;93.58;546.32;1010.8;avy;uns;-1;517.78;2062.23;918.7;blimc;time;68;3600.02;3599.28;193.6;conpcheck;time;68;3600.11;10798.66;392.3;iimc;time;174;3600.08;28754.65;1502.6;iprover;time;188;3600.32;20727.24;127701.4;iproverdeep;time;188;3600.03;14490.18;101094.6;nuxmv;uns;-1;649.07;2593.59;753.7;nuxmvbmc;time;249;3600.12;3599.14;1389.7;pdtravdeep;time;-1;3600.23;13480.28;7170.6;pdtravthrd;uns;-1;1724.14;8632.71;4399.4;shiftbmc;time;199;3600.06;3599.12;964.9;truss;time;29;3600.11;10829.62;2188.8 +oc8051gme5iram;abcdeep;time;62;3600.05;28652.29;2381.4;abcsuperprove;uns;-1;2928.71;22736.44;2421.1;avy;time;-1;3600.03;14390.63;1455.0;blimc;time;48;3600.09;3599.28;177.5;conpcheck;time;38;3600.05;10799.97;372.1;iimc;time;52;3600.08;28750.64;1063.3;iprover;time;53;3600.05;25339.62;102839.9;iproverdeep;time;44;3600.03;13520.95;80058.8;nuxmv;time;55;3600.05;14397.87;873.4;nuxmvbmc;time;56;3600.05;3599.20;619.6;pdtravdeep;time;-1;3600.23;14382.40;5022.5;pdtravthrd;uns;-1;2000.06;11323.58;5037.3;shiftbmc;time;54;3600.03;3599.48;606.2;truss;time;24;3600.16;10835.37;2066.9 +oc8051gmecacc;abcdeep;time;71;3600.12;28644.80;2432.1;abcsuperprove;time;-1;3600.07;42117.30;3309.8;avy;time;-1;3600.09;14390.71;1597.8;blimc;time;50;3600.09;3599.49;170.1;conpcheck;time;32;3600.02;10797.99;333.3;iimc;time;68;3600.10;28758.22;1374.2;iprover;time;91;3600.11;24242.90;91846.4;iproverdeep;time;42;3600.05;14494.49;81079.2;nuxmv;time;73;3600.03;14396.51;864.2;nuxmvbmc;time;76;3600.10;3598.83;653.9;pdtravdeep;time;-1;3600.22;14379.59;4569.1;pdtravthrd;uns;-1;1747.38;8984.67;4155.4;shiftbmc;time;50;3600.05;3599.23;464.0;truss;time;25;3600.12;10833.54;1918.7 +oc8051gmf2iram;abcdeep;time;68;3600.04;28633.41;2339.1;abcsuperprove;time;-1;3600.04;28265.42;2302.6;avy;time;-1;3600.05;14390.42;1590.4;blimc;time;51;3600.07;3598.98;170.2;conpcheck;time;32;3600.12;10798.68;306.3;iimc;time;62;3600.11;28754.48;1338.2;iprover;uns;-1;3048.09;21396.09;113919.2;iproverdeep;time;82;3600.08;14488.37;94579.4;nuxmv;time;63;3600.05;14399.36;766.6;nuxmvbmc;time;63;3600.05;3599.67;531.5;pdtravdeep;time;-1;3600.15;14380.91;4549.1;pdtravthrd;time;-1;3600.22;20954.54;6423.7;shiftbmc;time;50;3600.06;3599.17;474.7;truss;time;24;3600.11;10831.90;1995.4 +oc8051gmfbaddr;abcdeep;time;1331;3600.12;28625.79;15512.0;abcsuperprove;uns;-1;52.63;458.57;1034.5;avy;uns;-1;161.33;637.77;726.0;blimc;time;80;3600.08;3599.56;245.4;conpcheck;time;184;3600.08;10799.35;981.1;iimc;time;781;3600.09;28758.63;3287.5;iprover;time;235;3600.26;20970.39;127701.6;iproverdeep;time;274;3600.11;14488.12;115631.8;nuxmv;uns;-1;259.54;1036.40;1027.4;nuxmvbmc;unk;1001;3441.20;3440.30;4875.2;pdtravdeep;time;-1;3600.57;13473.18;11720.1;pdtravthrd;uns;-1;320.26;1333.87;2213.8;shiftbmc;time;665;3600.02;3599.74;3730.3;truss;time;38;3600.15;10828.73;2257.2 +oc8051topo08;abcdeep;sat;26;154.17;912.24;1166.3;abcsuperprove;sat;3998;49.67;613.92;1484.8;avy;sat;42;604.62;2391.46;1275.7;blimc;time;16;3600.02;3599.62;157.0;conpcheck;sat;23;815.62;2438.23;326.0;iimc;time;16;3600.08;28729.36;1900.1;iprover;time;15;3600.04;25334.23;83216.9;iproverdeep;time;15;3600.12;14486.52;54586.8;nuxmv;sat;23;415.36;1657.94;920.6;nuxmvbmc;time;16;3600.05;3598.83;807.9;pdtravdeep;time;16;3602.26;14114.82;49764.2;pdtravthrd;sat;1497;120.13;481.59;2098.5;shiftbmc;time;16;3600.11;3599.37;311.5;truss;time;15;3600.13;10833.72;1779.5 +oc8051xiommuo5;abcdeep;uns;-1;48.45;389.65;2769.1;abcsuperprove;uns;-1;1.27;4.32;988.5;avy;uns;-1;103.17;407.63;1865.1;blimc;time;185;3600.06;3599.25;107.6;conpcheck;uns;-1;1861.22;2912.25;317.7;iimc;uns;-1;1.92;8.00;68.5;iprover;time;201;3600.09;17276.97;112100.5;iproverdeep;time;113;3600.05;11703.88;94141.0;nuxmv;uns;-1;1256.77;5024.43;506.8;nuxmvbmc;time;322;3600.05;3598.74;721.2;pdtravdeep;time;2;3600.22;13471.68;11040.6;pdtravthrd;uns;-1;1.88;1.70;233.9;shiftbmc;time;210;3600.11;3598.73;343.9;truss;uns;-1;7.33;27.71;349.4 +oski15a01b00s;abcdeep;time;17;3600.11;28142.67;6748.4;abcsuperprove;time;-1;3600.11;18959.23;8032.4;avy;time;-1;3600.04;14224.07;4459.4;blimc;time;14;3600.12;3599.51;754.8;conpcheck;time;11;3600.04;10799.91;1592.0;iimc;time;17;3600.26;27977.43;9359.7;iprover;time;8;3600.06;17902.05;127606.6;iproverdeep;time;7;3600.03;14492.67;106186.1;nuxmv;time;18;3600.09;14395.44;5587.3;nuxmvbmc;time;18;3600.05;3598.48;2859.8;pdtravdeep;time;-1;3601.13;14148.23;22716.2;pdtravthrd;time;-1;3600.70;17517.44;16905.5;shiftbmc;time;17;3600.10;3599.16;2179.6;truss;time;8;3600.14;10834.84;7090.2 +oski15a01b57s;abcdeep;sat;1;12.56;13.34;1074.6;abcsuperprove;sat;1;8.47;14.38;1941.1;avy;sat;1;44.20;42.60;540.6;blimc;sat;1;28.51;27.89;108.1;conpcheck;sat;1;4.68;7.24;425.6;iimc;sat;1;122.08;159.30;4640.0;iprover;sat;1;271.52;1897.39;45044.4;iproverdeep;sat;1;321.55;1286.35;29381.9;nuxmv;sat;2;3.82;8.81;1211.6;nuxmvbmc;sat;1;5.30;4.66;430.2;pdtravdeep;sat;1;155.18;346.57;9675.2;pdtravthrd;sat;1;45.01;55.18;2711.2;shiftbmc;sat;1;136.32;135.56;400.3;truss;sat;1;22.37;40.44;2945.5 +oski15a07b0s;abcdeep;time;6;3600.08;28426.10;3940.2;abcsuperprove;time;-1;3600.04;33331.86;7791.9;avy;time;-1;3600.02;14343.76;3280.9;blimc;time;5;3600.10;3599.69;261.0;conpcheck;time;6;3600.12;10798.02;632.7;iimc;time;6;3600.07;28492.02;2617.0;iprover;time;5;3600.06;25339.73;94205.1;iproverdeep;time;5;3600.11;14483.04;60587.0;nuxmv;time;6;3600.05;14398.14;8258.3;nuxmvbmc;time;6;3600.05;3599.37;2454.8;pdtravdeep;time;-1;3601.84;14187.84;32693.8;pdtravthrd;time;-1;3600.36;17756.43;13459.2;shiftbmc;time;8;3600.05;3598.48;867.4;truss;time;5;3600.09;10856.17;2360.3 +oski15a08b00s;abcdeep;time;181;3600.04;27837.21;72761.6;abcsuperprove;uns;-1;1043.45;10849.09;37041.9;avy;uns;-1;2719.66;10393.47;17773.6;blimc;time;40;3600.17;3599.08;8535.2;conpcheck;time;60;3600.06;10796.78;11904.8;iimc;time;38;3600.18;11306.32;13391.5;iprover;time;4;3600.45;4876.62;127707.0;iproverdeep;time;5;3600.21;5876.42;127696.8;nuxmv;time;206;3600.08;14387.48;44580.4;nuxmvbmc;time;216;3600.10;3599.37;39842.2;pdtravdeep;time;60;3602.31;7281.28;56583.5;pdtravthrd;uns;-1;3439.38;14905.58;52858.3;shiftbmc;unk;155;3083.57;3082.42;27848.7;truss;time;5;3600.25;10790.79;11011.2 +oski15a08b08s;abcdeep;sat;10;134.72;493.99;8057.3;abcsuperprove;sat;10;117.00;1065.85;13401.9;avy;sat;10;234.73;454.48;4604.3;blimc;sat;10;438.23;437.48;1903.7;conpcheck;sat;10;1256.48;3767.20;3042.3;iimc;sat;10;439.56;1474.28;8419.1;iprover;time;2;3600.16;4789.86;127687.8;iproverdeep;time;5;3600.18;4783.73;127701.6;nuxmv;sat;10;94.07;364.59;9760.3;nuxmvbmc;sat;10;88.36;87.96;1963.3;pdtravdeep;sat;10;509.21;1336.75;14831.4;pdtravthrd;sat;10;542.83;1842.92;11071.1;shiftbmc;sat;10;554.76;554.10;2416.8;truss;time;5;3600.29;10781.61;9505.5 +oski15a10b02s;abcdeep;time;23;3600.02;28506.75;4506.3;abcsuperprove;time;-1;3600.03;29822.07;4571.6;avy;time;-1;3600.03;14360.11;2448.4;blimc;time;28;3600.06;3599.65;247.5;conpcheck;time;21;3600.09;10798.05;500.1;iimc;time;19;3600.08;28542.99;1864.9;iprover;time;11;3600.07;25274.12;121201.1;iproverdeep;time;11;3600.07;14486.75;84888.7;nuxmv;time;16;3600.12;14396.59;1895.1;nuxmvbmc;time;16;3600.03;3599.22;1377.5;pdtravdeep;time;-1;3600.40;13973.32;7945.0;pdtravthrd;time;-1;3600.44;20737.61;12187.8;shiftbmc;time;35;3600.05;3599.01;694.9;truss;time;10;3600.12;10825.33;1843.6 +oski15a14b22s;abcdeep;time;101;3600.04;28688.96;3741.8;abcsuperprove;uns;-1;16.75;198.51;1661.4;avy;uns;-1;280.86;1104.45;1119.8;blimc;time;36;3600.04;3599.38;437.8;conpcheck;time;175;3600.09;10798.79;1465.2;iimc;time;48;3600.14;28558.45;2006.6;iprover;time;31;3600.05;22143.81;127614.8;iproverdeep;time;27;3600.02;14491.42;101853.8;nuxmv;uns;-1;498.43;1989.08;1117.1;nuxmvbmc;time;43;3600.03;3598.92;1217.4;pdtravdeep;time;-1;3600.26;14095.12;7151.9;pdtravthrd;uns;-1;256.26;877.13;3266.1;shiftbmc;time;427;3600.05;3598.79;3371.8;truss;time;20;3600.13;10822.24;2718.9 +pcip1;abcdeep;sat;3;0.89;0.10;31.9;abcsuperprove;sat;3;0.86;0.11;33.2;avy;sat;4;0.65;0.15;30.0;blimc;sat;3;0.70;0.29;3.5;conpcheck;sat;8;2.41;0.97;79.3;iimc;sat;3;0.41;0.45;43.2;iprover;sat;3;1.84;8.52;664.7;iproverdeep;sat;3;1.90;3.79;369.8;nuxmv;sat;3;0.45;0.00;0.0;nuxmvbmc;sat;3;0.89;0.05;0.0;pdtravdeep;sat;3;3.47;1.24;481.3;pdtravthrd;sat;3;2.31;3.24;998.4;shiftbmc;sat;3;0.78;0.18;15.4;truss;sat;3;0.22;0.16;50.0 +pdtfifo1to0;abcdeep;uns;-1;3248.37;25978.49;1770.0;abcsuperprove;uns;-1;355.95;3216.01;1388.2;avy;uns;-1;1202.82;4809.31;2273.5;blimc;time;27;3600.03;3599.62;79.5;conpcheck;uns;-1;2360.39;7065.90;243.5;iimc;uns;-1;210.31;1672.13;348.4;iprover;time;19;3600.09;25340.22;23439.2;iproverdeep;time;17;3600.05;14490.47;21340.3;nuxmv;time;36;3600.08;14397.26;371.5;nuxmvbmc;time;20;3600.05;3599.16;88.1;pdtravdeep;time;2;3600.05;14393.66;991.6;pdtravthrd;uns;-1;148.87;1025.02;1815.0;shiftbmc;time;18;3600.08;3599.08;321.4;truss;time;37;3600.19;10819.79;1899.2 +pdtpmsarbiter;abcdeep;uns;-1;8.87;1.25;237.2;abcsuperprove;uns;-1;0.57;0.07;28.4;avy;time;-1;3600.03;3599.35;25.9;blimc;unk;1000;2.39;1.59;16.7;conpcheck;uns;-1;3.12;0.36;62.4;iimc;uns;-1;0.70;0.00;0.0;iprover;time;844;3600.04;25335.02;97564.9;iproverdeep;time;868;3600.04;14466.73;87309.2;nuxmv;uns;-1;0.76;0.03;11.2;nuxmvbmc;unk;1001;0.77;0.00;0.0;pdtravdeep;uns;-1;1.23;0.68;115.5;pdtravthrd;uns;-1;1.33;0.74;234.2;shiftbmc;unk;1000;0.36;0.08;18.1;truss;uns;-1;0.96;0.00;0.0 +pdtpmsretherrtf;abcdeep;time;115846873;3600.04;29775.83;9296.1;abcsuperprove;uns;-1;0.57;0.19;35.7;avy;uns;-1;0.51;0.04;19.2;blimc;time;70;3600.03;3599.26;67.4;conpcheck;uns;-1;1168.57;2327.19;111.1;iimc;uns;-1;1.29;5.17;34.3;iprover;time;64;3600.08;21744.07;91159.8;iproverdeep;time;60;3600.03;10880.10;62467.6;nuxmv;uns;-1;10.65;40.13;103.9;nuxmvbmc;time;67;3600.04;3599.45;208.9;pdtravdeep;uns;-1;1.55;0.72;119.2;pdtravthrd;uns;-1;0.83;0.74;234.2;shiftbmc;unk;1000;0.61;0.08;14.3;truss;uns;-1;1.16;2.68;62.3 +pdtpmsrotate32;abcdeep;uns;-1;1.61;1.66;249.0;abcsuperprove;uns;-1;0.61;0.12;47.9;avy;uns;-1;1.45;0.28;45.6;blimc;unk;1000;165.01;164.59;134.8;conpcheck;uns;-1;2.36;2.06;77.2;iimc;uns;-1;0.41;0.18;23.7;iprover;uns;-1;1.54;4.20;509.8;iproverdeep;unk;3;3.17;4.91;395.3;nuxmv;uns;-1;1.44;1.73;95.9;nuxmvbmc;unk;1001;110.63;109.96;551.4;pdtravdeep;uns;-1;1.61;0.89;115.6;pdtravthrd;uns;-1;1.55;0.79;232.6;shiftbmc;unk;1000;1.31;0.28;19.3;truss;uns;-1;1.20;0.64;55.0 +pdtpmss1269b;abcdeep;uns;-1;0.79;0.44;186.4;abcsuperprove;uns;-1;1.30;0.15;35.2;avy;uns;-1;1.48;0.33;62.2;blimc;unk;1000;1567.58;1567.00;294.8;conpcheck;uns;-1;2.99;2.06;62.3;iimc;uns;-1;1.05;1.01;39.9;iprover;uns;-1;0.75;2.74;390.8;iproverdeep;unk;10;9.24;8.23;325.2;nuxmv;uns;-1;0.89;0.16;74.5;nuxmvbmc;unk;1001;329.22;328.81;369.4;pdtravdeep;uns;-1;1.80;0.86;119.2;pdtravthrd;uns;-1;1.63;0.89;232.6;shiftbmc;unk;1000;119.37;118.37;230.9;truss;uns;-1;0.34;0.00;0.0 +pdtpmsusbphy;abcdeep;uns;-1;1.60;0.82;199.6;abcsuperprove;uns;-1;0.54;0.12;49.9;avy;uns;-1;0.96;0.04;28.1;blimc;unk;1000;1173.95;1173.33;194.7;conpcheck;uns;-1;2.70;1.16;87.6;iimc;uns;-1;0.42;0.00;0.0;iprover;uns;-1;1.36;1.87;328.4;iproverdeep;unk;4;2.13;3.88;256.7;nuxmv;uns;-1;0.79;0.14;75.0;nuxmvbmc;unk;1001;1034.04;1033.32;308.8;pdtravdeep;uns;-1;0.83;0.69;116.1;pdtravthrd;uns;-1;1.15;0.75;234.6;shiftbmc;unk;1000;1.13;0.28;63.5;truss;uns;-1;0.99;0.00;0.0 +pdtswvibs8x8p0;abcdeep;sat;14;0.53;0.64;278.2;abcsuperprove;sat;14;0.72;0.12;35.6;avy;sat;14;1.60;0.26;63.5;blimc;sat;14;1.17;0.80;4.3;conpcheck;sat;30;2.44;0.56;64.8;iimc;sat;14;0.73;0.09;25.9;iprover;sat;14;7.62;47.91;1797.5;iproverdeep;sat;14;7.58;25.84;1034.3;nuxmv;sat;14;1.04;0.13;83.0;nuxmvbmc;sat;14;0.57;0.17;35.8;pdtravdeep;sat;14;3.91;1.73;473.6;pdtravthrd;sat;14;3.39;4.11;970.1;shiftbmc;sat;14;0.84;0.28;17.8;truss;sat;14;0.27;0.48;72.6 +pdtswvtma6x4p1;abcdeep;uns;-1;6.79;41.28;579.9;abcsuperprove;uns;-1;0.99;1.76;647.0;avy;uns;-1;3.74;12.30;309.5;blimc;unk;1000;891.72;891.53;240.8;conpcheck;uns;-1;4.84;7.88;79.2;iimc;uns;-1;3.71;26.67;62.2;iprover;uns;-1;27.29;161.85;3870.5;iproverdeep;time;544;3600.06;5524.20;35437.8;nuxmv;uns;-1;6.22;23.31;171.9;nuxmvbmc;unk;1001;59.15;58.55;504.5;pdtravdeep;time;5721;3600.20;13477.72;5487.3;pdtravthrd;uns;-1;1.94;1.35;322.1;shiftbmc;unk;1000;170.57;170.33;216.5;truss;uns;-1;10.66;39.08;203.8 +pdtswvtma6x6p3;abcdeep;uns;-1;2067.15;16527.95;3693.8;abcsuperprove;uns;-1;1477.64;18910.70;6955.0;avy;uns;-1;1264.33;5055.02;1875.5;blimc;time;492;3600.06;3599.21;152.4;conpcheck;uns;-1;2172.58;6503.66;261.9;iimc;uns;-1;2750.96;21989.29;2176.4;iprover;uns;-1;86.24;512.72;7604.5;iproverdeep;time;623;3600.06;7526.40;68778.4;nuxmv;uns;-1;2924.44;11694.05;1475.9;nuxmvbmc;unk;1001;3308.46;3307.17;1399.2;pdtravdeep;time;2615;3600.27;13486.50;6819.6;pdtravthrd;uns;-1;27.66;175.31;1143.2;shiftbmc;time;456;3600.12;3599.80;893.5;truss;time;53;3600.18;10829.70;3000.8 +pdtvisblackjack0;abcdeep;uns;-1;4.01;18.53;1495.4;abcsuperprove;uns;-1;0.85;0.11;20.2;avy;time;-1;3600.02;3599.25;42.6;blimc;unk;1000;43.84;43.08;27.6;conpcheck;uns;-1;2.80;1.93;81.0;iimc;uns;-1;0.98;0.01;21.0;iprover;time;528;3600.10;24070.07;111103.0;iproverdeep;time;558;3600.10;14220.30;116290.3;nuxmv;uns;-1;0.40;0.00;0.0;nuxmvbmc;unk;1001;0.68;0.00;0.0;pdtravdeep;uns;-1;632.59;2488.94;808.2;pdtravthrd;uns;-1;1.42;0.79;231.6;shiftbmc;unk;1000;1.01;0.15;15.4;truss;uns;-1;0.57;0.91;88.5 +pdtvisgigamax4;abcdeep;uns;-1;0.93;0.52;173.5;abcsuperprove;uns;-1;0.43;0.12;35.3;avy;uns;-1;0.29;0.13;19.0;blimc;time;560;3600.06;3599.21;114.9;conpcheck;uns;-1;2.64;2.07;62.8;iimc;uns;-1;1.08;0.00;0.0;iprover;time;555;3600.26;17392.67;127684.5;iproverdeep;time;331;3600.10;10887.56;90864.6;nuxmv;uns;-1;0.62;0.53;81.5;nuxmvbmc;unk;1001;337.12;336.41;308.0;pdtravdeep;time;-1;3600.38;13483.78;10743.3;pdtravthrd;uns;-1;2.00;3.70;878.7;shiftbmc;unk;1000;96.26;95.48;123.1;truss;uns;-1;1.01;0.27;46.1 +pdtvisgray0;abcdeep;uns;-1;7.38;1.17;247.5;abcsuperprove;uns;-1;0.83;0.11;47.1;avy;time;-1;3600.03;3598.90;26.8;blimc;unk;1000;0.81;0.17;3.0;conpcheck;uns;-1;2.98;0.40;32.2;iimc;uns;-1;0.92;0.00;21.0;iprover;uns;-1;0.91;0.09;110.0;iproverdeep;unk;3;0.67;0.01;43.9;nuxmv;uns;-1;1.17;0.06;13.5;nuxmvbmc;unk;1001;1.03;0.55;33.3;pdtravdeep;time;2946;3600.08;5830.59;1305.8;pdtravthrd;uns;-1;1.63;0.74;372.5;shiftbmc;unk;1000;1.24;0.06;17.9;truss;uns;-1;0.84;0.00;7.8 +pdtvishuffman1;abcdeep;uns;-1;0.73;0.98;261.1;abcsuperprove;uns;-1;0.91;0.07;24.4;avy;time;-1;3600.11;3599.65;34.4;blimc;uns;-1;0.66;0.00;0.0;conpcheck;uns;-1;2.44;0.45;66.4;iimc;uns;-1;0.44;0.00;0.0;iprover;unk;-1;1.29;0.00;11.2;iproverdeep;unk;-1;0.84;0.00;11.1;nuxmv;uns;-1;0.30;0.00;0.0;nuxmvbmc;unk;1001;0.15;0.00;0.0;pdtravdeep;uns;-1;0.99;0.59;58.6;pdtravthrd;uns;-1;1.35;0.59;58.6;shiftbmc;unk;1000;0.81;0.08;14.4;truss;uns;-1;0.55;0.00;0.0 +pdtvisns2p3;abcdeep;uns;-1;1.52;0.44;168.4;abcsuperprove;uns;-1;0.54;0.12;37.7;avy;uns;-1;1.49;0.23;52.8;blimc;unk;1000;3265.82;3264.68;302.0;conpcheck;uns;-1;2.58;2.06;62.1;iimc;uns;-1;0.52;0.10;25.7;iprover;uns;-1;1.74;4.06;478.0;iproverdeep;time;1137;3600.04;7248.25;54668.7;nuxmv;uns;-1;0.29;0.53;95.0;nuxmvbmc;unk;1001;3329.48;3329.02;623.6;pdtravdeep;time;-1;3600.87;13409.52;15000.3;pdtravthrd;uns;-1;2.34;3.76;888.5;shiftbmc;unk;1000;1021.00;1019.89;276.7;truss;uns;-1;0.86;0.03;35.1 +pdtvisrethersqo0;abcdeep;uns;-1;8.62;1.92;228.7;abcsuperprove;uns;-1;1.19;0.11;35.8;avy;time;-1;3600.11;3599.52;30.3;blimc;uns;-1;0.69;0.00;0.0;conpcheck;uns;-1;2.77;0.36;32.5;iimc;uns;-1;0.74;0.01;22.0;iprover;unk;-1;2.25;5.12;292.4;iproverdeep;unk;-1;2.03;2.28;156.2;nuxmv;uns;-1;0.84;0.18;73.3;nuxmvbmc;unk;1001;4.24;3.25;175.8;pdtravdeep;time;279;3600.53;5160.79;17032.3;pdtravthrd;uns;-1;1.37;0.77;359.5;shiftbmc;unk;1000;1.16;0.06;14.1;truss;uns;-1;0.46;0.04;1.4 +pdtvisvending00;abcdeep;uns;-1;1.21;0.84;256.4;abcsuperprove;uns;-1;0.46;0.76;654.0;avy;uns;-1;1.19;0.44;122.5;blimc;time;354;3600.07;3599.36;107.4;conpcheck;uns;-1;2.30;1.96;62.5;iimc;uns;-1;0.79;1.26;25.2;iprover;time;1200;3600.11;18116.63;117845.7;iproverdeep;time;222;3600.05;8652.63;63265.6;nuxmv;uns;-1;0.42;0.54;78.7;nuxmvbmc;unk;1001;20.76;19.66;256.2;pdtravdeep;time;-1;3601.92;13756.27;40338.1;pdtravthrd;uns;-1;2.37;5.17;877.0;shiftbmc;unk;1000;28.05;27.67;121.5;truss;uns;-1;0.97;1.46;63.7 +pj2010;abcdeep;uns;-1;1.52;1.49;275.5;abcsuperprove;uns;-1;1.43;0.83;515.3;avy;uns;-1;2.05;1.41;29.6;blimc;time;754;3600.12;3599.00;3012.8;conpcheck;uns;-1;2.77;2.05;86.0;iimc;uns;-1;2.70;3.97;147.1;iprover;uns;-1;33.51;199.37;8143.5;iproverdeep;unk;18;341.79;342.31;4517.8;nuxmv;uns;-1;3.03;9.60;367.3;nuxmvbmc;unk;1001;1928.09;1927.43;5788.4;pdtravdeep;time;9;3601.04;13333.45;23741.7;pdtravthrd;uns;-1;7.10;13.42;1086.6;shiftbmc;unk;1000;72.24;71.58;1382.9;truss;uns;-1;4.92;11.61;426.3 +pj2016;abcdeep;uns;-1;4.04;12.43;751.8;abcsuperprove;uns;-1;3.42;24.90;1215.8;avy;uns;-1;5.32;4.31;243.8;blimc;time;129;3600.11;3599.35;955.1;conpcheck;uns;-1;4.80;8.05;114.4;iimc;uns;-1;15.09;46.09;475.8;iprover;time;153;3600.18;14850.49;127654.5;iproverdeep;time;126;3600.11;13590.91;127622.2;nuxmv;uns;-1;16.73;64.23;786.1;nuxmvbmc;time;539;3600.11;3598.62;6301.6;pdtravdeep;time;-1;3601.24;13232.23;24958.3;pdtravthrd;uns;-1;105.48;300.87;1835.7;shiftbmc;unk;1000;658.63;657.87;4000.3;truss;uns;-1;17.45;57.29;735.3 +power2bit128;abcdeep;uns;-1;6.44;2.17;361.5;abcsuperprove;uns;-1;0.93;0.17;605.5;avy;uns;-1;0.97;0.17;101.3;blimc;unk;1000;1.35;0.80;5.6;conpcheck;uns;-1;3.03;2.07;56.2;iimc;uns;-1;0.41;0.00;0.0;iprover;time;2854;3600.08;15086.08;127580.6;iproverdeep;time;1318;3600.06;14490.14;121328.8;nuxmv;uns;-1;1.21;0.92;90.0;nuxmvbmc;unk;1001;0.87;0.27;43.3;pdtravdeep;time;22659;3600.08;5776.21;1120.5;pdtravthrd;uns;-1;1.70;1.00;232.6;shiftbmc;unk;1000;1.53;0.68;34.2;truss;uns;-1;1.32;1.52;42.6 +prodcellp4;abcdeep;sat;82;1.38;0.99;207.7;abcsuperprove;sat;82;1.11;2.02;585.1;avy;sat;82;1.12;1.25;153.2;blimc;sat;82;3.22;2.79;13.3;conpcheck;sat;82;4.60;7.89;110.0;iimc;sat;82;4.19;6.25;252.9;iprover;sat;82;256.08;1791.04;24164.5;iproverdeep;sat;82;304.93;1216.93;16582.7;nuxmv;sat;82;1.45;1.69;120.5;nuxmvbmc;sat;82;0.85;0.46;56.0;pdtravdeep;sat;82;6.11;7.61;694.4;pdtravthrd;sat;82;7.73;29.35;1046.3;shiftbmc;sat;82;1.13;0.58;49.0;truss;sat;82;1.17;2.61;126.6 +productioncellp0;abcdeep;sat;85;1.35;0.99;204.3;abcsuperprove;sat;85;0.42;1.96;488.2;avy;sat;85;0.89;0.92;157.9;blimc;sat;85;6.78;6.49;38.7;conpcheck;sat;85;4.21;7.88;98.0;iimc;sat;128;18.74;25.72;576.9;iprover;sat;85;217.41;1516.86;21072.1;iproverdeep;sat;85;269.93;1080.17;14709.6;nuxmv;sat;85;1.31;1.27;105.6;nuxmvbmc;sat;85;1.03;0.36;49.4;pdtravdeep;sat;85;5.13;6.11;645.4;pdtravthrd;sat;85;7.15;24.99;1037.8;shiftbmc;sat;85;1.38;0.58;36.7;truss;sat;85;1.40;2.48;98.4 +ringp0;abcdeep;sat;8;8.28;0.21;61.6;abcsuperprove;sat;8;1.12;0.10;43.9;avy;sat;10;0.42;0.06;21.1;blimc;sat;8;0.81;0.10;3.3;conpcheck;sat;20;2.74;0.09;62.6;iimc;sat;8;0.62;0.00;0.0;iprover;sat;8;1.48;2.65;483.9;iproverdeep;sat;8;1.35;1.62;289.9;nuxmv;sat;8;0.31;0.00;0.0;nuxmvbmc;sat;8;0.70;0.00;0.0;pdtravdeep;sat;8;3.26;0.92;456.9;pdtravthrd;sat;8;3.06;2.22;859.7;shiftbmc;sat;8;0.58;0.00;0.0;truss;sat;8;0.75;0.00;0.0 +shift1add262144;abcdeep;time;262144;3600.03;21469.21;13840.4;abcsuperprove;uns;-1;1.19;0.89;555.7;avy;time;-1;3600.09;10796.11;9456.1;blimc;unk;1000;3.17;2.20;16.0;conpcheck;time;1000;3600.05;528.14;131.9;iimc;uns;-1;60.76;458.72;368.3;iprover;time;1951;3600.27;14745.15;127653.1;iproverdeep;time;2040;3600.13;11888.46;119433.7;nuxmv;uns;-1;1306.33;5223.18;2799.0;nuxmvbmc;unk;1001;1.20;0.36;53.8;pdtravdeep;time;1738;3600.04;8995.47;1801.8;pdtravthrd;uns;-1;154.75;669.59;1394.7;shiftbmc;unk;1000;0.77;0.08;20.1;truss;time;22752;3600.06;10824.02;1035.3 +srg5ptimo;abcdeep;sat;3;6.52;0.21;129.1;abcsuperprove;sat;4;0.52;0.11;49.7;avy;sat;3;1.05;0.12;19.1;blimc;sat;3;0.98;0.00;0.0;conpcheck;sat;10;2.85;0.16;62.6;iimc;sat;3;0.63;0.00;0.0;iprover;sat;3;1.33;1.67;321.0;iproverdeep;sat;3;1.35;0.92;181.4;nuxmv;sat;3;0.65;0.00;0.0;nuxmvbmc;sat;3;1.03;0.00;0.0;pdtravdeep;sat;3;2.89;0.92;458.0;pdtravthrd;sat;3;1.94;2.24;862.6;shiftbmc;sat;3;0.91;0.08;18.0;truss;sat;3;0.37;0.00;0.0 +texasifetch1p1;abcdeep;uns;-1;6.66;1.40;281.1;abcsuperprove;uns;-1;0.59;0.11;43.9;avy;uns;-1;0.65;0.14;51.4;blimc;unk;1000;6.24;5.79;19.4;conpcheck;uns;-1;2.65;2.06;53.7;iimc;uns;-1;0.77;0.00;0.0;iprover;uns;-1;1.38;2.10;270.7;iproverdeep;unk;9;0.89;1.22;175.9;nuxmv;uns;-1;0.57;0.04;0.0;nuxmvbmc;unk;1001;6.97;6.67;106.9;pdtravdeep;uns;-1;0.83;0.70;119.4;pdtravthrd;unk;-1;1.64;0.59;58.6;shiftbmc;unk;1000;20.79;19.78;54.2;truss;uns;-1;0.42;0.00;0.0 +texasifetch1p8;abcdeep;sat;4;7.52;0.35;105.5;abcsuperprove;sat;4;0.68;0.11;46.0;avy;sat;4;0.89;0.11;47.4;blimc;sat;4;0.55;0.00;0.0;conpcheck;sat;10;2.92;0.10;62.6;iimc;sat;4;0.19;0.00;0.0;iprover;sat;4;1.16;1.62;325.4;iproverdeep;sat;4;0.52;0.91;201.2;nuxmv;sat;4;0.91;0.00;0.0;nuxmvbmc;sat;4;0.61;0.00;0.0;pdtravdeep;sat;4;2.53;0.93;454.7;pdtravthrd;unk;-1;0.71;0.59;58.6;shiftbmc;sat;4;0.39;0.06;15.9;truss;sat;4;0.84;0.00;0.0 +texasparsesysp2;abcdeep;uns;-1;1.38;0.84;202.9;abcsuperprove;uns;-1;0.34;0.11;33.3;avy;uns;-1;1.36;0.26;25.3;blimc;unk;1000;13.86;13.19;29.2;conpcheck;uns;-1;2.71;1.14;50.5;iimc;uns;-1;0.64;0.00;0.0;iprover;time;1597;3600.34;15478.08;127703.1;iproverdeep;time;922;3600.41;12047.28;127686.1;nuxmv;uns;-1;0.90;0.08;19.3;nuxmvbmc;unk;1001;3.21;2.55;149.3;pdtravdeep;time;2;3600.42;5317.46;12440.1;pdtravthrd;uns;-1;1.32;0.95;454.7;shiftbmc;unk;1000;1.01;0.38;20.0;truss;uns;-1;1.09;0.79;111.4 +texasparsesysp3;abcdeep;sat;8;1.30;0.53;93.5;abcsuperprove;sat;8;0.91;0.12;35.3;avy;sat;8;1.05;0.23;37.5;blimc;sat;8;0.60;0.00;0.0;conpcheck;sat;18;2.71;0.36;68.3;iimc;sat;8;0.62;0.00;0.0;iprover;sat;8;1.46;4.49;504.2;iproverdeep;sat;8;1.48;2.51;289.2;nuxmv;sat;8;0.62;0.07;19.0;nuxmvbmc;sat;8;0.65;0.05;29.2;pdtravdeep;sat;8;3.66;1.08;461.8;pdtravthrd;sat;9;1.70;0.94;383.3;shiftbmc;sat;8;0.90;0.28;20.1;truss;sat;8;1.12;1.12;112.6 +texaspimainp01;abcdeep;uns;-1;1.11;0.68;217.9;abcsuperprove;uns;-1;0.93;0.16;374.1;avy;time;-1;3600.04;3598.98;42.4;blimc;unk;1000;178.62;177.89;133.0;conpcheck;uns;-1;2.89;1.26;56.8;iimc;uns;-1;0.83;0.00;0.0;iprover;time;546;3600.16;18183.43;127645.7;iproverdeep;time;189;3600.05;10881.81;63441.8;nuxmv;uns;-1;0.90;0.68;103.5;nuxmvbmc;unk;1001;827.75;827.23;786.5;pdtravdeep;time;223;3600.15;13473.93;5344.5;pdtravthrd;uns;-1;1.16;0.76;232.7;shiftbmc;unk;1000;1.09;0.38;20.1;truss;uns;-1;1.23;1.34;109.1 +vis4arbitp1;abcdeep;uns;-1;5.45;1.06;230.6;abcsuperprove;uns;-1;0.34;0.11;47.6;avy;uns;-1;1.06;0.15;76.7;blimc;time;338;3600.06;3599.28;70.6;conpcheck;uns;-1;3.07;2.04;62.3;iimc;uns;-1;0.56;0.00;0.0;iprover;time;52;3600.03;25342.51;23274.7;iproverdeep;time;50;3600.06;14489.85;20202.0;nuxmv;uns;-1;0.76;0.55;74.0;nuxmvbmc;unk;1001;39.80;39.67;158.7;pdtravdeep;time;-1;3600.04;14394.86;1320.6;pdtravthrd;uns;-1;2.65;4.27;875.0;shiftbmc;unk;1000;408.30;407.54;509.2;truss;uns;-1;0.79;0.31;40.9 +visarbiter;abcdeep;uns;-1;6.58;0.87;200.6;abcsuperprove;uns;-1;0.27;0.11;35.3;avy;uns;-1;0.82;0.10;32.3;blimc;unk;1000;169.81;169.28;81.1;conpcheck;uns;-1;2.88;1.96;67.6;iimc;uns;-1;0.10;0.00;0.0;iprover;time;1155;3600.11;25332.07;116325.1;iproverdeep;time;1211;3600.04;14494.40;94188.2;nuxmv;uns;-1;1.06;0.14;75.2;nuxmvbmc;unk;1001;293.00;292.34;250.1;pdtravdeep;time;1824;3600.03;14394.39;1975.9;pdtravthrd;uns;-1;1.19;0.75;330.6;shiftbmc;unk;1000;38.23;37.68;112.5;truss;uns;-1;1.01;0.32;40.7 +viselevatorp1;abcdeep;uns;-1;0.82;0.48;176.9;abcsuperprove;uns;-1;0.75;0.11;35.2;avy;uns;-1;0.63;0.07;28.6;blimc;unk;1000;21.65;20.59;93.3;conpcheck;uns;-1;2.86;2.05;75.4;iimc;uns;-1;0.12;0.00;0.0;iprover;uns;-1;0.92;2.60;367.8;iproverdeep;time;866;3600.11;7250.87;73671.9;nuxmv;uns;-1;0.45;0.16;76.8;nuxmvbmc;unk;1001;6.78;6.26;306.9;pdtravdeep;time;29;3600.17;13483.37;5082.9;pdtravthrd;uns;-1;1.07;0.88;290.1;shiftbmc;unk;1000;1.85;0.78;96.3;truss;uns;-1;0.69;0.00;0.0 +viselevatorp2;abcdeep;sat;4;0.59;0.12;33.0;abcsuperprove;sat;4;0.81;0.11;35.0;avy;sat;4;0.44;0.04;29.6;blimc;sat;4;0.37;0.10;2.8;conpcheck;sat;11;2.52;0.15;67.8;iimc;sat;4;0.68;0.00;0.0;iprover;sat;4;1.36;4.49;481.9;iproverdeep;sat;4;1.77;2.59;288.1;nuxmv;sat;4;1.06;0.00;0.0;nuxmvbmc;sat;4;0.44;0.00;0.0;pdtravdeep;sat;4;3.22;1.04;463.0;pdtravthrd;sat;4;3.45;2.23;860.8;shiftbmc;sat;4;0.51;0.08;14.3;truss;sat;4;0.27;0.00;0.0 +visemodel;abcdeep;uns;-1;5.68;1.81;284.0;abcsuperprove;uns;-1;0.31;0.11;35.1;avy;uns;-1;0.26;0.09;32.5;blimc;unk;1000;6.95;5.99;17.6;conpcheck;uns;-1;2.40;1.45;67.3;iimc;uns;-1;0.94;0.00;0.0;iprover;uns;-1;1.34;2.33;273.9;iproverdeep;time;1338;3600.08;7249.29;72852.3;nuxmv;uns;-1;1.04;0.14;73.6;nuxmvbmc;unk;1001;2.58;1.95;108.1;pdtravdeep;time;6;3600.14;14346.71;3266.0;pdtravthrd;uns;-1;0.85;0.78;362.5;shiftbmc;unk;1000;1.11;0.28;34.3;truss;uns;-1;0.11;0.00;0.0 +visprodcellp01;abcdeep;uns;-1;0.97;0.45;170.5;abcsuperprove;uns;-1;0.62;0.72;541.3;avy;uns;-1;0.45;0.16;73.6;blimc;unk;1000;93.08;92.27;197.0;conpcheck;uns;-1;2.22;1.96;73.5;iimc;uns;-1;0.26;0.56;33.1;iprover;uns;-1;2.97;16.34;899.0;iproverdeep;time;661;3600.07;7251.57;73977.2;nuxmv;uns;-1;1.06;0.52;102.0;nuxmvbmc;unk;1001;14.79;14.25;600.8;pdtravdeep;time;155;3600.16;13474.90;6097.8;pdtravthrd;uns;-1;2.00;3.93;1003.4;shiftbmc;unk;1000;1185.35;1184.25;363.9;truss;uns;-1;0.84;1.36;73.8 diff --git a/benchmarking/hwmcc17_single_expected.csv b/benchmarking/hwmcc17_single_expected.csv new file mode 100644 index 000000000..9c92ffffb --- /dev/null +++ b/benchmarking/hwmcc17_single_expected.csv @@ -0,0 +1,301 @@ +benchmark,expected +139442p1,refuted +139443p5,refuted +139444p22,refuted +139452p0,proved +139453p0,proved +139462p0,proved +139464p0,proved +6s0,unknown +6s105,unknown +6s109,proved +6s119,unknown +6s120,proved +6s128,unknown +6s130,unknown +6s131,unknown +6s134,refuted +6s145,unknown +6s158,unknown +6s16,unknown +6s160,unknown +6s163,unknown +6s185,unknown +6s186,unknown +6s187,unknown +6s188,unknown +6s191,unknown +6s195,unknown +6s20,refuted +6s202b41,unknown +6s204b16,unknown +6s205b20,unknown +6s206rb103,proved +6s207rb28,refuted +6s209b0,proved +6s210b037,refuted +6s215rb0,refuted +6s216rb0,refuted +6s218b2950,refuted +6s22,unknown +6s221rb14,proved +6s267rb3,unknown +6s268r,unknown +6s269r,unknown +6s271rb079,proved +6s274r,unknown +6s275rb318,proved +6s276rb342,proved +6s279r,unknown +6s280r,unknown +6s281b35,unknown +6s288r,proved +6s29,unknown +6s290,proved +6s292rb037,unknown +6s299b685,refuted +6s310r,unknown +6s316b421,unknown +6s316b460,unknown +6s319r,refuted +6s320rb1,refuted +6s322rb646,unknown +6s329rb19,unknown +6s341r,unknown +6s342rb122,unknown +6s343b08,proved +6s344rb054,proved +6s344rb150,proved +6s348b53,unknown +6s351rb02,unknown +6s351rb15,unknown +6s355rb08740,proved +6s359r,unknown +6s365r,unknown +6s366r,unknown +6s367r,unknown +6s37,unknown +6s372rb26,proved +6s374b029,refuted +6s374b114,proved +6s376r,unknown +6s377r,unknown +6s38,unknown +6s380b511,refuted +6s384rb024,proved +6s387rb291,unknown +6s389b02,refuted +6s391rb379,proved +6s393r,unknown +6s394r,unknown +6s398b09,unknown +6s399b02,unknown +6s4,unknown +6s400rb07819,proved +6s402rb0342,unknown +6s403rb1342,proved +6s404rb1,proved +6s404rb4,proved +6s406rb067,proved +6s41,refuted +6s42,unknown +6s421rb083,proved +6s428rb098,proved +6s44,unknown +6s514r,unknown +6s515rb1,proved +6s516r,unknown +6s517rb0,unknown +abp4p2ff,refuted +bc57sensorsp2,refuted +beemadd4b1,refuted +beemandrsn6b1,unknown +beemcmbrdg1b1,unknown +beemcmbrdg1f1,unknown +beemlifts3b1,unknown +beemlmprt8f1,refuted +beemptrsn4b1,unknown +bj08amba2g1,proved +bj08amba2g4f3,refuted +bj08amba3g1,proved +bj08amba5g62,proved +bj08aut82,proved +bj08vendingcycle,refuted +bob05,proved +bob12s09,proved +bob2,proved +bob3,proved +bob9234specand,proved +bobcount,proved +boblivea,proved +boblivear,proved +bobmiterbm1or,refuted +bobpcihm,unknown +bobsm9234,unknown +bobsmcodic,unknown +bobsmfpu,unknown +bobsmhdlc3,unknown +bobsmi2c,proved +bobsmminiuart,unknown +bobsynth13,refuted +bobsynthand,proved +bobsynthor,refuted +bobtuint24,refuted +bobtuttt,refuted +bobunr2p10d40l,proved +brpp1,refuted +cmudme2,proved +counterp0,refuted +csmacdp2,refuted +dme6p1,refuted +dme6p1neg,refuted +eijkbs1512,proved +eijkbs3271,unknown +eijkbs6669,unknown +eijks1196,proved +eijks1238,proved +eijks344,proved +eijks349,proved +eijks386,proved +eijks444,proved +eijks953,proved +intel001,proved +intel003,proved +intel007,proved +intel012,unknown +intel013,unknown +intel014,unknown +intel016,unknown +intel025,unknown +intel026,proved +intel027,unknown +intel028,unknown +intel032,unknown +intel034,proved +intel036,refuted +intel039,refuted +intel040,refuted +intel043,refuted +intel044,refuted +intel046,refuted +intel047,refuted +intel056,proved +intel061,proved +intel064,unknown +intel066,unknown +irstdme6,refuted +kenflashp03,proved +kenflashp07,proved +kenflashp08,proved +kenflashp09,proved +kenflashp10,proved +kenflashp13,proved +mentorbm1and,refuted +mentorbm1or,proved +mentorbm1p02,proved +mutexp0,refuted +ndista128,proved +neclabakery001,proved +neclaftp4002,proved +neclaftp5001,proved +neclatcas1a001,unknown +nusmvbrp,proved +nusmvdme216,unknown +nusmvguidancep1,proved +nusmvreactorp3,proved +nusmvreactorp5,proved +nusmvsyncarb5p2,proved +nusmvtcasp3,proved +oc8051gm03acc,unknown +oc8051gm06iram,unknown +oc8051gm0caddr,proved +oc8051gm12data,proved +oc8051gm15addr,unknown +oc8051gm1edata,proved +oc8051gm2daddr,unknown +oc8051gm36addr,unknown +oc8051gm3apc,unknown +oc8051gm3bacc,unknown +oc8051gm3dpc,unknown +oc8051gm3facc,unknown +oc8051gm43acc,unknown +oc8051gm49acc,unknown +oc8051gm49pc,unknown +oc8051gm4biram,unknown +oc8051gm4dacc,unknown +oc8051gm58addr,unknown +oc8051gm59data,unknown +oc8051gm63iram,unknown +oc8051gm64pc,unknown +oc8051gm68addr,unknown +oc8051gm6dpc,unknown +oc8051gm7daddr,unknown +oc8051gm81pc,unknown +oc8051gm88iram,unknown +oc8051gm8apc,unknown +oc8051gm95pc,unknown +oc8051gm98addr,proved +oc8051gm9ddata,unknown +oc8051gma4pc,unknown +oc8051gma6data,proved +oc8051gmadacc,unknown +oc8051gmb6acc,unknown +oc8051gmb8addr,unknown +oc8051gmbfpc,unknown +oc8051gmc5addr,unknown +oc8051gmc6data,proved +oc8051gmcadata,unknown +oc8051gmcciram,unknown +oc8051gmd7acc,unknown +oc8051gmdaaddr,unknown +oc8051gme0pc,unknown +oc8051gme2addr,unknown +oc8051gme5iram,unknown +oc8051gmecacc,unknown +oc8051gmf2iram,unknown +oc8051gmfbaddr,unknown +oc8051topo08,refuted +oc8051xiommuo5,proved +oski15a01b00s,unknown +oski15a01b57s,refuted +oski15a07b0s,unknown +oski15a08b00s,unknown +oski15a08b08s,refuted +oski15a10b02s,unknown +oski15a14b22s,unknown +pcip1,refuted +pdtfifo1to0,proved +pdtpmsarbiter,proved +pdtpmsretherrtf,unknown +pdtpmsrotate32,proved +pdtpmss1269b,proved +pdtpmsusbphy,proved +pdtswvibs8x8p0,refuted +pdtswvtma6x4p1,proved +pdtswvtma6x6p3,proved +pdtvisblackjack0,proved +pdtvisgigamax4,proved +pdtvisgray0,proved +pdtvishuffman1,proved +pdtvisns2p3,proved +pdtvisrethersqo0,proved +pdtvisvending00,proved +pj2010,proved +pj2016,proved +power2bit128,proved +prodcellp4,refuted +productioncellp0,refuted +ringp0,refuted +shift1add262144,unknown +srg5ptimo,refuted +texasifetch1p1,proved +texasifetch1p8,refuted +texasparsesysp2,proved +texasparsesysp3,refuted +texaspimainp01,proved +vis4arbitp1,proved +visarbiter,proved +viselevatorp1,proved +viselevatorp2,refuted +visemodel,proved +visprodcellp01,proved diff --git a/benchmarking/hwmcc17_single_new_ic3_sat_backends.csv b/benchmarking/hwmcc17_single_new_ic3_sat_backends.csv new file mode 100644 index 000000000..4135cdcdf --- /dev/null +++ b/benchmarking/hwmcc17_single_new_ic3_sat_backends.csv @@ -0,0 +1,900 @@ +139442p1,cadical,2.74,refuted +139442p1,ictminisat,0.77,refuted +139442p1,minisat2,0.88,refuted +139443p5,cadical,4.56,refuted +139443p5,ictminisat,1.49,refuted +139443p5,minisat2,2.01,refuted +139444p22,cadical,13.14,refuted +139444p22,ictminisat,,timeout +139444p22,minisat2,,timeout +139452p0,cadical,0.20,proved +139452p0,ictminisat,0.16,proved +139452p0,minisat2,0.16,proved +139453p0,cadical,0.39,proved +139453p0,ictminisat,0.35,proved +139453p0,minisat2,0.27,proved +139462p0,cadical,0.39,proved +139462p0,ictminisat,0.27,proved +139462p0,minisat2,0.28,proved +139464p0,cadical,1.35,proved +139464p0,ictminisat,0.93,proved +139464p0,minisat2,0.94,proved +6s0,cadical,,timeout +6s0,ictminisat,,timeout +6s0,minisat2,,timeout +6s105,cadical,,timeout +6s105,ictminisat,,timeout +6s105,minisat2,,timeout +6s109,cadical,,timeout +6s109,ictminisat,,timeout +6s109,minisat2,,timeout +6s119,cadical,,timeout +6s119,ictminisat,,timeout +6s119,minisat2,,timeout +6s120,cadical,1.26,proved +6s120,ictminisat,1.31,proved +6s120,minisat2,1.44,proved +6s128,cadical,,timeout +6s128,ictminisat,,timeout +6s128,minisat2,,timeout +6s130,cadical,,timeout +6s130,ictminisat,,timeout +6s130,minisat2,,timeout +6s131,cadical,,timeout +6s131,ictminisat,,timeout +6s131,minisat2,,timeout +6s134,cadical,,timeout +6s134,ictminisat,,timeout +6s134,minisat2,,timeout +6s145,cadical,,timeout +6s145,ictminisat,,timeout +6s145,minisat2,,timeout +6s158,cadical,,timeout +6s158,ictminisat,,timeout +6s158,minisat2,,timeout +6s16,cadical,,timeout +6s16,ictminisat,,timeout +6s16,minisat2,,timeout +6s160,cadical,,timeout +6s160,ictminisat,,timeout +6s160,minisat2,,timeout +6s163,cadical,,timeout +6s163,ictminisat,,timeout +6s163,minisat2,,timeout +6s185,cadical,,timeout +6s185,ictminisat,,timeout +6s185,minisat2,,timeout +6s186,cadical,,timeout +6s186,ictminisat,,timeout +6s186,minisat2,,timeout +6s187,cadical,,timeout +6s187,ictminisat,,timeout +6s187,minisat2,,timeout +6s188,cadical,,timeout +6s188,ictminisat,,timeout +6s188,minisat2,,timeout +6s191,cadical,,timeout +6s191,ictminisat,,timeout +6s191,minisat2,,timeout +6s195,cadical,,timeout +6s195,ictminisat,,timeout +6s195,minisat2,,timeout +6s20,cadical,,timeout +6s20,ictminisat,,timeout +6s20,minisat2,,timeout +6s202b41,cadical,,timeout +6s202b41,ictminisat,,timeout +6s202b41,minisat2,,timeout +6s204b16,cadical,,timeout +6s204b16,ictminisat,,timeout +6s204b16,minisat2,,timeout +6s205b20,cadical,,timeout +6s205b20,ictminisat,,timeout +6s205b20,minisat2,,timeout +6s206rb103,cadical,,timeout +6s206rb103,ictminisat,9.61,proved +6s206rb103,minisat2,10.65,proved +6s207rb28,cadical,,timeout +6s207rb28,ictminisat,,timeout +6s207rb28,minisat2,,timeout +6s209b0,cadical,4.92,proved +6s209b0,ictminisat,3.14,proved +6s209b0,minisat2,2.78,proved +6s210b037,cadical,0.62,refuted +6s210b037,ictminisat,0.45,refuted +6s210b037,minisat2,0.44,refuted +6s215rb0,cadical,6.23,refuted +6s215rb0,ictminisat,2.45,refuted +6s215rb0,minisat2,1.99,refuted +6s216rb0,cadical,6.72,refuted +6s216rb0,ictminisat,8.63,refuted +6s216rb0,minisat2,9.83,refuted +6s218b2950,cadical,,timeout +6s218b2950,ictminisat,,timeout +6s218b2950,minisat2,,timeout +6s22,cadical,,timeout +6s22,ictminisat,,timeout +6s22,minisat2,,timeout +6s221rb14,cadical,,timeout +6s221rb14,ictminisat,,timeout +6s221rb14,minisat2,48.47,proved +6s267rb3,cadical,,timeout +6s267rb3,ictminisat,,timeout +6s267rb3,minisat2,,timeout +6s268r,cadical,,timeout +6s268r,ictminisat,,timeout +6s268r,minisat2,,timeout +6s269r,cadical,,timeout +6s269r,ictminisat,,timeout +6s269r,minisat2,,timeout +6s271rb079,cadical,26.87,proved +6s271rb079,ictminisat,18.79,proved +6s271rb079,minisat2,20.62,proved +6s274r,cadical,,timeout +6s274r,ictminisat,,timeout +6s274r,minisat2,,timeout +6s275rb318,cadical,,timeout +6s275rb318,ictminisat,5.25,proved +6s275rb318,minisat2,5.52,proved +6s276rb342,cadical,47.86,proved +6s276rb342,ictminisat,5.67,proved +6s276rb342,minisat2,5.03,proved +6s279r,cadical,,timeout +6s279r,ictminisat,,timeout +6s279r,minisat2,,timeout +6s280r,cadical,,timeout +6s280r,ictminisat,,timeout +6s280r,minisat2,,timeout +6s281b35,cadical,,timeout +6s281b35,ictminisat,,timeout +6s281b35,minisat2,,timeout +6s288r,cadical,,timeout +6s288r,ictminisat,,timeout +6s288r,minisat2,,timeout +6s29,cadical,,timeout +6s29,ictminisat,,timeout +6s29,minisat2,,timeout +6s290,cadical,,timeout +6s290,ictminisat,,timeout +6s290,minisat2,,timeout +6s292rb037,cadical,,timeout +6s292rb037,ictminisat,,timeout +6s292rb037,minisat2,,timeout +6s299b685,cadical,,timeout +6s299b685,ictminisat,,timeout +6s299b685,minisat2,,timeout +6s310r,cadical,,timeout +6s310r,ictminisat,,timeout +6s310r,minisat2,,timeout +6s316b421,cadical,,timeout +6s316b421,ictminisat,,timeout +6s316b421,minisat2,,timeout +6s316b460,cadical,,timeout +6s316b460,ictminisat,,timeout +6s316b460,minisat2,,timeout +6s319r,cadical,,timeout +6s319r,ictminisat,,timeout +6s319r,minisat2,,timeout +6s320rb1,cadical,,timeout +6s320rb1,ictminisat,,timeout +6s320rb1,minisat2,,timeout +6s322rb646,cadical,,timeout +6s322rb646,ictminisat,,timeout +6s322rb646,minisat2,,timeout +6s329rb19,cadical,,timeout +6s329rb19,ictminisat,,timeout +6s329rb19,minisat2,,timeout +6s341r,cadical,,timeout +6s341r,ictminisat,,timeout +6s341r,minisat2,,timeout +6s342rb122,cadical,,timeout +6s342rb122,ictminisat,,timeout +6s342rb122,minisat2,,timeout +6s343b08,cadical,,timeout +6s343b08,ictminisat,,timeout +6s343b08,minisat2,,timeout +6s344rb054,cadical,24.63,proved +6s344rb054,ictminisat,2.44,proved +6s344rb054,minisat2,2.09,proved +6s344rb150,cadical,,timeout +6s344rb150,ictminisat,,timeout +6s344rb150,minisat2,,timeout +6s348b53,cadical,,timeout +6s348b53,ictminisat,,timeout +6s348b53,minisat2,,timeout +6s351rb02,cadical,,timeout +6s351rb02,ictminisat,,timeout +6s351rb02,minisat2,,timeout +6s351rb15,cadical,,timeout +6s351rb15,ictminisat,,timeout +6s351rb15,minisat2,,timeout +6s355rb08740,cadical,,timeout +6s355rb08740,ictminisat,5.10,proved +6s355rb08740,minisat2,4.77,proved +6s359r,cadical,,timeout +6s359r,ictminisat,,timeout +6s359r,minisat2,,timeout +6s365r,cadical,,timeout +6s365r,ictminisat,,timeout +6s365r,minisat2,,timeout +6s366r,cadical,,timeout +6s366r,ictminisat,,timeout +6s366r,minisat2,,timeout +6s367r,cadical,,timeout +6s367r,ictminisat,,timeout +6s367r,minisat2,,timeout +6s37,cadical,,timeout +6s37,ictminisat,,timeout +6s37,minisat2,,timeout +6s372rb26,cadical,58.51,proved +6s372rb26,ictminisat,10.15,proved +6s372rb26,minisat2,16.41,proved +6s374b029,cadical,,timeout +6s374b029,ictminisat,,timeout +6s374b029,minisat2,,timeout +6s374b114,cadical,,timeout +6s374b114,ictminisat,39.66,proved +6s374b114,minisat2,35.56,proved +6s376r,cadical,,timeout +6s376r,ictminisat,,timeout +6s376r,minisat2,,timeout +6s377r,cadical,,timeout +6s377r,ictminisat,,timeout +6s377r,minisat2,,timeout +6s38,cadical,,timeout +6s38,ictminisat,,timeout +6s38,minisat2,,timeout +6s380b511,cadical,,timeout +6s380b511,ictminisat,,timeout +6s380b511,minisat2,14.63,refuted +6s384rb024,cadical,3.48,proved +6s384rb024,ictminisat,2.53,proved +6s384rb024,minisat2,2.66,proved +6s387rb291,cadical,,timeout +6s387rb291,ictminisat,,timeout +6s387rb291,minisat2,,timeout +6s389b02,cadical,0.66,refuted +6s389b02,ictminisat,0.63,refuted +6s389b02,minisat2,0.70,refuted +6s391rb379,cadical,0.80,proved +6s391rb379,ictminisat,0.42,proved +6s391rb379,minisat2,0.40,proved +6s393r,cadical,,timeout +6s393r,ictminisat,,timeout +6s393r,minisat2,,timeout +6s394r,cadical,,timeout +6s394r,ictminisat,,timeout +6s394r,minisat2,,timeout +6s398b09,cadical,,timeout +6s398b09,ictminisat,,timeout +6s398b09,minisat2,,timeout +6s399b02,cadical,,timeout +6s399b02,ictminisat,,timeout +6s399b02,minisat2,,timeout +6s4,cadical,,timeout +6s4,ictminisat,,timeout +6s4,minisat2,,timeout +6s400rb07819,cadical,,timeout +6s400rb07819,ictminisat,14.40,proved +6s400rb07819,minisat2,14.01,proved +6s402rb0342,cadical,,timeout +6s402rb0342,ictminisat,,timeout +6s402rb0342,minisat2,,timeout +6s403rb1342,cadical,,timeout +6s403rb1342,ictminisat,,timeout +6s403rb1342,minisat2,,timeout +6s404rb1,cadical,,timeout +6s404rb1,ictminisat,,timeout +6s404rb1,minisat2,,timeout +6s404rb4,cadical,,timeout +6s404rb4,ictminisat,,timeout +6s404rb4,minisat2,,timeout +6s406rb067,cadical,,timeout +6s406rb067,ictminisat,6.38,proved +6s406rb067,minisat2,6.84,proved +6s41,cadical,,timeout +6s41,ictminisat,,timeout +6s41,minisat2,,timeout +6s42,cadical,,timeout +6s42,ictminisat,,timeout +6s42,minisat2,,timeout +6s421rb083,cadical,5.33,proved +6s421rb083,ictminisat,1.34,proved +6s421rb083,minisat2,1.40,proved +6s428rb098,cadical,,timeout +6s428rb098,ictminisat,,timeout +6s428rb098,minisat2,,timeout +6s44,cadical,,timeout +6s44,ictminisat,,timeout +6s44,minisat2,,timeout +6s514r,cadical,,timeout +6s514r,ictminisat,,timeout +6s514r,minisat2,,timeout +6s515rb1,cadical,1.06,proved +6s515rb1,ictminisat,0.67,proved +6s515rb1,minisat2,0.88,proved +6s516r,cadical,,timeout +6s516r,ictminisat,,timeout +6s516r,minisat2,,timeout +6s517rb0,cadical,,timeout +6s517rb0,ictminisat,,timeout +6s517rb0,minisat2,,timeout +abp4p2ff,cadical,4.75,refuted +abp4p2ff,ictminisat,3.12,refuted +abp4p2ff,minisat2,3.60,refuted +bc57sensorsp2,cadical,,timeout +bc57sensorsp2,ictminisat,,timeout +bc57sensorsp2,minisat2,,timeout +beemadd4b1,cadical,,timeout +beemadd4b1,ictminisat,56.52,refuted +beemadd4b1,minisat2,,timeout +beemandrsn6b1,cadical,,timeout +beemandrsn6b1,ictminisat,,timeout +beemandrsn6b1,minisat2,,timeout +beemcmbrdg1b1,cadical,,timeout +beemcmbrdg1b1,ictminisat,,timeout +beemcmbrdg1b1,minisat2,,timeout +beemcmbrdg1f1,cadical,,timeout +beemcmbrdg1f1,ictminisat,,timeout +beemcmbrdg1f1,minisat2,,timeout +beemlifts3b1,cadical,,timeout +beemlifts3b1,ictminisat,,timeout +beemlifts3b1,minisat2,,timeout +beemlmprt8f1,cadical,1.48,refuted +beemlmprt8f1,ictminisat,3.19,refuted +beemlmprt8f1,minisat2,3.43,refuted +beemptrsn4b1,cadical,,timeout +beemptrsn4b1,ictminisat,,timeout +beemptrsn4b1,minisat2,,timeout +bj08amba2g1,cadical,0.06,proved +bj08amba2g1,ictminisat,0.06,proved +bj08amba2g1,minisat2,0.06,proved +bj08amba2g4f3,cadical,6.46,refuted +bj08amba2g4f3,ictminisat,1.94,refuted +bj08amba2g4f3,minisat2,2.71,refuted +bj08amba3g1,cadical,0.34,proved +bj08amba3g1,ictminisat,0.25,proved +bj08amba3g1,minisat2,0.38,proved +bj08amba5g62,cadical,1.06,proved +bj08amba5g62,ictminisat,0.51,proved +bj08amba5g62,minisat2,0.75,proved +bj08aut82,cadical,0.05,proved +bj08aut82,ictminisat,0.06,proved +bj08aut82,minisat2,0.03,proved +bj08vendingcycle,cadical,0.05,refuted +bj08vendingcycle,ictminisat,0.03,refuted +bj08vendingcycle,minisat2,0.06,refuted +bob05,cadical,,timeout +bob05,ictminisat,,timeout +bob05,minisat2,,timeout +bob12s09,cadical,,timeout +bob12s09,ictminisat,,timeout +bob12s09,minisat2,,timeout +bob2,cadical,0.06,proved +bob2,ictminisat,0.04,proved +bob2,minisat2,0.04,proved +bob3,cadical,37.60,proved +bob3,ictminisat,10.61,proved +bob3,minisat2,58.51,proved +bob9234specand,cadical,0.06,proved +bob9234specand,ictminisat,0.05,proved +bob9234specand,minisat2,0.05,proved +bobcount,cadical,0.21,proved +bobcount,ictminisat,0.18,proved +bobcount,minisat2,0.24,proved +boblivea,cadical,,timeout +boblivea,ictminisat,,timeout +boblivea,minisat2,,timeout +boblivear,cadical,,timeout +boblivear,ictminisat,,timeout +boblivear,minisat2,,timeout +bobmiterbm1or,cadical,0.17,refuted +bobmiterbm1or,ictminisat,0.08,refuted +bobmiterbm1or,minisat2,0.16,refuted +bobpcihm,cadical,,timeout +bobpcihm,ictminisat,,timeout +bobpcihm,minisat2,,timeout +bobsm9234,cadical,,timeout +bobsm9234,ictminisat,,timeout +bobsm9234,minisat2,,timeout +bobsmcodic,cadical,,timeout +bobsmcodic,ictminisat,,timeout +bobsmcodic,minisat2,,timeout +bobsmfpu,cadical,,timeout +bobsmfpu,ictminisat,,timeout +bobsmfpu,minisat2,,timeout +bobsmhdlc3,cadical,,timeout +bobsmhdlc3,ictminisat,,timeout +bobsmhdlc3,minisat2,,timeout +bobsmi2c,cadical,,timeout +bobsmi2c,ictminisat,,timeout +bobsmi2c,minisat2,29.35,proved +bobsmminiuart,cadical,,timeout +bobsmminiuart,ictminisat,,timeout +bobsmminiuart,minisat2,,timeout +bobsynth13,cadical,0.57,refuted +bobsynth13,ictminisat,0.66,refuted +bobsynth13,minisat2,0.54,refuted +bobsynthand,cadical,0.42,proved +bobsynthand,ictminisat,0.60,proved +bobsynthand,minisat2,0.31,proved +bobsynthor,cadical,0.81,refuted +bobsynthor,ictminisat,0.64,refuted +bobsynthor,minisat2,0.65,refuted +bobtuint24,cadical,0.09,refuted +bobtuint24,ictminisat,0.04,refuted +bobtuint24,minisat2,0.09,refuted +bobtuttt,cadical,,timeout +bobtuttt,ictminisat,,timeout +bobtuttt,minisat2,,timeout +bobunr2p10d40l,cadical,0.86,proved +bobunr2p10d40l,ictminisat,0.57,proved +bobunr2p10d40l,minisat2,0.33,proved +brpp1,cadical,0.14,refuted +brpp1,ictminisat,0.10,refuted +brpp1,minisat2,0.17,refuted +cmudme2,cadical,,timeout +cmudme2,ictminisat,,timeout +cmudme2,minisat2,,timeout +counterp0,cadical,0.05,refuted +counterp0,ictminisat,0.07,refuted +counterp0,minisat2,0.05,refuted +csmacdp2,cadical,,timeout +csmacdp2,ictminisat,,timeout +csmacdp2,minisat2,,timeout +dme6p1,cadical,0.12,refuted +dme6p1,ictminisat,0.42,refuted +dme6p1,minisat2,0.65,refuted +dme6p1neg,cadical,0.08,refuted +dme6p1neg,ictminisat,0.19,refuted +dme6p1neg,minisat2,0.12,refuted +eijkbs1512,cadical,,timeout +eijkbs1512,ictminisat,,timeout +eijkbs1512,minisat2,,timeout +eijkbs3271,cadical,,timeout +eijkbs3271,ictminisat,,timeout +eijkbs3271,minisat2,,timeout +eijkbs6669,cadical,,timeout +eijkbs6669,ictminisat,,timeout +eijkbs6669,minisat2,,timeout +eijks1196,cadical,0.37,proved +eijks1196,ictminisat,0.18,proved +eijks1196,minisat2,0.17,proved +eijks1238,cadical,0.39,proved +eijks1238,ictminisat,0.12,proved +eijks1238,minisat2,0.18,proved +eijks344,cadical,1.03,proved +eijks344,ictminisat,0.92,proved +eijks344,minisat2,1.17,proved +eijks349,cadical,0.99,proved +eijks349,ictminisat,0.90,proved +eijks349,minisat2,0.78,proved +eijks386,cadical,0.64,proved +eijks386,ictminisat,0.28,proved +eijks386,minisat2,0.22,proved +eijks444,cadical,,timeout +eijks444,ictminisat,,timeout +eijks444,minisat2,,timeout +eijks953,cadical,0.92,proved +eijks953,ictminisat,0.48,proved +eijks953,minisat2,0.45,proved +intel001,cadical,0.11,proved +intel001,ictminisat,0.07,proved +intel001,minisat2,0.07,proved +intel003,cadical,0.44,proved +intel003,ictminisat,0.47,proved +intel003,minisat2,0.23,proved +intel007,cadical,,timeout +intel007,ictminisat,,timeout +intel007,minisat2,,timeout +intel012,cadical,,timeout +intel012,ictminisat,,timeout +intel012,minisat2,,timeout +intel013,cadical,,timeout +intel013,ictminisat,,timeout +intel013,minisat2,,timeout +intel014,cadical,,timeout +intel014,ictminisat,,timeout +intel014,minisat2,,timeout +intel016,cadical,,timeout +intel016,ictminisat,,timeout +intel016,minisat2,,timeout +intel025,cadical,,timeout +intel025,ictminisat,,timeout +intel025,minisat2,,timeout +intel026,cadical,,timeout +intel026,ictminisat,,timeout +intel026,minisat2,,timeout +intel027,cadical,,timeout +intel027,ictminisat,,timeout +intel027,minisat2,,timeout +intel028,cadical,,timeout +intel028,ictminisat,,timeout +intel028,minisat2,,timeout +intel032,cadical,,timeout +intel032,ictminisat,,timeout +intel032,minisat2,,timeout +intel034,cadical,,timeout +intel034,ictminisat,,timeout +intel034,minisat2,,timeout +intel036,cadical,,timeout +intel036,ictminisat,,timeout +intel036,minisat2,,timeout +intel039,cadical,,error +intel039,ictminisat,,timeout +intel039,minisat2,,timeout +intel040,cadical,,error +intel040,ictminisat,,error +intel040,minisat2,,timeout +intel043,cadical,,timeout +intel043,ictminisat,,error +intel043,minisat2,,error +intel044,cadical,,timeout +intel044,ictminisat,,timeout +intel044,minisat2,,timeout +intel046,cadical,,timeout +intel046,ictminisat,,timeout +intel046,minisat2,,timeout +intel047,cadical,,timeout +intel047,ictminisat,,timeout +intel047,minisat2,,timeout +intel056,cadical,,timeout +intel056,ictminisat,,timeout +intel056,minisat2,,timeout +intel061,cadical,,timeout +intel061,ictminisat,,timeout +intel061,minisat2,,timeout +intel064,cadical,,timeout +intel064,ictminisat,,timeout +intel064,minisat2,,timeout +intel066,cadical,,timeout +intel066,ictminisat,,timeout +intel066,minisat2,,timeout +irstdme6,cadical,,timeout +irstdme6,ictminisat,5.44,refuted +irstdme6,minisat2,9.10,refuted +kenflashp03,cadical,0.09,proved +kenflashp03,ictminisat,0.07,proved +kenflashp03,minisat2,0.07,proved +kenflashp07,cadical,0.05,proved +kenflashp07,ictminisat,0.04,proved +kenflashp07,minisat2,0.04,proved +kenflashp08,cadical,0.04,proved +kenflashp08,ictminisat,0.04,proved +kenflashp08,minisat2,0.04,proved +kenflashp09,cadical,0.11,proved +kenflashp09,ictminisat,0.09,proved +kenflashp09,minisat2,0.09,proved +kenflashp10,cadical,0.12,proved +kenflashp10,ictminisat,0.07,proved +kenflashp10,minisat2,0.08,proved +kenflashp13,cadical,0.04,proved +kenflashp13,ictminisat,0.03,proved +kenflashp13,minisat2,0.03,proved +mentorbm1and,cadical,,timeout +mentorbm1and,ictminisat,,timeout +mentorbm1and,minisat2,,timeout +mentorbm1or,cadical,0.97,proved +mentorbm1or,ictminisat,0.75,proved +mentorbm1or,minisat2,0.71,proved +mentorbm1p02,cadical,,timeout +mentorbm1p02,ictminisat,2.39,proved +mentorbm1p02,minisat2,2.18,proved +mutexp0,cadical,0.03,refuted +mutexp0,ictminisat,0.02,refuted +mutexp0,minisat2,0.02,refuted +ndista128,cadical,1.50,proved +ndista128,ictminisat,0.38,proved +ndista128,minisat2,0.61,proved +neclabakery001,cadical,20.24,proved +neclabakery001,ictminisat,8.05,proved +neclabakery001,minisat2,16.11,proved +neclaftp4002,cadical,,timeout +neclaftp4002,ictminisat,5.95,proved +neclaftp4002,minisat2,10.14,proved +neclaftp5001,cadical,0.03,proved +neclaftp5001,ictminisat,0.03,proved +neclaftp5001,minisat2,0.02,proved +neclatcas1a001,cadical,0.58,proved +neclatcas1a001,ictminisat,0.40,proved +neclatcas1a001,minisat2,0.29,proved +nusmvbrp,cadical,3.68,proved +nusmvbrp,ictminisat,1.91,proved +nusmvbrp,minisat2,3.26,proved +nusmvdme216,cadical,,timeout +nusmvdme216,ictminisat,,timeout +nusmvdme216,minisat2,,timeout +nusmvguidancep1,cadical,0.50,proved +nusmvguidancep1,ictminisat,0.13,proved +nusmvguidancep1,minisat2,0.17,proved +nusmvreactorp3,cadical,0.38,proved +nusmvreactorp3,ictminisat,0.21,proved +nusmvreactorp3,minisat2,0.15,proved +nusmvreactorp5,cadical,0.06,proved +nusmvreactorp5,ictminisat,0.03,proved +nusmvreactorp5,minisat2,0.03,proved +nusmvsyncarb5p2,cadical,0.02,proved +nusmvsyncarb5p2,ictminisat,0.02,proved +nusmvsyncarb5p2,minisat2,0.02,proved +nusmvtcasp3,cadical,,timeout +nusmvtcasp3,ictminisat,,timeout +nusmvtcasp3,minisat2,,timeout +oc8051gm03acc,cadical,,timeout +oc8051gm03acc,ictminisat,,timeout +oc8051gm03acc,minisat2,,timeout +oc8051gm06iram,cadical,,timeout +oc8051gm06iram,ictminisat,,timeout +oc8051gm06iram,minisat2,,timeout +oc8051gm0caddr,cadical,,timeout +oc8051gm0caddr,ictminisat,,timeout +oc8051gm0caddr,minisat2,,timeout +oc8051gm12data,cadical,,timeout +oc8051gm12data,ictminisat,,timeout +oc8051gm12data,minisat2,,timeout +oc8051gm15addr,cadical,,timeout +oc8051gm15addr,ictminisat,,timeout +oc8051gm15addr,minisat2,,timeout +oc8051gm1edata,cadical,,timeout +oc8051gm1edata,ictminisat,,timeout +oc8051gm1edata,minisat2,,timeout +oc8051gm2daddr,cadical,,timeout +oc8051gm2daddr,ictminisat,,timeout +oc8051gm2daddr,minisat2,,timeout +oc8051gm36addr,cadical,,timeout +oc8051gm36addr,ictminisat,,timeout +oc8051gm36addr,minisat2,,timeout +oc8051gm3apc,cadical,,timeout +oc8051gm3apc,ictminisat,,timeout +oc8051gm3apc,minisat2,,timeout +oc8051gm3bacc,cadical,,timeout +oc8051gm3bacc,ictminisat,,timeout +oc8051gm3bacc,minisat2,,timeout +oc8051gm3dpc,cadical,,timeout +oc8051gm3dpc,ictminisat,,timeout +oc8051gm3dpc,minisat2,,timeout +oc8051gm3facc,cadical,,timeout +oc8051gm3facc,ictminisat,,timeout +oc8051gm3facc,minisat2,,timeout +oc8051gm43acc,cadical,,timeout +oc8051gm43acc,ictminisat,,timeout +oc8051gm43acc,minisat2,,timeout +oc8051gm49acc,cadical,,timeout +oc8051gm49acc,ictminisat,,timeout +oc8051gm49acc,minisat2,,timeout +oc8051gm49pc,cadical,,timeout +oc8051gm49pc,ictminisat,,timeout +oc8051gm49pc,minisat2,,timeout +oc8051gm4biram,cadical,,timeout +oc8051gm4biram,ictminisat,,timeout +oc8051gm4biram,minisat2,,timeout +oc8051gm4dacc,cadical,,timeout +oc8051gm4dacc,ictminisat,,timeout +oc8051gm4dacc,minisat2,,timeout +oc8051gm58addr,cadical,,timeout +oc8051gm58addr,ictminisat,,timeout +oc8051gm58addr,minisat2,,timeout +oc8051gm59data,cadical,,timeout +oc8051gm59data,ictminisat,,timeout +oc8051gm59data,minisat2,,timeout +oc8051gm63iram,cadical,,timeout +oc8051gm63iram,ictminisat,,timeout +oc8051gm63iram,minisat2,,timeout +oc8051gm64pc,cadical,,timeout +oc8051gm64pc,ictminisat,,timeout +oc8051gm64pc,minisat2,,timeout +oc8051gm68addr,cadical,,timeout +oc8051gm68addr,ictminisat,,timeout +oc8051gm68addr,minisat2,,timeout +oc8051gm6dpc,cadical,,timeout +oc8051gm6dpc,ictminisat,,timeout +oc8051gm6dpc,minisat2,,timeout +oc8051gm7daddr,cadical,,timeout +oc8051gm7daddr,ictminisat,,timeout +oc8051gm7daddr,minisat2,,timeout +oc8051gm81pc,cadical,,timeout +oc8051gm81pc,ictminisat,,timeout +oc8051gm81pc,minisat2,,timeout +oc8051gm88iram,cadical,,timeout +oc8051gm88iram,ictminisat,,timeout +oc8051gm88iram,minisat2,,timeout +oc8051gm8apc,cadical,,timeout +oc8051gm8apc,ictminisat,,timeout +oc8051gm8apc,minisat2,,timeout +oc8051gm95pc,cadical,,timeout +oc8051gm95pc,ictminisat,,timeout +oc8051gm95pc,minisat2,,timeout +oc8051gm98addr,cadical,,timeout +oc8051gm98addr,ictminisat,,timeout +oc8051gm98addr,minisat2,,timeout +oc8051gm9ddata,cadical,,timeout +oc8051gm9ddata,ictminisat,,timeout +oc8051gm9ddata,minisat2,,timeout +oc8051gma4pc,cadical,,timeout +oc8051gma4pc,ictminisat,,timeout +oc8051gma4pc,minisat2,,timeout +oc8051gma6data,cadical,,timeout +oc8051gma6data,ictminisat,,timeout +oc8051gma6data,minisat2,,timeout +oc8051gmadacc,cadical,,timeout +oc8051gmadacc,ictminisat,,timeout +oc8051gmadacc,minisat2,,timeout +oc8051gmb6acc,cadical,,timeout +oc8051gmb6acc,ictminisat,,timeout +oc8051gmb6acc,minisat2,,timeout +oc8051gmb8addr,cadical,,timeout +oc8051gmb8addr,ictminisat,,timeout +oc8051gmb8addr,minisat2,,timeout +oc8051gmbfpc,cadical,,timeout +oc8051gmbfpc,ictminisat,,timeout +oc8051gmbfpc,minisat2,,timeout +oc8051gmc5addr,cadical,,timeout +oc8051gmc5addr,ictminisat,,timeout +oc8051gmc5addr,minisat2,,timeout +oc8051gmc6data,cadical,,timeout +oc8051gmc6data,ictminisat,,timeout +oc8051gmc6data,minisat2,,timeout +oc8051gmcadata,cadical,,timeout +oc8051gmcadata,ictminisat,,timeout +oc8051gmcadata,minisat2,,timeout +oc8051gmcciram,cadical,,timeout +oc8051gmcciram,ictminisat,,timeout +oc8051gmcciram,minisat2,,timeout +oc8051gmd7acc,cadical,,timeout +oc8051gmd7acc,ictminisat,,timeout +oc8051gmd7acc,minisat2,,timeout +oc8051gmdaaddr,cadical,,timeout +oc8051gmdaaddr,ictminisat,,timeout +oc8051gmdaaddr,minisat2,,timeout +oc8051gme0pc,cadical,,timeout +oc8051gme0pc,ictminisat,,timeout +oc8051gme0pc,minisat2,,timeout +oc8051gme2addr,cadical,,timeout +oc8051gme2addr,ictminisat,,timeout +oc8051gme2addr,minisat2,,timeout +oc8051gme5iram,cadical,,timeout +oc8051gme5iram,ictminisat,,timeout +oc8051gme5iram,minisat2,,timeout +oc8051gmecacc,cadical,,timeout +oc8051gmecacc,ictminisat,,timeout +oc8051gmecacc,minisat2,,timeout +oc8051gmf2iram,cadical,,timeout +oc8051gmf2iram,ictminisat,,timeout +oc8051gmf2iram,minisat2,,timeout +oc8051gmfbaddr,cadical,,timeout +oc8051gmfbaddr,ictminisat,,timeout +oc8051gmfbaddr,minisat2,,timeout +oc8051topo08,cadical,,timeout +oc8051topo08,ictminisat,,timeout +oc8051topo08,minisat2,,timeout +oc8051xiommuo5,cadical,,timeout +oc8051xiommuo5,ictminisat,,timeout +oc8051xiommuo5,minisat2,,timeout +oski15a01b00s,cadical,,timeout +oski15a01b00s,ictminisat,,timeout +oski15a01b00s,minisat2,,timeout +oski15a01b57s,cadical,,timeout +oski15a01b57s,ictminisat,,timeout +oski15a01b57s,minisat2,,timeout +oski15a07b0s,cadical,,timeout +oski15a07b0s,ictminisat,,timeout +oski15a07b0s,minisat2,,timeout +oski15a08b00s,cadical,,timeout +oski15a08b00s,ictminisat,,timeout +oski15a08b00s,minisat2,,timeout +oski15a08b08s,cadical,,timeout +oski15a08b08s,ictminisat,,timeout +oski15a08b08s,minisat2,,timeout +oski15a10b02s,cadical,,timeout +oski15a10b02s,ictminisat,,timeout +oski15a10b02s,minisat2,,timeout +oski15a14b22s,cadical,,timeout +oski15a14b22s,ictminisat,,timeout +oski15a14b22s,minisat2,,timeout +pcip1,cadical,0.07,refuted +pcip1,ictminisat,0.07,refuted +pcip1,minisat2,0.11,refuted +pdtfifo1to0,cadical,,timeout +pdtfifo1to0,ictminisat,,timeout +pdtfifo1to0,minisat2,,timeout +pdtpmsarbiter,cadical,0.06,proved +pdtpmsarbiter,ictminisat,0.02,proved +pdtpmsarbiter,minisat2,0.02,proved +pdtpmsretherrtf,cadical,,timeout +pdtpmsretherrtf,ictminisat,,timeout +pdtpmsretherrtf,minisat2,,timeout +pdtpmsrotate32,cadical,0.58,proved +pdtpmsrotate32,ictminisat,0.52,proved +pdtpmsrotate32,minisat2,0.54,proved +pdtpmss1269b,cadical,0.15,proved +pdtpmss1269b,ictminisat,0.10,proved +pdtpmss1269b,minisat2,0.09,proved +pdtpmsusbphy,cadical,0.03,proved +pdtpmsusbphy,ictminisat,0.02,proved +pdtpmsusbphy,minisat2,0.02,proved +pdtswvibs8x8p0,cadical,0.24,refuted +pdtswvibs8x8p0,ictminisat,0.15,refuted +pdtswvibs8x8p0,minisat2,0.12,refuted +pdtswvtma6x4p1,cadical,,timeout +pdtswvtma6x4p1,ictminisat,,timeout +pdtswvtma6x4p1,minisat2,,timeout +pdtswvtma6x6p3,cadical,,timeout +pdtswvtma6x6p3,ictminisat,,timeout +pdtswvtma6x6p3,minisat2,,timeout +pdtvisblackjack0,cadical,0.80,proved +pdtvisblackjack0,ictminisat,0.19,proved +pdtvisblackjack0,minisat2,0.15,proved +pdtvisgigamax4,cadical,0.07,proved +pdtvisgigamax4,ictminisat,0.04,proved +pdtvisgigamax4,minisat2,0.04,proved +pdtvisgray0,cadical,0.01,proved +pdtvisgray0,ictminisat,0.01,proved +pdtvisgray0,minisat2,0.01,proved +pdtvishuffman1,cadical,0.02,proved +pdtvishuffman1,ictminisat,0.02,proved +pdtvishuffman1,minisat2,0.02,proved +pdtvisns2p3,cadical,0.13,proved +pdtvisns2p3,ictminisat,0.05,proved +pdtvisns2p3,minisat2,0.05,proved +pdtvisrethersqo0,cadical,0.02,proved +pdtvisrethersqo0,ictminisat,0.02,proved +pdtvisrethersqo0,minisat2,0.02,proved +pdtvisvending00,cadical,0.71,proved +pdtvisvending00,ictminisat,0.24,proved +pdtvisvending00,minisat2,0.19,proved +pj2010,cadical,0.39,proved +pj2010,ictminisat,0.33,proved +pj2010,minisat2,0.31,proved +pj2016,cadical,41.34,proved +pj2016,ictminisat,4.74,proved +pj2016,minisat2,4.43,proved +power2bit128,cadical,0.16,proved +power2bit128,ictminisat,0.06,proved +power2bit128,minisat2,0.07,proved +prodcellp4,cadical,,timeout +prodcellp4,ictminisat,,timeout +prodcellp4,minisat2,,timeout +productioncellp0,cadical,,timeout +productioncellp0,ictminisat,,timeout +productioncellp0,minisat2,,timeout +ringp0,cadical,0.04,refuted +ringp0,ictminisat,0.02,refuted +ringp0,minisat2,0.02,refuted +shift1add262144,cadical,,timeout +shift1add262144,ictminisat,,timeout +shift1add262144,minisat2,,timeout +srg5ptimo,cadical,0.02,refuted +srg5ptimo,ictminisat,0.02,refuted +srg5ptimo,minisat2,0.02,refuted +texasifetch1p1,cadical,0.03,proved +texasifetch1p1,ictminisat,0.02,proved +texasifetch1p1,minisat2,0.02,proved +texasifetch1p8,cadical,0.02,refuted +texasifetch1p8,ictminisat,0.02,refuted +texasifetch1p8,minisat2,0.02,refuted +texasparsesysp2,cadical,0.26,proved +texasparsesysp2,ictminisat,0.17,proved +texasparsesysp2,minisat2,0.17,proved +texasparsesysp3,cadical,0.32,refuted +texasparsesysp3,ictminisat,0.20,refuted +texasparsesysp3,minisat2,0.20,refuted +texaspimainp01,cadical,0.42,proved +texaspimainp01,ictminisat,0.34,proved +texaspimainp01,minisat2,0.32,proved +vis4arbitp1,cadical,0.15,proved +vis4arbitp1,ictminisat,0.04,proved +vis4arbitp1,minisat2,0.06,proved +visarbiter,cadical,0.05,proved +visarbiter,ictminisat,0.04,proved +visarbiter,minisat2,0.03,proved +viselevatorp1,cadical,0.03,proved +viselevatorp1,ictminisat,0.02,proved +viselevatorp1,minisat2,0.02,proved +viselevatorp2,cadical,0.03,refuted +viselevatorp2,ictminisat,0.04,refuted +viselevatorp2,minisat2,0.03,refuted +visemodel,cadical,0.02,proved +visemodel,ictminisat,0.02,proved +visemodel,minisat2,0.01,proved +visprodcellp01,cadical,0.40,proved +visprodcellp01,ictminisat,0.28,proved +visprodcellp01,minisat2,0.36,proved diff --git a/benchmarking/hwmcc17_single_new_ic3_sat_solver_report.md b/benchmarking/hwmcc17_single_new_ic3_sat_solver_report.md new file mode 100644 index 000000000..f708e7b57 --- /dev/null +++ b/benchmarking/hwmcc17_single_new_ic3_sat_solver_report.md @@ -0,0 +1,116 @@ +# New IC3 SAT Backend Benchmark on HWMCC 2017 + +This report compares the `ictminisat`, `minisat2`, and `cadical` SAT +backends for `ebmc --new-ic3` on the full HWMCC 2017 single-track suite. + +## Setup + +- Suite: `HWMCC 2017 single track` +- Compiler: `clang++` +- Build cache: `ccache` +- Timeout: `60` seconds per benchmark/backend +- Parallel jobs: `24` +- Host: `AMD EPYC 9R14, 48 cores, 92 GiB RAM` +- Build command: `env CCACHE_DIR=/tmp/ccache make -C src -j4 CXX='ccache clang++' MINISAT2=/local/home/dkr/3hw-cbmc/lib/cbmc/minisat-2.2.1 CADICAL=/local/home/dkr/3hw-cbmc/lib/cbmc/cadical` +- Benchmark command: `BENCH_DIR=/local/home/dkr/3hw-cbmc/benchmarking/hwmcc17-single JOBS=24 benchmarking/compare_new_ic3_sat_solvers.sh 60` +- Expected labels: `benchmarking/hwmcc17_single_expected.csv` +- Raw results: `benchmarking/hwmcc17_single_new_ic3_sat_backends.csv` + +## Key Findings + +- `minisat2` had the best known-label coverage at `107/166` correct solves, `+2` versus `ictminisat` and `+11` versus `cadical`. +- `minisat2` also had the best PAR-2 score at `44.86` seconds; on the `104` cases solved correctly by both MiniSAT-based backends, `ictminisat` vs `minisat2` yielded a `1.05x` geomean speedup for `ictminisat`, so `minisat2` wins overall by solving two additional known-label cases rather than by being faster on the shared subset. +- `cadical` solved fewer known-label cases (`96/166`, `-9` versus `ictminisat`) but did contribute `1` unique correct solve(s): `139444p22`. +- Wrong decisive results observed: `0`. + +## Recommendation + +- Keep SAT-backend selection user-visible via `--new-ic3-sat-solver`. +- If we want to change the default based on HWMCC 2017 alone, `minisat2` is the strongest candidate on solved-count grounds and `minisat2` is best on PAR-2. +- Keep `cadical` as an opt-in backend rather than the default; it offers niche coverage gains but loses materially on aggregate throughput. + +## Corpus Summary + +| total | expected proved | expected refuted | expected unknown | +| --- | --- | --- | --- | +| 300 | 111 | 55 | 134 | + +## Overall Outcome Counts + +| backend | proved | refuted | timeout | error | missing | +| --- | --- | --- | --- | --- | --- | +| ictminisat | 78 | 28 | 192 | 2 | 0 | +| minisat2 | 80 | 28 | 191 | 1 | 0 | +| cadical | 70 | 27 | 201 | 2 | 0 | + +## Known-Label Accuracy + +| backend | correct decisive | wrong decisive | unsolved known | known solved rate | +| --- | --- | --- | --- | --- | +| ictminisat | 105 | 0 | 61 | 63.3% | +| minisat2 | 107 | 0 | 59 | 64.5% | +| cadical | 96 | 0 | 70 | 57.8% | + +## Unknown-Label Behavior + +| backend | decisive on unknown | timeout unknown | error unknown | +| --- | --- | --- | --- | +| ictminisat | 1 | 133 | 0 | +| minisat2 | 1 | 133 | 0 | +| cadical | 1 | 133 | 0 | + +## Runtime Summary + +Correct decisive runtimes use the CSV's centisecond timing. PAR scores are +computed on the 166 known-label benchmarks with penalties +of `120` seconds for PAR-2 and +`600` seconds for PAR-10. + +| backend | median s | geomean s | mean s | PAR-2 | PAR-10 | +| --- | --- | --- | --- | --- | --- | +| ictminisat | 0.27 | 0.31 | 2.47 | 45.66 | 222.05 | +| minisat2 | 0.27 | 0.35 | 3.44 | 44.86 | 215.47 | +| cadical | 0.38 | 0.36 | 3.61 | 52.69 | 255.10 | + +## Unique Correct Solves + +| backend | unique correct solves | +| --- | --- | +| ictminisat | 1 | +| minisat2 | 3 | +| cadical | 1 | + +## Pairwise Shared Correct Solves + +Geomean speedup is reported for the left backend over the right backend; +values above `1.00` favor the left backend. + +| pair | shared correct | left wins | right wins | ties | geomean speedup | +| --- | --- | --- | --- | --- | --- | +| ictminisat vs minisat2 | 104 | 42 | 35 | 27 | 1.05 | +| ictminisat vs cadical | 95 | 73 | 11 | 11 | 1.59 | +| minisat2 vs cadical | 95 | 71 | 13 | 11 | 1.52 | + +## Notable Benchmarks + +| benchmark | expected | fastest backend | fastest time (s) | results | note | +| --- | --- | --- | --- | --- | --- | +| beemadd4b1 | refuted | ictminisat | 56.52 | ictminisat: refuted@56.52s; minisat2: timeout@-s; cadical: timeout@-s | unique correct solve by ictminisat | +| 6s380b511 | refuted | minisat2 | 14.63 | ictminisat: timeout@-s; minisat2: refuted@14.63s; cadical: timeout@-s | unique correct solve by minisat2 | +| bobsmi2c | proved | minisat2 | 29.35 | ictminisat: timeout@-s; minisat2: proved@29.35s; cadical: timeout@-s | unique correct solve by minisat2 | +| 6s221rb14 | proved | minisat2 | 48.47 | ictminisat: timeout@-s; minisat2: proved@48.47s; cadical: timeout@-s | unique correct solve by minisat2 | +| 139444p22 | refuted | cadical | 13.14 | ictminisat: timeout@-s; minisat2: timeout@-s; cadical: refuted@13.14s | unique correct solve by cadical | +| 6s344rb054 | proved | minisat2 | 2.09 | ictminisat: proved@2.44s; minisat2: proved@2.09s; cadical: proved@24.63s | minisat2 faster than cadical by 11.78x; ictminisat faster than cadical by 10.09x | +| 6s276rb342 | proved | minisat2 | 5.03 | ictminisat: proved@5.67s; minisat2: proved@5.03s; cadical: proved@47.86s | minisat2 faster than cadical by 9.51x; ictminisat faster than cadical by 8.44x | +| pj2016 | proved | minisat2 | 4.43 | ictminisat: proved@4.74s; minisat2: proved@4.43s; cadical: proved@41.34s | minisat2 faster than cadical by 9.33x; ictminisat faster than cadical by 8.72x | +| 6s372rb26 | proved | ictminisat | 10.15 | ictminisat: proved@10.15s; minisat2: proved@16.41s; cadical: proved@58.51s | ictminisat faster than cadical by 5.76x | +| bob3 | proved | ictminisat | 10.61 | ictminisat: proved@10.61s; minisat2: proved@58.51s; cadical: proved@37.60s | ictminisat faster than minisat2 by 5.51x | +| pdtvisblackjack0 | proved | minisat2 | 0.15 | ictminisat: proved@0.19s; minisat2: proved@0.15s; cadical: proved@0.80s | minisat2 faster than cadical by 5.33x; ictminisat faster than cadical by 4.21x | + +## Sanity Checks + +| backend | blank decisive seconds | nonblank nonsolved seconds | +| --- | --- | --- | +| ictminisat | 0 | 0 | +| minisat2 | 0 | 0 | +| cadical | 0 | 0 | diff --git a/src/ebmc/ebmc_parse_options.cpp b/src/ebmc/ebmc_parse_options.cpp index 82947c6fb..75c91b141 100644 --- a/src/ebmc/ebmc_parse_options.cpp +++ b/src/ebmc/ebmc_parse_options.cpp @@ -529,6 +529,8 @@ void ebmc_parse_optionst::help() " {y--constr} \t use constraints specified in 'file.cnstr'\n" " {y--new-mode} \t new mode is switched on\n" " {y--new-ic3} \t use new IC3 engine (AIG-based)\n" + " {y--new-ic3-sat-solver} {uictminisat|minisat2|cadical}\n" + " \t select the SAT backend for the new IC3 engine\n" " {y--random-traces} \t generate random traces\n" " {y--traces} {unumber} \t generate the given number of traces\n" " {y--random-seed} {unumber} \t use the given random seed\n" diff --git a/src/ebmc/ebmc_parse_options.h b/src/ebmc/ebmc_parse_options.h index 25492f21e..9ed7060e3 100644 --- a/src/ebmc/ebmc_parse_options.h +++ b/src/ebmc/ebmc_parse_options.h @@ -38,7 +38,8 @@ class ebmc_parse_optionst:public parse_options_baset "(reset):(ignore-initial)(initial-zero)" "(version)(verilog-rtl)(verilog-netlist)" "(compute-interpolant)(interpolation)(interpolation-vmcai)" - "(ic3)(new-ic3)(property):(constr)(h)(new-mode)(aiger)" + "(ic3)(new-ic3)(new-ic3-sat-solver):(property):(constr)(h)(new-mode)(" + "aiger)" "(interpolation-word)(interpolator):(bdd)" "(ranking-function):" "(smt2)(bitwuzla)(boolector)(cvc3)(cvc4)(cvc5)(mathsat)(yices)(z3)" diff --git a/src/new-ic3/ic3_solver.cpp b/src/new-ic3/ic3_solver.cpp index 4dadd06b9..fb3c54247 100644 --- a/src/new-ic3/ic3_solver.cpp +++ b/src/new-ic3/ic3_solver.cpp @@ -17,6 +17,8 @@ Author: Daniel Kroening, dkr@amazon.com #include #include #include +#include +#include #include #include @@ -117,6 +119,149 @@ static void add_minisat_clause(IctMinisat::Solver &S, const bvt &clause) S.addClause(mc); } +class ic3_query_solvert +{ +public: + virtual ~ic3_query_solvert() = default; + + virtual void add_clause(const bvt &) = 0; + virtual bool solve(const bvt &assumptions) = 0; + virtual literalt new_variable() = 0; + virtual tvt l_get(literalt) const = 0; + virtual bool is_in_conflict(literalt) const = 0; + virtual void release(literalt) + { + } +}; + +namespace +{ +class ict_minisat_query_solvert final : public ic3_query_solvert +{ +public: + explicit ict_minisat_query_solvert( + cnf_clause_listt &base_cnf, + const bvt &init_units) + { + auto nv = base_cnf.no_variables(); + while(solver.nVars() < static_cast(nv)) + solver.newVar(); + + for(const auto &clause : base_cnf.get_clauses()) + add_minisat_clause(solver, clause); + + for(auto l : init_units) + add_minisat_clause(solver, {l}); + } + + explicit ict_minisat_query_solvert(cnf_clause_listt &base_cnf) + : ict_minisat_query_solvert(base_cnf, {}) + { + } + + void add_clause(const bvt &clause) override + { + add_minisat_clause(solver, clause); + } + + bool solve(const bvt &assumptions) override + { + IctMinisat::vec minisat_assumptions; + for(auto l : assumptions) + if(!l.is_true() && !l.is_false()) + minisat_assumptions.push(to_minisat(l)); + + return solver.solve(minisat_assumptions); + } + + literalt new_variable() override + { + return literalt{static_cast(solver.newVar()), false}; + } + + tvt l_get(literalt l) const override + { + auto value = solver.modelValue(to_minisat(l)); + if(value == IctMinisat::l_True) + return tvt(true); + if(value == IctMinisat::l_False) + return tvt(false); + return tvt::unknown(); + } + + bool is_in_conflict(literalt l) const override + { + return const_cast(solver.conflict).has(~to_minisat(l)); + } + + void release(literalt l) override + { + solver.releaseVar(~to_minisat(l)); + } + +private: + IctMinisat::Solver solver; +}; + +class cbmc_query_solvert final : public ic3_query_solvert +{ +public: + explicit cbmc_query_solvert(std::unique_ptr solver) + : solver(std::move(solver)) + { + } + + void add_clause(const bvt &clause) override + { + solver->lcnf(clause); + } + + bool solve(const bvt &assumptions) override + { + return solver->prop_solve(assumptions) == propt::resultt::P_SATISFIABLE; + } + + literalt new_variable() override + { + return solver->new_variable(); + } + + tvt l_get(literalt l) const override + { + return solver->l_get(l); + } + + bool is_in_conflict(literalt l) const override + { + return solver->is_in_conflict(l); + } + +private: + std::unique_ptr solver; +}; + +std::unique_ptr make_cbmc_solver( + ic3_sat_backendt sat_backend, + message_handlert &message_handler) +{ + switch(sat_backend) + { + case ic3_sat_backendt::ICT_MINISAT: + case ic3_sat_backendt::MINISAT2: + return std::make_unique(message_handler); + case ic3_sat_backendt::CADICAL: +#ifdef SATCHECK_CADICAL + return std::make_unique( + message_handler); +#else + UNREACHABLE; +#endif + } + + UNREACHABLE; +} +} // namespace + // ============================================================ // ic3_solvert implementation // ============================================================ @@ -124,8 +269,9 @@ static void add_minisat_clause(IctMinisat::Solver &S, const bvt &clause) ic3_solvert::ic3_solvert( const netlistt &netlist, literalt prop_netlist_lit, - message_handlert &message_handler) - : message_handler(message_handler) + message_handlert &message_handler, + ic3_sat_backendt sat_backend) + : message_handler(message_handler), sat_backend(sat_backend) { // Encode the netlist into CNF: one timeframe only — the next-state // functions are nodes in the same variable space. @@ -176,12 +322,11 @@ ic3_solvert::ic3_solvert( lit_activity.resize(latches.size(), 0.0f); // Create the initial state solver. - init_solver = - std::make_unique(solver_message_handler); + init_solver = make_cbmc_solver(sat_backend, solver_message_handler); replay_base_cnf(*init_solver, true); - // Create lifting solver using IC3's MiniSAT (has releaseVar). - lift_minisat = new_minisat_solver(); + // Create the lifting solver. + lift_solver = new_query_solver(); // Determine which latches have forced initial values. If all are // forced, the initial state is unique and intersection checks @@ -261,16 +406,16 @@ literalt ic3_solvert::to_next(literalt l) const return latch.next ^ (l.sign() != latch.current.sign()); } -cubet ic3_solvert::extract_state(const IctMinisat::Solver &S) +cubet ic3_solvert::extract_state(const ic3_query_solvert &S) { cubet cube; cube.reserve(latches.size()); for(const auto &latch : latches) { - auto val = S.modelValue(to_minisat(latch.current)); - if(val == IctMinisat::l_True) + auto val = S.l_get(latch.current); + if(val.is_true()) cube.push_back(latch.current); - else if(val == IctMinisat::l_False) + else if(val.is_false()) cube.push_back(!latch.current); // skip don't-care (unknown) bits — smaller cubes } @@ -282,31 +427,38 @@ void ic3_solvert::new_frame() frame_clauses.emplace_back(); } -std::unique_ptr ic3_solvert::new_minisat_solver() +std::unique_ptr ic3_solvert::new_query_solver() { - auto S = std::make_unique(); - auto nv = base_cnf->no_variables(); - while(S->nVars() < (int)nv) - S->newVar(); - for(const auto &clause : base_cnf->get_clauses()) - add_minisat_clause(*S, clause); - return S; + switch(sat_backend) + { + case ic3_sat_backendt::ICT_MINISAT: + return std::make_unique(*base_cnf); + case ic3_sat_backendt::MINISAT2: + case ic3_sat_backendt::CADICAL: + { + auto solver = make_cbmc_solver(sat_backend, solver_message_handler); + replay_base_cnf(*solver, false); + return std::make_unique(std::move(solver)); + } + } + + UNREACHABLE; } -IctMinisat::Solver &ic3_solvert::get_solver(std::size_t level) +ic3_query_solvert &ic3_solvert::get_solver(std::size_t level) { while(frame_solvers.size() <= level) frame_solvers.emplace_back(); auto &fs = frame_solvers[level]; if(!fs) { - fs = new_minisat_solver(); + fs = new_query_solver(); if(level == 0) for(auto l : init_units) - add_minisat_clause(*fs, {l}); + fs->add_clause({l}); for(std::size_t j = level; j < frame_clauses.size(); j++) for(const auto &cl : frame_clauses[j]) - add_minisat_clause(*fs, cl.clause); + fs->add_clause(cl.clause); } return *fs; } @@ -339,7 +491,7 @@ void ic3_solvert::add_clause(std::size_t level, const clauset &clause) for(std::size_t i = 0; i <= level && i < frame_solvers.size(); i++) if(frame_solvers[i]) - add_minisat_clause(*frame_solvers[i], new_clause.clause); + frame_solvers[i]->add_clause(new_clause.clause); frame_clauses[level].push_back(std::move(new_clause)); num_clauses_added++; @@ -419,58 +571,54 @@ void ic3_solvert::repair_init(const cubet &cube, cubet &reduced) } cubet ic3_solvert::lift( - const IctMinisat::Solver &query_solver, + ic3_query_solvert &query_solver, const cubet &full_state, const bvt &target_clause) { - auto &S = *lift_minisat; - using namespace IctMinisat; - // A tautological target cannot be lifted against. for(auto l : target_clause) if(l.is_true()) return full_state; // Activation literal for the target clause: act -> target_clause - Var act_var = S.newVar(); - Lit act = mkLit(act_var, false); + literalt act = lift_solver->new_variable(); { - vec clause; - clause.push(~act); + bvt clause; + clause.push_back(!act); for(auto l : target_clause) if(!l.is_false()) - clause.push(to_minisat(l)); - S.addClause(clause); + clause.push_back(l); + lift_solver->add_clause(clause); } // Solve with act + inputs + state as assumptions - vec assumptions; - assumptions.push(act); + bvt assumptions; + assumptions.push_back(act); for(auto l : input_lits) { - auto val = query_solver.modelValue(to_minisat(l)); - if(val == l_True) - assumptions.push(to_minisat(l)); - else if(val == l_False) - assumptions.push(to_minisat(!l)); + auto val = query_solver.l_get(l); + if(val.is_true()) + assumptions.push_back(l); + else if(val.is_false()) + assumptions.push_back(!l); } for(auto l : full_state) - assumptions.push(to_minisat(l)); + assumptions.push_back(l); num_lifts++; cubet result; - if(!S.solve(assumptions)) + if(!lift_solver->solve(assumptions)) { // UNSAT — extract minimal state from conflict for(auto l : full_state) { - if(S.conflict.has(~to_minisat(l))) + if(lift_solver->is_in_conflict(l)) result.push_back(l); } } - // Release activation literal (permanently set ~act, freeing the variable) - S.releaseVar(~act); + // Release activation literal where supported. + lift_solver->release(act); return result.empty() ? full_state : result; } @@ -492,28 +640,27 @@ bool ic3_solvert::relative_induction( } auto &S = get_solver(level); - using namespace IctMinisat; - vec assumptions; - Lit act = lit_Undef; + bvt assumptions; + literalt act; if(WITH_NEGATED_CUBE) { // Activation literal for ¬cube at timeframe 0 - act = mkLit(S.newVar()); - vec act_clause; - act_clause.push(~act); + act = S.new_variable(); + bvt act_clause; + act_clause.push_back(!act); for(auto l : cube) - act_clause.push(to_minisat(!l)); - S.addClause(act_clause); - assumptions.push(act); + act_clause.push_back(!l); + S.add_clause(act_clause); + assumptions.push_back(act); } for(auto l : cube) { literalt nl = to_next(l); if(!nl.is_true()) - assumptions.push(to_minisat(nl)); + assumptions.push_back(nl); } num_queries++; @@ -525,7 +672,7 @@ bool ic3_solvert::relative_induction( for(auto l : cube) { literalt nl = to_next(l); - if(!nl.is_true() && S.conflict.has(~to_minisat(nl))) + if(!nl.is_true() && S.is_in_conflict(nl)) core.push_back(l); } if(core.empty()) @@ -551,8 +698,8 @@ bool ic3_solvert::relative_induction( if(WITH_NEGATED_CUBE) { - // Release the activation literal - S.releaseVar(~act); + // Release the activation literal where supported. + S.release(act); } return unsat; @@ -574,9 +721,9 @@ std::optional ic3_solvert::solve_bad(std::size_t level) auto &S = get_solver(level); - IctMinisat::vec assumptions; + bvt assumptions; if(!prop_current.is_false()) - assumptions.push(to_minisat(!prop_current)); + assumptions.push_back(!prop_current); num_queries++; if(S.solve(assumptions)) @@ -711,7 +858,7 @@ bool ic3_solvert::propagate() cubet cube = negate_cube(fc.clause); bool trivially_unsat = false; - IctMinisat::vec assumptions; + bvt assumptions; for(auto l : cube) { literalt nl = to_next(l); @@ -721,7 +868,7 @@ bool ic3_solvert::propagate() break; } if(!nl.is_true()) - assumptions.push(to_minisat(nl)); + assumptions.push_back(nl); } num_queries++; @@ -735,7 +882,7 @@ bool ic3_solvert::propagate() cls.erase(it); if(i + 1 < frame_solvers.size() && frame_solvers[i + 1]) - add_minisat_clause(*frame_solvers[i + 1], fc.clause); + frame_solvers[i + 1]->add_clause(fc.clause); frame_clauses[i + 1].push_back(fc); } } diff --git a/src/new-ic3/ic3_solver.h b/src/new-ic3/ic3_solver.h index 512bc5993..b9272cf6b 100644 --- a/src/new-ic3/ic3_solver.h +++ b/src/new-ic3/ic3_solver.h @@ -33,12 +33,20 @@ clauset negate_cube(const cubet &cube); class cnft; class recording_cnft; +class ic3_query_solvert; namespace IctMinisat { class Solver; } +enum class ic3_sat_backendt +{ + ICT_MINISAT, + MINISAT2, + CADICAL +}; + struct ic3_resultt { enum class outcomet @@ -84,7 +92,8 @@ class ic3_solvert ic3_solvert( const netlistt &, literalt property_literal, - message_handlert &message_handler); + message_handlert &message_handler, + ic3_sat_backendt = ic3_sat_backendt::ICT_MINISAT); ~ic3_solvert(); @@ -123,6 +132,7 @@ class ic3_solvert std::vector latches; std::unordered_map current_to_latch; + ic3_sat_backendt sat_backend; null_message_handlert solver_message_handler; @@ -131,22 +141,22 @@ class ic3_solvert void replay_base_cnf(cnft &dest, bool with_init); - std::unique_ptr init_solver; + std::unique_ptr init_solver; std::vector init_values; bool init_is_unique_state = false; - std::unique_ptr lift_minisat; + std::unique_ptr lift_solver; bvt input_lits; - std::vector> frame_solvers; + std::vector> frame_solvers; std::vector> frame_clauses; - std::unique_ptr new_minisat_solver(); + std::unique_ptr new_query_solver(); - IctMinisat::Solver &get_solver(std::size_t level); + ic3_query_solvert &get_solver(std::size_t level); literalt prop_current; @@ -163,10 +173,10 @@ class ic3_solvert literalt to_next(literalt l) const; - cubet extract_state(const IctMinisat::Solver &); + cubet extract_state(const ic3_query_solvert &); cubet lift( - const IctMinisat::Solver &query_solver, + ic3_query_solvert &query_solver, const cubet &full_state, const bvt &target_clause); diff --git a/src/new-ic3/new_ic3_engine.cpp b/src/new-ic3/new_ic3_engine.cpp index 8bea6623a..f459160cf 100644 --- a/src/new-ic3/new_ic3_engine.cpp +++ b/src/new-ic3/new_ic3_engine.cpp @@ -15,6 +15,8 @@ Author: Daniel Kroening, dkr@amazon.com #include "new_ic3_engine.h" +#include + #include #include #include @@ -28,6 +30,73 @@ Author: Daniel Kroening, dkr@amazon.com #include "ic3_solver.h" +static const char *to_string(ic3_sat_backendt backend) +{ + switch(backend) + { + case ic3_sat_backendt::ICT_MINISAT: + return "ict-minisat"; + case ic3_sat_backendt::MINISAT2: + return "minisat2"; + case ic3_sat_backendt::CADICAL: + return "cadical"; + } + + UNREACHABLE; +} + +static std::optional +get_new_ic3_sat_backend(const cmdlinet &cmdline, messaget &message) +{ + const bool explicit_minisat = cmdline.isset("minisat"); + const bool explicit_cadical = cmdline.isset("cadical"); + + if( + !cmdline.get_value("new-ic3-sat-solver").empty() && + (explicit_minisat || explicit_cadical)) + { + message.error() << "use either --new-ic3-sat-solver or --minisat/--cadical" + << messaget::eom; + return std::nullopt; + } + + if(explicit_minisat && explicit_cadical) + { + message.error() << "use at most one of --minisat and --cadical" + << messaget::eom; + return std::nullopt; + } + + std::string backend_name = cmdline.get_value("new-ic3-sat-solver"); + if(backend_name.empty()) + { + if(explicit_cadical) + backend_name = "cadical"; + else if(explicit_minisat) + backend_name = "minisat2"; + else + backend_name = "ictminisat"; + } + + if(backend_name == "ictminisat") + return ic3_sat_backendt::ICT_MINISAT; + if(backend_name == "minisat2" || backend_name == "minisat") + return ic3_sat_backendt::MINISAT2; + if(backend_name == "cadical") + { +#ifndef SATCHECK_CADICAL + message.error() << "support for CaDiCaL not configured" << messaget::eom; + return std::nullopt; +#else + return ic3_sat_backendt::CADICAL; +#endif + } + + message.error() << "unknown new IC3 SAT backend `" << backend_name << "`" + << messaget::eom; + return std::nullopt; +} + static bool new_ic3_supports_property(const exprt &expr) { if(!is_temporal_operator(expr)) @@ -48,6 +117,9 @@ property_checker_resultt new_ic3_engine( message_handlert &message_handler) { messaget message{message_handler}; + auto sat_backend = get_new_ic3_sat_backend(cmdline, message); + if(!sat_backend.has_value()) + return property_checker_resultt::error(); if(!properties.has_unfinished_property()) return property_checker_resultt{properties}; @@ -87,6 +159,7 @@ property_checker_resultt new_ic3_engine( } message.status() << "Checking " << property.name << " with new IC3 engine" + << " (" << to_string(sat_backend.value()) << ")" << messaget::eom; // Add the property cone to a local copy of the netlist and obtain @@ -103,7 +176,8 @@ property_checker_resultt new_ic3_engine( message_handler); }(); - ic3_solvert solver{prop_netlist, prop_lit, message_handler}; + ic3_solvert solver{ + prop_netlist, prop_lit, message_handler, sat_backend.value()}; auto result = solver.solve(); // record the outcome produced by this engine