(deftest create-test (let [test (run! (assoc noop-test :name "elasticsearch" :os debian/os :db db :client (create-set-client) :model (model/set) :checker (checker/compose {:html timeline/html :set checker/set}) :nemesis isolate-self-primaries-nemesis ;:nemesis (nemesis/partition-random-node) ;:nemesis (nemesis/partition-random-halves) ;:nemesis (nemesis/partitioner nemesis/bridge) :generator (gen/phases (->> (range) (map (fn [x] {:type :invoke :f :add :value x})) gen/seq (gen/stagger 1/10) (gen/delay 1) (gen/nemesis (gen/seq (cycle [(gen/sleep 0) {:type :info :f :start} (gen/sleep 200) {:type :info :f :stop}]))) (gen/time-limit 300)) (gen/nemesis (gen/once {:type :info :f :stop})) (gen/clients (gen/once {:type :invoke :f :read})))))] (is (:valid? (:results test))) (pprint (:results test)))) Had to restart n1 and n2 in order to get the cluster to recover; it'll stay wedged indefinitely otherwise. Wooooooooo. n1: [2014-06-16 17:17:05,388][WARN ][discovery.zen ] [n1] not enough master nodes, current nodes: {[n1][EAdhHDqhSnWR9PGaU8FhXA][n1][inet[/192.168.122.11:9300]],} [2014-06-16 17:17:54,468][INFO ][discovery.zen ] [n1] master_left [[n4][ZZxPnRcVQTWfgQhgkTjkQw][n4][inet[/192.168.122.14:9300]]], reason [do not exists on master, act as master failure] n2: [2014-06-16 17:15:59,199][INFO ][discovery.zen ] [n2] master_left [[n4][ZZxPnRcVQTWfgQhgkTjkQw][n4][inet[/192.168.122.14:9300]]], reason [failed to ping, tried [3] times, each with maximum [30s] timeout] [2014-06-16 17:15:59,201][INFO ][cluster.service ] [n2] master {new [n2][_xAgr7IfR1SvHaNJqRmOgQ][n2][inet[/192.168.122.12:9300]], previous [n4][ZZxPnRcVQTWfgQhgkTjkQw][n4][inet[/192.168.122.14:9300]]}, removed {[n4][ZZxPnRcVQTWfgQhgkTjkQw][n4][inet[/192.168.122.14:9300]],}, reason: zen-disco-master_failed ([n4][ZZxPnRcVQTWfgQhgkTjkQw][n4][inet[/192.168.122.14:9300]]) [2014-06-16 17:17:59,222][WARN ][discovery.zen ] [n2] received cluster state from [[n4][ZZxPnRcVQTWfgQhgkTjkQw][n4][inet[/192.168.122.14:9300]]] which is also master but with an older cluster_state, telling [[n4][ZZxPnRcVQTWfgQhgkTjkQw][n4][inet[/192.168.122.14:9300]]] to rejoin the cluster [2014-06-16 17:17:59,224][WARN ][discovery.zen ] [n2] failed to send rejoin request to [[n4][ZZxPnRcVQTWfgQhgkTjkQw][n4][inet[/192.168.122.14:9300]]] org.elasticsearch.transport.SendRequestTransportException: [n4][inet[/192.168.122.14:9300]][discovery/zen/rejoin] at org.elasticsearch.transport.TransportService.sendRequest(TransportService.java:202) aphyr@waterhouse:~/jepsen master$ lein with-profile +elasticsearch prism Watching /home/aphyr/jepsen/elasticsearch/src /home/aphyr/jepsen/src /home/aphyr/jepsen/elasticsearch/test /home/aphyr/jepsen/test Reloading jepsen.system.elasticsearch ... done. Reloading jepsen.system.elasticsearch-test ... done. Testing jepsen.system.elasticsearch-test SLF4J: The following loggers will not work becasue they were created SLF4J: during the default configuration phase of the underlying logging system. SLF4J: See also http://www.slf4j.org/codes.html#substituteLogger SLF4J: clj-ssh.ssh INFO jepsen.os.debian - :n5 setting up debian INFO jepsen.os.debian - :n3 setting up debian INFO jepsen.os.debian - :n1 setting up debian INFO jepsen.os.debian - :n2 setting up debian INFO jepsen.os.debian - :n4 setting up debian INFO jepsen.os.debian - :n4 debian set up INFO jepsen.os.debian - :n5 debian set up INFO jepsen.os.debian - :n1 debian set up INFO jepsen.os.debian - :n3 debian set up INFO jepsen.os.debian - :n2 debian set up INFO jepsen.system.elasticsearch - :n5 elasticsearch nuked INFO jepsen.system.elasticsearch - :n4 elasticsearch nuked INFO jepsen.system.elasticsearch - :n1 elasticsearch nuked INFO jepsen.system.elasticsearch - :n2 elasticsearch nuked INFO jepsen.system.elasticsearch - :n3 elasticsearch nuked INFO jepsen.system.elasticsearch - :n5 configuring elasticsearch INFO jepsen.system.elasticsearch - :n4 configuring elasticsearch INFO jepsen.system.elasticsearch - :n2 configuring elasticsearch INFO jepsen.system.elasticsearch - :n1 configuring elasticsearch INFO jepsen.system.elasticsearch - :n3 configuring elasticsearch INFO jepsen.system.elasticsearch - :n5 starting elasticsearch INFO jepsen.system.elasticsearch - :n2 starting elasticsearch INFO jepsen.system.elasticsearch - :n4 starting elasticsearch INFO jepsen.system.elasticsearch - :n3 starting elasticsearch INFO jepsen.system.elasticsearch - :n1 starting elasticsearch INFO jepsen.system.elasticsearch - :n5 elasticsearch ready INFO jepsen.system.elasticsearch - :n3 elasticsearch ready INFO jepsen.system.elasticsearch - :n1 elasticsearch ready INFO jepsen.system.elasticsearch - :n4 elasticsearch ready INFO jepsen.system.elasticsearch - :n2 elasticsearch ready INFO jepsen.core - Worker 0 starting INFO jepsen.core - Worker 2 starting INFO jepsen.core - Worker 3 starting INFO jepsen.core - Worker 4 starting INFO jepsen.core - Worker 1 starting INFO jepsen.util - :nemesis :info :start nil INFO jepsen.util - 3 :invoke :add 0 INFO jepsen.util - 0 :invoke :add 1 INFO jepsen.util - 1 :invoke :add 2 INFO jepsen.util - 4 :invoke :add 3 INFO jepsen.util - 2 :invoke :add 4 INFO jepsen.util - 3 :ok :add 0 INFO jepsen.util - 1 :ok :add 2 INFO jepsen.util - 0 :ok :add 1 INFO jepsen.util - 2 :ok :add 4 INFO jepsen.util - 4 :ok :add 3 INFO jepsen.util - :nemesis :info :start "Cut off {:n1 #{:n3 :n4 :n2 :n5}, :n5 #{:n1}, :n2 #{:n1}, :n4 #{:n1}, :n3 #{:n1}}" INFO jepsen.util - 4 :invoke :add 5 INFO jepsen.util - 0 :invoke :add 6 INFO jepsen.util - 2 :invoke :add 7 INFO jepsen.util - 4 :ok :add 5 INFO jepsen.util - 3 :invoke :add 8 INFO jepsen.util - 1 :invoke :add 9 INFO jepsen.util - 1 :ok :add 9 INFO jepsen.util - 4 :invoke :add 10 INFO jepsen.util - 1 :invoke :add 11 INFO jepsen.util - 0 :info :add :timed-out INFO jepsen.util - 2 :info :add :timed-out INFO jepsen.util - 3 :info :add :timed-out INFO jepsen.util - 4 :info :add :timed-out INFO jepsen.util - 7 :invoke :add 12 INFO jepsen.util - 8 :invoke :add 13 INFO jepsen.util - 5 :invoke :add 14 INFO jepsen.util - 8 :ok :add 13 INFO jepsen.util - 1 :info :add :timed-out INFO jepsen.util - 9 :invoke :add 15 INFO jepsen.util - 8 :invoke :add 16 INFO jepsen.util - 8 :ok :add 16 INFO jepsen.util - 6 :invoke :add 17 INFO jepsen.util - 6 :ok :add 17 INFO jepsen.util - 8 :invoke :add 18 INFO jepsen.util - 8 :ok :add 18 INFO jepsen.util - 6 :invoke :add 19 INFO jepsen.util - 6 :ok :add 19 INFO jepsen.util - 8 :invoke :add 20 INFO jepsen.util - 8 :ok :add 20 INFO jepsen.util - 6 :invoke :add 21 INFO jepsen.util - 8 :invoke :add 22 INFO jepsen.util - 8 :ok :add 22 INFO jepsen.util - 7 :info :add :timed-out INFO jepsen.util - 5 :info :add :timed-out INFO jepsen.util - 8 :invoke :add 23 INFO jepsen.util - 8 :ok :add 23 INFO jepsen.util - 9 :info :add :timed-out INFO jepsen.util - 12 :invoke :add 24 INFO jepsen.util - 10 :invoke :add 25 INFO jepsen.util - 8 :invoke :add 26 INFO jepsen.util - 14 :invoke :add 27 INFO jepsen.util - 6 :info :add :timed-out INFO jepsen.util - 11 :invoke :add 28 INFO jepsen.util - 11 :ok :add 28 INFO jepsen.util - 11 :invoke :add 29 INFO jepsen.util - 12 :info :add :timed-out INFO jepsen.util - 10 :info :add :timed-out INFO jepsen.util - 8 :info :add :timed-out INFO jepsen.util - 14 :info :add :timed-out INFO jepsen.util - 17 :invoke :add 30 INFO jepsen.util - 15 :invoke :add 31 INFO jepsen.util - 13 :invoke :add 32 INFO jepsen.util - 19 :invoke :add 33 INFO jepsen.util - 11 :info :add :timed-out INFO jepsen.util - 16 :invoke :add 34 INFO jepsen.util - 17 :info :add :timed-out INFO jepsen.util - 15 :info :add :timed-out INFO jepsen.util - 13 :info :add :timed-out INFO jepsen.util - 19 :info :add :timed-out INFO jepsen.util - 22 :invoke :add 35 INFO jepsen.util - 20 :invoke :add 36 INFO jepsen.util - 18 :invoke :add 37 INFO jepsen.util - 18 :ok :add 37 INFO jepsen.util - 24 :invoke :add 38 INFO jepsen.util - 18 :invoke :add 39 INFO jepsen.util - 18 :ok :add 39 INFO jepsen.util - 18 :invoke :add 40 INFO jepsen.util - 18 :ok :add 40 INFO jepsen.util - 16 :info :add :timed-out INFO jepsen.util - 18 :invoke :add 41 INFO jepsen.util - 21 :invoke :add 42 INFO jepsen.util - 21 :ok :add 42 INFO jepsen.util - 22 :info :add :timed-out INFO jepsen.util - 20 :info :add :timed-out INFO jepsen.util - 21 :invoke :add 43 INFO jepsen.util - 27 :invoke :add 44 INFO jepsen.util - 24 :info :add :timed-out INFO jepsen.util - 25 :invoke :add 45 INFO jepsen.util - 29 :invoke :add 46 INFO jepsen.util - 18 :info :add :timed-out INFO jepsen.util - 23 :invoke :add 47 INFO jepsen.util - 21 :info :add :timed-out INFO jepsen.util - 27 :info :add :timed-out INFO jepsen.util - 25 :info :add :timed-out INFO jepsen.util - 26 :invoke :add 48 INFO jepsen.util - 29 :info :add :timed-out INFO jepsen.util - 32 :invoke :add 49 INFO jepsen.util - 30 :invoke :add 50 INFO jepsen.util - 34 :invoke :add 51 INFO jepsen.util - 23 :info :add :timed-out INFO jepsen.util - 28 :invoke :add 52 INFO jepsen.util - 28 :ok :add 52 INFO jepsen.util - 28 :invoke :add 53 INFO jepsen.util - 26 :info :add :timed-out INFO jepsen.util - 32 :info :add :timed-out INFO jepsen.util - 30 :info :add :timed-out INFO jepsen.util - 31 :invoke :add 54 INFO jepsen.util - 31 :ok :add 54 INFO jepsen.util - 34 :info :add :timed-out INFO jepsen.util - 37 :invoke :add 55 INFO jepsen.util - 35 :invoke :add 56 INFO jepsen.util - 31 :invoke :add 57 INFO jepsen.util - 39 :invoke :add 58 INFO jepsen.util - 39 :ok :add 58 INFO jepsen.util - 39 :invoke :add 59 INFO jepsen.util - 28 :info :add :timed-out INFO jepsen.util - 33 :invoke :add 60 INFO jepsen.util - 37 :info :add :timed-out INFO jepsen.util - 35 :info :add :timed-out INFO jepsen.util - 31 :info :add :timed-out INFO jepsen.util - 42 :invoke :add 61 INFO jepsen.util - 40 :invoke :add 62 INFO jepsen.util - 36 :invoke :add 63 INFO jepsen.util - 36 :ok :add 63 INFO jepsen.util - 39 :info :add :timed-out INFO jepsen.util - 44 :invoke :add 64 INFO jepsen.util - 36 :invoke :add 65 INFO jepsen.util - 44 :ok :add 64 INFO jepsen.util - 36 :ok :add 65 INFO jepsen.util - 44 :invoke :add 66 INFO jepsen.util - 44 :ok :add 66 INFO jepsen.util - 36 :invoke :add 67 INFO jepsen.util - 33 :info :add :timed-out INFO jepsen.util - 44 :invoke :add 68 INFO jepsen.util - 38 :invoke :add 69 INFO jepsen.util - 42 :info :add :timed-out INFO jepsen.util - 40 :info :add :timed-out INFO jepsen.util - 47 :invoke :add 70 INFO jepsen.util - 45 :invoke :add 71 INFO jepsen.util - 36 :info :add :timed-out INFO jepsen.util - 41 :invoke :add 72 INFO jepsen.util - 44 :info :add :timed-out INFO jepsen.util - 38 :info :add :timed-out INFO jepsen.util - 49 :invoke :add 73 INFO jepsen.util - 49 :ok :add 73 INFO jepsen.util - 43 :invoke :add 74 INFO jepsen.util - 43 :ok :add 74 INFO jepsen.util - 47 :info :add :timed-out INFO jepsen.util - 45 :info :add :timed-out INFO jepsen.util - 49 :invoke :add 75 INFO jepsen.util - 52 :invoke :add 76 INFO jepsen.util - 43 :invoke :add 77 INFO jepsen.util - 50 :invoke :add 78 INFO jepsen.util - 41 :info :add :timed-out INFO jepsen.util - 46 :invoke :add 79 INFO jepsen.util - 49 :info :add :timed-out INFO jepsen.util - 52 :info :add :timed-out INFO jepsen.util - 43 :info :add :timed-out INFO jepsen.util - 50 :info :add :timed-out INFO jepsen.util - 54 :invoke :add 80 INFO jepsen.util - 57 :invoke :add 81 INFO jepsen.util - 48 :invoke :add 82 INFO jepsen.util - 48 :ok :add 82 INFO jepsen.util - 55 :invoke :add 83 INFO jepsen.util - 48 :invoke :add 84 INFO jepsen.util - 48 :ok :add 84 INFO jepsen.util - 46 :info :add :timed-out INFO jepsen.util - 48 :invoke :add 85 INFO jepsen.util - 48 :ok :add 85 INFO jepsen.util - 51 :invoke :add 86 INFO jepsen.util - 48 :invoke :add 87 INFO jepsen.util - 54 :info :add :timed-out INFO jepsen.util - 57 :info :add :timed-out INFO jepsen.util - 55 :info :add :timed-out INFO jepsen.util - 59 :invoke :add 88 INFO jepsen.util - 59 :ok :add 88 INFO jepsen.util - 62 :invoke :add 89 INFO jepsen.util - 62 :ok :add 89 INFO jepsen.util - 60 :invoke :add 90 INFO jepsen.util - 59 :invoke :add 91 INFO jepsen.util - 62 :invoke :add 92 INFO jepsen.util - 51 :info :add :timed-out INFO jepsen.util - 48 :info :add :timed-out INFO jepsen.util - 56 :invoke :add 93 INFO jepsen.util - 53 :invoke :add 94 INFO jepsen.util - 60 :info :add :timed-out INFO jepsen.util - 59 :info :add :timed-out INFO jepsen.util - 62 :info :add :timed-out INFO jepsen.util - 65 :invoke :add 95 INFO jepsen.util - 64 :invoke :add 96 INFO jepsen.util - 67 :invoke :add 97 INFO jepsen.util - 56 :info :add :timed-out INFO jepsen.util - 53 :info :add :timed-out INFO jepsen.util - 61 :invoke :add 98 INFO jepsen.util - 58 :invoke :add 99 INFO jepsen.util - 65 :info :add :timed-out INFO jepsen.util - 64 :info :add :timed-out INFO jepsen.util - 67 :info :add :timed-out INFO jepsen.util - 70 :invoke :add 100 INFO jepsen.util - 69 :invoke :add 101 INFO jepsen.util - 72 :invoke :add 102 INFO jepsen.util - 61 :info :add :timed-out INFO jepsen.util - 58 :info :add :timed-out INFO jepsen.util - 66 :invoke :add 103 INFO jepsen.util - 63 :invoke :add 104 INFO jepsen.util - 66 :ok :add 103 INFO jepsen.util - 63 :ok :add 104 INFO jepsen.util - 69 :ok :add 101 INFO jepsen.util - 72 :ok :add 102 INFO jepsen.util - 70 :info :add :timed-out INFO jepsen.util - 66 :invoke :add 105 INFO jepsen.util - 66 :ok :add 105 INFO jepsen.util - 63 :invoke :add 106 INFO jepsen.util - 63 :ok :add 106 INFO jepsen.util - 72 :invoke :add 107 INFO jepsen.util - 72 :ok :add 107 INFO jepsen.util - 69 :invoke :add 108 INFO jepsen.util - 69 :ok :add 108 INFO jepsen.util - 75 :invoke :add 109 INFO jepsen.util - 66 :invoke :add 110 INFO jepsen.util - 66 :ok :add 110 INFO jepsen.util - 72 :invoke :add 111 INFO jepsen.util - 63 :invoke :add 112 INFO jepsen.util - 72 :ok :add 111 INFO jepsen.util - 63 :ok :add 112 INFO jepsen.util - 69 :invoke :add 113 INFO jepsen.util - 69 :ok :add 113 INFO jepsen.util - 66 :invoke :add 114 INFO jepsen.util - 66 :ok :add 114 INFO jepsen.util - 63 :invoke :add 115 INFO jepsen.util - 72 :invoke :add 116 INFO jepsen.util - 63 :ok :add 115 INFO jepsen.util - 72 :ok :add 116 INFO jepsen.util - 69 :invoke :add 117 INFO jepsen.util - 69 :ok :add 117 INFO jepsen.util - 66 :invoke :add 118 INFO jepsen.util - 66 :ok :add 118 INFO jepsen.util - 63 :invoke :add 119 INFO jepsen.util - 72 :invoke :add 120 INFO jepsen.util - 63 :ok :add 119 INFO jepsen.util - 72 :ok :add 120 INFO jepsen.util - 69 :invoke :add 121 INFO jepsen.util - 69 :ok :add 121 INFO jepsen.util - 66 :invoke :add 122 INFO jepsen.util - 66 :ok :add 122 INFO jepsen.util - 72 :invoke :add 123 INFO jepsen.util - 72 :ok :add 123 INFO jepsen.util - 69 :invoke :add 124 INFO jepsen.util - 69 :ok :add 124 INFO jepsen.util - 63 :invoke :add 125 INFO jepsen.util - 63 :ok :add 125 INFO jepsen.util - 66 :invoke :add 126 INFO jepsen.util - 66 :ok :add 126 INFO jepsen.util - 69 :invoke :add 127 INFO jepsen.util - 69 :ok :add 127 INFO jepsen.util - 72 :invoke :add 128 INFO jepsen.util - 72 :ok :add 128 INFO jepsen.util - 75 :info :add :timed-out INFO jepsen.util - 63 :invoke :add 129 INFO jepsen.util - 63 :ok :add 129 INFO jepsen.util - 66 :invoke :add 130 INFO jepsen.util - 66 :ok :add 130 INFO jepsen.util - 69 :invoke :add 131 INFO jepsen.util - 69 :ok :add 131 INFO jepsen.util - 80 :invoke :add 132 INFO jepsen.util - 63 :invoke :add 133 INFO jepsen.util - 72 :invoke :add 134 INFO jepsen.util - 63 :ok :add 133 INFO jepsen.util - 72 :ok :add 134 INFO jepsen.util - 66 :invoke :add 135 INFO jepsen.util - 66 :ok :add 135 INFO jepsen.util - 69 :invoke :add 136 INFO jepsen.util - 69 :ok :add 136 INFO jepsen.util - 63 :invoke :add 137 INFO jepsen.util - 63 :ok :add 137 INFO jepsen.util - 72 :invoke :add 138 INFO jepsen.util - 72 :ok :add 138 INFO jepsen.util - 66 :invoke :add 139 INFO jepsen.util - 66 :ok :add 139 INFO jepsen.util - 69 :invoke :add 140 INFO jepsen.util - 69 :ok :add 140 INFO jepsen.util - 72 :invoke :add 141 INFO jepsen.util - 72 :ok :add 141 INFO jepsen.util - 63 :invoke :add 142 INFO jepsen.util - 63 :ok :add 142 INFO jepsen.util - 66 :invoke :add 143 INFO jepsen.util - 66 :ok :add 143 INFO jepsen.util - 69 :invoke :add 144 INFO jepsen.util - 69 :ok :add 144 INFO jepsen.util - 72 :invoke :add 145 INFO jepsen.util - 72 :ok :add 145 INFO jepsen.util - 63 :invoke :add 146 INFO jepsen.util - 63 :ok :add 146 INFO jepsen.util - 66 :invoke :add 147 INFO jepsen.util - 66 :ok :add 147 INFO jepsen.util - 69 :invoke :add 148 INFO jepsen.util - 69 :ok :add 148 INFO jepsen.util - 72 :invoke :add 149 INFO jepsen.util - 72 :ok :add 149 INFO jepsen.util - 63 :invoke :add 150 INFO jepsen.util - 63 :ok :add 150 INFO jepsen.util - 80 :info :add :timed-out INFO jepsen.util - 66 :invoke :add 151 INFO jepsen.util - 66 :ok :add 151 INFO jepsen.util - 72 :invoke :add 152 INFO jepsen.util - 72 :ok :add 152 INFO jepsen.util - 69 :invoke :add 153 INFO jepsen.util - 69 :ok :add 153 INFO jepsen.util - 63 :invoke :add 154 INFO jepsen.util - 63 :ok :add 154 INFO jepsen.util - 85 :invoke :add 155 INFO jepsen.util - 66 :invoke :add 156 INFO jepsen.util - 66 :ok :add 156 INFO jepsen.util - 72 :invoke :add 157 INFO jepsen.util - 72 :ok :add 157 INFO jepsen.util - 69 :invoke :add 158 INFO jepsen.util - 69 :ok :add 158 INFO jepsen.util - 63 :invoke :add 159 INFO jepsen.util - 63 :ok :add 159 INFO jepsen.util - 66 :invoke :add 160 INFO jepsen.util - 66 :ok :add 160 INFO jepsen.util - 72 :invoke :add 161 INFO jepsen.util - 72 :ok :add 161 INFO jepsen.util - 69 :invoke :add 162 INFO jepsen.util - 69 :ok :add 162 INFO jepsen.util - 63 :invoke :add 163 INFO jepsen.util - 63 :ok :add 163 INFO jepsen.util - 66 :invoke :add 164 INFO jepsen.util - 66 :ok :add 164 INFO jepsen.util - 72 :invoke :add 165 INFO jepsen.util - 72 :ok :add 165 INFO jepsen.util - 69 :invoke :add 166 INFO jepsen.util - 69 :ok :add 166 INFO jepsen.util - 63 :invoke :add 167 INFO jepsen.util - 63 :ok :add 167 INFO jepsen.util - 66 :invoke :add 168 INFO jepsen.util - 66 :ok :add 168 INFO jepsen.util - 72 :invoke :add 169 INFO jepsen.util - 69 :invoke :add 170 INFO jepsen.util - 72 :ok :add 169 INFO jepsen.util - 69 :ok :add 170 INFO jepsen.util - 63 :invoke :add 171 INFO jepsen.util - 63 :ok :add 171 INFO jepsen.util - 66 :invoke :add 172 INFO jepsen.util - 66 :ok :add 172 INFO jepsen.util - 85 :info :add :timed-out INFO jepsen.util - 72 :invoke :add 173 INFO jepsen.util - 72 :ok :add 173 INFO jepsen.util - 69 :invoke :add 174 INFO jepsen.util - 69 :ok :add 174 INFO jepsen.util - 63 :invoke :add 175 INFO jepsen.util - 63 :ok :add 175 INFO jepsen.util - 66 :invoke :add 176 INFO jepsen.util - 66 :ok :add 176 INFO jepsen.util - 90 :invoke :add 177 INFO jepsen.util - 72 :invoke :add 178 INFO jepsen.util - 72 :ok :add 178 INFO jepsen.util - 69 :invoke :add 179 INFO jepsen.util - 69 :ok :add 179 INFO jepsen.util - 63 :invoke :add 180 INFO jepsen.util - 63 :ok :add 180 INFO jepsen.util - 66 :invoke :add 181 INFO jepsen.util - 66 :ok :add 181 INFO jepsen.util - 72 :invoke :add 182 INFO jepsen.util - 69 :invoke :add 183 INFO jepsen.util - 72 :ok :add 182 INFO jepsen.util - 69 :ok :add 183 INFO jepsen.util - 63 :invoke :add 184 INFO jepsen.util - 63 :ok :add 184 INFO jepsen.util - 66 :invoke :add 185 INFO jepsen.util - 66 :ok :add 185 INFO jepsen.util - 69 :invoke :add 186 INFO jepsen.util - 69 :ok :add 186 INFO jepsen.util - 63 :invoke :add 187 INFO jepsen.util - 63 :ok :add 187 INFO jepsen.util - 72 :invoke :add 188 INFO jepsen.util - 72 :ok :add 188 INFO jepsen.util - 66 :invoke :add 189 INFO jepsen.util - 66 :ok :add 189 INFO jepsen.util - 63 :invoke :add 190 INFO jepsen.util - 69 :invoke :add 191 INFO jepsen.util - 63 :ok :add 190 INFO jepsen.util - 69 :ok :add 191 INFO jepsen.util - 72 :invoke :add 192 INFO jepsen.util - 72 :ok :add 192 INFO jepsen.util - 66 :invoke :add 193 INFO jepsen.util - 66 :ok :add 193 INFO jepsen.util - 69 :invoke :add 194 INFO jepsen.util - 69 :ok :add 194 INFO jepsen.util - 63 :invoke :add 195 INFO jepsen.util - 72 :invoke :add 196 INFO jepsen.util - 63 :ok :add 195 INFO jepsen.util - 72 :ok :add 196 INFO jepsen.util - 90 :info :add :timed-out INFO jepsen.util - 66 :invoke :add 197 INFO jepsen.util - 66 :ok :add 197 INFO jepsen.util - 69 :invoke :add 198 INFO jepsen.util - 69 :ok :add 198 INFO jepsen.util - 72 :invoke :add 199 INFO jepsen.util - 63 :invoke :add 200 INFO jepsen.util - 72 :ok :add 199 INFO jepsen.util - 63 :ok :add 200 INFO jepsen.util - 95 :invoke :add 201 INFO jepsen.util - 66 :invoke :add 202 INFO jepsen.util - 66 :ok :add 202 INFO jepsen.util - 63 :invoke :add 203 INFO jepsen.util - 63 :ok :add 203 INFO jepsen.util - 72 :invoke :add 204 INFO jepsen.util - 69 :invoke :add 205 INFO jepsen.util - 72 :ok :add 204 INFO jepsen.util - 69 :ok :add 205 INFO jepsen.util - 66 :invoke :add 206 INFO jepsen.util - 66 :ok :add 206 INFO jepsen.util - 63 :invoke :add 207 INFO jepsen.util - 69 :invoke :add 208 INFO jepsen.util - 63 :ok :add 207 INFO jepsen.util - 69 :ok :add 208 INFO jepsen.util - 72 :invoke :add 209 INFO jepsen.util - 72 :ok :add 209 INFO jepsen.util - 66 :invoke :add 210 INFO jepsen.util - 66 :ok :add 210 INFO jepsen.util - 69 :invoke :add 211 INFO jepsen.util - 63 :invoke :add 212 INFO jepsen.util - 69 :ok :add 211 INFO jepsen.util - 63 :ok :add 212 INFO jepsen.util - 72 :invoke :add 213 INFO jepsen.util - 72 :ok :add 213 INFO jepsen.util - 66 :invoke :add 214 INFO jepsen.util - 66 :ok :add 214 INFO jepsen.util - 63 :invoke :add 215 INFO jepsen.util - 63 :ok :add 215 INFO jepsen.util - 69 :invoke :add 216 INFO jepsen.util - 69 :ok :add 216 INFO jepsen.util - 72 :invoke :add 217 INFO jepsen.util - 72 :ok :add 217 INFO jepsen.util - 95 :info :add :timed-out INFO jepsen.util - 66 :invoke :add 218 INFO jepsen.util - 66 :ok :add 218 INFO jepsen.util - 63 :invoke :add 219 INFO jepsen.util - 63 :ok :add 219 INFO jepsen.util - 69 :invoke :add 220 INFO jepsen.util - 69 :ok :add 220 INFO jepsen.util - 72 :invoke :add 221 INFO jepsen.util - 72 :ok :add 221 INFO jepsen.util - 100 :invoke :add 222 INFO jepsen.util - 66 :invoke :add 223 INFO jepsen.util - 66 :ok :add 223 INFO jepsen.util - 63 :invoke :add 224 INFO jepsen.util - 63 :ok :add 224 INFO jepsen.util - 69 :invoke :add 225 INFO jepsen.util - 69 :ok :add 225 INFO jepsen.util - 72 :invoke :add 226 INFO jepsen.util - 72 :ok :add 226 INFO jepsen.util - 66 :invoke :add 227 INFO jepsen.util - 66 :ok :add 227 INFO jepsen.util - 63 :invoke :add 228 INFO jepsen.util - 63 :ok :add 228 INFO jepsen.util - 69 :invoke :add 229 INFO jepsen.util - 72 :invoke :add 230 INFO jepsen.util - 69 :ok :add 229 INFO jepsen.util - 72 :ok :add 230 INFO jepsen.util - 66 :invoke :add 231 INFO jepsen.util - 66 :ok :add 231 INFO jepsen.util - 63 :invoke :add 232 INFO jepsen.util - 63 :ok :add 232 INFO jepsen.util - 72 :invoke :add 233 INFO jepsen.util - 72 :ok :add 233 INFO jepsen.util - 69 :invoke :add 234 INFO jepsen.util - 69 :ok :add 234 INFO jepsen.util - 66 :invoke :add 235 INFO jepsen.util - 66 :ok :add 235 INFO jepsen.util - 63 :invoke :add 236 INFO jepsen.util - 63 :ok :add 236 INFO jepsen.util - 72 :invoke :add 237 INFO jepsen.util - 69 :invoke :add 238 INFO jepsen.util - 72 :ok :add 237 INFO jepsen.util - 69 :ok :add 238 INFO jepsen.util - 66 :invoke :add 239 INFO jepsen.util - 66 :ok :add 239 INFO jepsen.util - 100 :info :add :timed-out INFO jepsen.util - 63 :invoke :add 240 INFO jepsen.util - 63 :ok :add 240 INFO jepsen.util - 72 :invoke :add 241 INFO jepsen.util - 72 :ok :add 241 INFO jepsen.util - 69 :invoke :add 242 INFO jepsen.util - 69 :ok :add 242 INFO jepsen.util - 66 :invoke :add 243 INFO jepsen.util - 66 :ok :add 243 INFO jepsen.util - 105 :invoke :add 244 INFO jepsen.util - 63 :invoke :add 245 INFO jepsen.util - 63 :ok :add 245 INFO jepsen.util - 72 :invoke :add 246 INFO jepsen.util - 72 :ok :add 246 INFO jepsen.util - 69 :invoke :add 247 INFO jepsen.util - 69 :ok :add 247 INFO jepsen.util - 66 :invoke :add 248 INFO jepsen.util - 66 :ok :add 248 INFO jepsen.util - 63 :invoke :add 249 INFO jepsen.util - 63 :ok :add 249 INFO jepsen.util - 69 :invoke :add 250 INFO jepsen.util - 69 :ok :add 250 INFO jepsen.util - 72 :invoke :add 251 INFO jepsen.util - 72 :ok :add 251 INFO jepsen.util - 66 :invoke :add 252 INFO jepsen.util - 66 :ok :add 252 INFO jepsen.util - 63 :invoke :add 253 INFO jepsen.util - 63 :ok :add 253 INFO jepsen.util - 72 :invoke :add 254 INFO jepsen.util - 72 :ok :add 254 INFO jepsen.util - 69 :invoke :add 255 INFO jepsen.util - 69 :ok :add 255 INFO jepsen.util - 66 :invoke :add 256 INFO jepsen.util - 66 :ok :add 256 INFO jepsen.util - 72 :invoke :add 257 INFO jepsen.util - 72 :ok :add 257 INFO jepsen.util - 63 :invoke :add 258 INFO jepsen.util - 63 :ok :add 258 INFO jepsen.util - 69 :invoke :add 259 INFO jepsen.util - 69 :ok :add 259 INFO jepsen.util - 66 :invoke :add 260 INFO jepsen.util - 66 :ok :add 260 INFO jepsen.util - 63 :invoke :add 261 INFO jepsen.util - 63 :ok :add 261 INFO jepsen.util - 72 :invoke :add 262 INFO jepsen.util - 72 :ok :add 262 INFO jepsen.util - 69 :invoke :add 263 INFO jepsen.util - 69 :ok :add 263 INFO jepsen.util - 105 :info :add :timed-out INFO jepsen.util - 66 :invoke :add 264 INFO jepsen.util - 66 :ok :add 264 INFO jepsen.util - 63 :invoke :add 265 INFO jepsen.util - 63 :ok :add 265 INFO jepsen.util - 69 :invoke :add 266 INFO jepsen.util - 72 :invoke :add 267 INFO jepsen.util - 69 :ok :add 266 INFO jepsen.util - 72 :ok :add 267 INFO jepsen.util - 110 :invoke :add 268 INFO jepsen.util - 66 :invoke :add 269 INFO jepsen.util - 66 :ok :add 269 INFO jepsen.util - 63 :invoke :add 270 INFO jepsen.util - 63 :ok :add 270 INFO jepsen.util - 72 :invoke :add 271 INFO jepsen.util - 72 :ok :add 271 INFO jepsen.util - 69 :invoke :add 272 INFO jepsen.util - 69 :ok :add 272 INFO jepsen.util - 66 :invoke :add 273 INFO jepsen.util - 66 :ok :add 273 INFO jepsen.util - 63 :invoke :add 274 INFO jepsen.util - 63 :ok :add 274 INFO jepsen.util - 72 :invoke :add 275 INFO jepsen.util - 72 :ok :add 275 INFO jepsen.util - 69 :invoke :add 276 INFO jepsen.util - 69 :ok :add 276 INFO jepsen.util - 66 :invoke :add 277 INFO jepsen.util - 66 :ok :add 277 INFO jepsen.util - 63 :invoke :add 278 INFO jepsen.util - 63 :ok :add 278 INFO jepsen.util - 69 :invoke :add 279 INFO jepsen.util - 69 :ok :add 279 INFO jepsen.util - 72 :invoke :add 280 INFO jepsen.util - 72 :ok :add 280 INFO jepsen.util - 66 :invoke :add 281 INFO jepsen.util - 66 :ok :add 281 INFO jepsen.util - 63 :invoke :add 282 INFO jepsen.util - 63 :ok :add 282 INFO jepsen.util - 72 :invoke :add 283 INFO jepsen.util - 69 :invoke :add 284 INFO jepsen.util - 72 :ok :add 283 INFO jepsen.util - 69 :ok :add 284 INFO jepsen.util - 66 :invoke :add 285 INFO jepsen.util - 66 :ok :add 285 INFO jepsen.util - 63 :invoke :add 286 INFO jepsen.util - 110 :info :add :timed-out INFO jepsen.util - 63 :ok :add 286 INFO jepsen.util - 69 :invoke :add 287 INFO jepsen.util - 72 :invoke :add 288 INFO jepsen.util - 69 :ok :add 287 INFO jepsen.util - 72 :ok :add 288 INFO jepsen.util - 66 :invoke :add 289 INFO jepsen.util - 66 :ok :add 289 INFO jepsen.util - 115 :invoke :add 290 INFO jepsen.util - 63 :invoke :add 291 INFO jepsen.util - 63 :ok :add 291 INFO jepsen.util - 69 :invoke :add 292 INFO jepsen.util - 72 :invoke :add 293 INFO jepsen.util - 72 :ok :add 293 INFO jepsen.util - 69 :ok :add 292 INFO jepsen.util - 66 :invoke :add 294 INFO jepsen.util - 66 :ok :add 294 INFO jepsen.util - 63 :invoke :add 295 INFO jepsen.util - 63 :ok :add 295 INFO jepsen.util - 69 :invoke :add 296 INFO jepsen.util - 69 :ok :add 296 INFO jepsen.util - 72 :invoke :add 297 INFO jepsen.util - 72 :ok :add 297 INFO jepsen.util - 66 :invoke :add 298 INFO jepsen.util - 66 :ok :add 298 INFO jepsen.util - 63 :invoke :add 299 INFO jepsen.util - 69 :invoke :add 300 INFO jepsen.util - 63 :ok :add 299 INFO jepsen.util - 69 :ok :add 300 INFO jepsen.util - 72 :invoke :add 301 INFO jepsen.util - 72 :ok :add 301 INFO jepsen.util - 66 :invoke :add 302 INFO jepsen.util - 66 :ok :add 302 INFO jepsen.util - 63 :invoke :add 303 INFO jepsen.util - 63 :ok :add 303 INFO jepsen.util - 72 :invoke :add 304 INFO jepsen.util - 72 :ok :add 304 INFO jepsen.util - 69 :invoke :add 305 INFO jepsen.util - 69 :ok :add 305 INFO jepsen.util - 66 :invoke :add 306 INFO jepsen.util - 66 :ok :add 306 INFO jepsen.util - 63 :invoke :add 307 INFO jepsen.util - 63 :ok :add 307 INFO jepsen.util - 72 :invoke :add 308 INFO jepsen.util - 69 :invoke :add 309 INFO jepsen.util - 72 :ok :add 308 INFO jepsen.util - 69 :ok :add 309 INFO jepsen.util - 115 :info :add :timed-out INFO jepsen.util - 66 :invoke :add 310 INFO jepsen.util - 66 :ok :add 310 INFO jepsen.util - 63 :invoke :add 311 INFO jepsen.util - 63 :ok :add 311 INFO jepsen.util - 69 :invoke :add 312 INFO jepsen.util - 69 :ok :add 312 INFO jepsen.util - 72 :invoke :add 313 INFO jepsen.util - 72 :ok :add 313 INFO jepsen.util - 120 :invoke :add 314 INFO jepsen.util - 66 :invoke :add 315 INFO jepsen.util - 66 :ok :add 315 INFO jepsen.util - 63 :invoke :add 316 INFO jepsen.util - 63 :ok :add 316 INFO jepsen.util - 72 :invoke :add 317 INFO jepsen.util - 72 :ok :add 317 INFO jepsen.util - 69 :invoke :add 318 INFO jepsen.util - 69 :ok :add 318 INFO jepsen.util - 66 :invoke :add 319 INFO jepsen.util - 66 :ok :add 319 INFO jepsen.util - 63 :invoke :add 320 INFO jepsen.util - 63 :ok :add 320 INFO jepsen.util - 69 :invoke :add 321 INFO jepsen.util - 69 :ok :add 321 INFO jepsen.util - 72 :invoke :add 322 INFO jepsen.util - 72 :ok :add 322 INFO jepsen.util - 66 :invoke :add 323 INFO jepsen.util - 66 :ok :add 323 INFO jepsen.util - 63 :invoke :add 324 INFO jepsen.util - 72 :invoke :add 325 INFO jepsen.util - 63 :ok :add 324 INFO jepsen.util - 72 :ok :add 325 INFO jepsen.util - 69 :invoke :add 326 INFO jepsen.util - 69 :ok :add 326 INFO jepsen.util - 66 :invoke :add 327 INFO jepsen.util - 66 :ok :add 327 INFO jepsen.util - 72 :invoke :add 328 INFO jepsen.util - 72 :ok :add 328 INFO jepsen.util - 63 :invoke :add 329 INFO jepsen.util - 63 :ok :add 329 INFO jepsen.util - 69 :invoke :add 330 INFO jepsen.util - 69 :ok :add 330 INFO jepsen.util - 66 :invoke :add 331 INFO jepsen.util - 66 :ok :add 331 INFO jepsen.util - 120 :info :add :timed-out INFO jepsen.util - 72 :invoke :add 332 INFO jepsen.util - 63 :invoke :add 333 INFO jepsen.util - 72 :ok :add 332 INFO jepsen.util - 63 :ok :add 333 INFO jepsen.util - 69 :invoke :add 334 INFO jepsen.util - 69 :ok :add 334 INFO jepsen.util - 66 :invoke :add 335 INFO jepsen.util - 66 :ok :add 335 INFO jepsen.util - 72 :invoke :add 336 INFO jepsen.util - 72 :ok :add 336 INFO jepsen.util - 63 :invoke :add 337 INFO jepsen.util - 63 :ok :add 337 INFO jepsen.util - 125 :invoke :add 338 INFO jepsen.util - 69 :invoke :add 339 INFO jepsen.util - 69 :ok :add 339 INFO jepsen.util - 66 :invoke :add 340 INFO jepsen.util - 66 :ok :add 340 INFO jepsen.util - 72 :invoke :add 341 INFO jepsen.util - 72 :ok :add 341 INFO jepsen.util - 63 :invoke :add 342 INFO jepsen.util - 63 :ok :add 342 INFO jepsen.util - 69 :invoke :add 343 INFO jepsen.util - 69 :ok :add 343 INFO jepsen.util - 66 :invoke :add 344 INFO jepsen.util - 66 :ok :add 344 INFO jepsen.util - 72 :invoke :add 345 INFO jepsen.util - 72 :ok :add 345 INFO jepsen.util - 63 :invoke :add 346 INFO jepsen.util - 63 :ok :add 346 INFO jepsen.util - 69 :invoke :add 347 INFO jepsen.util - 69 :ok :add 347 INFO jepsen.util - 66 :invoke :add 348 INFO jepsen.util - 66 :ok :add 348 INFO jepsen.util - 72 :invoke :add 349 INFO jepsen.util - 72 :ok :add 349 INFO jepsen.util - 63 :invoke :add 350 INFO jepsen.util - 63 :ok :add 350 INFO jepsen.util - 69 :invoke :add 351 INFO jepsen.util - 69 :ok :add 351 INFO jepsen.util - 66 :invoke :add 352 INFO jepsen.util - 66 :ok :add 352 INFO jepsen.util - 72 :invoke :add 353 INFO jepsen.util - 72 :ok :add 353 INFO jepsen.util - 63 :invoke :add 354 INFO jepsen.util - 63 :ok :add 354 INFO jepsen.util - 69 :invoke :add 355 INFO jepsen.util - 69 :ok :add 355 INFO jepsen.util - 125 :info :add :timed-out INFO jepsen.util - 66 :invoke :add 356 INFO jepsen.util - 66 :ok :add 356 INFO jepsen.util - 72 :invoke :add 357 INFO jepsen.util - 72 :ok :add 357 INFO jepsen.util - 63 :invoke :add 358 INFO jepsen.util - 63 :ok :add 358 INFO jepsen.util - 69 :invoke :add 359 INFO jepsen.util - 69 :ok :add 359 INFO jepsen.util - 130 :invoke :add 360 INFO jepsen.util - 66 :invoke :add 361 INFO jepsen.util - 66 :ok :add 361 INFO jepsen.util - 72 :invoke :add 362 INFO jepsen.util - 72 :ok :add 362 INFO jepsen.util - 63 :invoke :add 363 INFO jepsen.util - 63 :ok :add 363 INFO jepsen.util - 69 :invoke :add 364 INFO jepsen.util - 69 :ok :add 364 INFO jepsen.util - 66 :invoke :add 365 INFO jepsen.util - 66 :ok :add 365 INFO jepsen.util - 63 :invoke :add 366 INFO jepsen.util - 63 :ok :add 366 INFO jepsen.util - 72 :invoke :add 367 INFO jepsen.util - 72 :ok :add 367 INFO jepsen.util - 69 :invoke :add 368 INFO jepsen.util - 69 :ok :add 368 INFO jepsen.util - 66 :invoke :add 369 INFO jepsen.util - 66 :ok :add 369 INFO jepsen.util - 72 :invoke :add 370 INFO jepsen.util - 72 :ok :add 370 INFO jepsen.util - 63 :invoke :add 371 INFO jepsen.util - 63 :ok :add 371 INFO jepsen.util - 69 :invoke :add 372 INFO jepsen.util - 69 :ok :add 372 INFO jepsen.util - 66 :invoke :add 373 INFO jepsen.util - 66 :ok :add 373 INFO jepsen.util - 72 :invoke :add 374 INFO jepsen.util - 72 :ok :add 374 INFO jepsen.util - 69 :invoke :add 375 INFO jepsen.util - 63 :invoke :add 376 INFO jepsen.util - 69 :ok :add 375 INFO jepsen.util - 63 :ok :add 376 INFO jepsen.util - 66 :invoke :add 377 INFO jepsen.util - 66 :ok :add 377 INFO jepsen.util - 72 :invoke :add 378 INFO jepsen.util - 72 :ok :add 378 INFO jepsen.util - 69 :invoke :add 379 INFO jepsen.util - 69 :ok :add 379 INFO jepsen.util - 130 :info :add :timed-out INFO jepsen.util - 63 :invoke :add 380 INFO jepsen.util - 63 :ok :add 380 INFO jepsen.util - 66 :invoke :add 381 INFO jepsen.util - 66 :ok :add 381 INFO jepsen.util - 72 :invoke :add 382 INFO jepsen.util - 72 :ok :add 382 INFO jepsen.util - 135 :invoke :add 383 INFO jepsen.util - 69 :invoke :add 384 INFO jepsen.util - 69 :ok :add 384 INFO jepsen.util - 63 :invoke :add 385 INFO jepsen.util - 63 :ok :add 385 INFO jepsen.util - 72 :invoke :add 386 INFO jepsen.util - 72 :ok :add 386 INFO jepsen.util - 66 :invoke :add 387 INFO jepsen.util - 66 :ok :add 387 INFO jepsen.util - 69 :invoke :add 388 INFO jepsen.util - 69 :ok :add 388 INFO jepsen.util - 63 :invoke :add 389 INFO jepsen.util - 63 :ok :add 389 INFO jepsen.util - 72 :invoke :add 390 INFO jepsen.util - 72 :ok :add 390 INFO jepsen.util - 66 :invoke :add 391 INFO jepsen.util - 66 :ok :add 391 INFO jepsen.util - 69 :invoke :add 392 INFO jepsen.util - 69 :ok :add 392 INFO jepsen.util - 63 :invoke :add 393 INFO jepsen.util - 63 :ok :add 393 INFO jepsen.util - 72 :invoke :add 394 INFO jepsen.util - 72 :ok :add 394 INFO jepsen.util - 66 :invoke :add 395 INFO jepsen.util - 66 :ok :add 395 INFO jepsen.util - 69 :invoke :add 396 INFO jepsen.util - 69 :ok :add 396 INFO jepsen.util - 63 :invoke :add 397 INFO jepsen.util - 63 :ok :add 397 INFO jepsen.util - 66 :invoke :add 398 INFO jepsen.util - 66 :ok :add 398 INFO jepsen.util - 72 :invoke :add 399 INFO jepsen.util - 72 :ok :add 399 INFO jepsen.util - 69 :invoke :add 400 INFO jepsen.util - 69 :ok :add 400 INFO jepsen.util - 63 :invoke :add 401 INFO jepsen.util - 63 :ok :add 401 INFO jepsen.util - 135 :info :add :timed-out INFO jepsen.util - 66 :invoke :add 402 INFO jepsen.util - 66 :ok :add 402 INFO jepsen.util - 72 :invoke :add 403 INFO jepsen.util - 72 :ok :add 403 INFO jepsen.util - 69 :invoke :add 404 INFO jepsen.util - 69 :ok :add 404 INFO jepsen.util - 63 :invoke :add 405 INFO jepsen.util - 63 :ok :add 405 INFO jepsen.util - 140 :invoke :add 406 INFO jepsen.util - 66 :invoke :add 407 INFO jepsen.util - 66 :ok :add 407 INFO jepsen.util - 72 :invoke :add 408 INFO jepsen.util - 72 :ok :add 408 INFO jepsen.util - 69 :invoke :add 409 INFO jepsen.util - 69 :ok :add 409 INFO jepsen.util - 63 :invoke :add 410 INFO jepsen.util - 63 :ok :add 410 INFO jepsen.util - 66 :invoke :add 411 INFO jepsen.util - 66 :ok :add 411 INFO jepsen.util - 72 :invoke :add 412 INFO jepsen.util - 72 :ok :add 412 INFO jepsen.util - 69 :invoke :add 413 INFO jepsen.util - 69 :ok :add 413 INFO jepsen.util - 63 :invoke :add 414 INFO jepsen.util - 63 :ok :add 414 INFO jepsen.util - 66 :invoke :add 415 INFO jepsen.util - 66 :ok :add 415 INFO jepsen.util - 72 :invoke :add 416 INFO jepsen.util - 72 :ok :add 416 INFO jepsen.util - 69 :invoke :add 417 INFO jepsen.util - 69 :ok :add 417 INFO jepsen.util - 63 :invoke :add 418 INFO jepsen.util - 63 :ok :add 418 INFO jepsen.util - 66 :invoke :add 419 INFO jepsen.util - 66 :ok :add 419 INFO jepsen.util - 72 :invoke :add 420 INFO jepsen.util - 72 :ok :add 420 INFO jepsen.util - 69 :invoke :add 421 INFO jepsen.util - 69 :ok :add 421 INFO jepsen.util - 63 :invoke :add 422 INFO jepsen.util - 63 :ok :add 422 INFO jepsen.util - 66 :invoke :add 423 INFO jepsen.util - 66 :ok :add 423 INFO jepsen.util - 140 :info :add :timed-out INFO jepsen.util - 72 :invoke :add 424 INFO jepsen.util - 72 :ok :add 424 INFO jepsen.util - 69 :invoke :add 425 INFO jepsen.util - 63 :invoke :add 426 INFO jepsen.util - 69 :ok :add 425 INFO jepsen.util - 63 :ok :add 426 INFO jepsen.util - 66 :invoke :add 427 INFO jepsen.util - 66 :ok :add 427 INFO jepsen.util - 145 :invoke :add 428 INFO jepsen.util - 72 :invoke :add 429 INFO jepsen.util - 72 :ok :add 429 INFO jepsen.util - 69 :invoke :add 430 INFO jepsen.util - 69 :ok :add 430 INFO jepsen.util - 63 :invoke :add 431 INFO jepsen.util - 63 :ok :add 431 INFO jepsen.util - 66 :invoke :add 432 INFO jepsen.util - 66 :ok :add 432 INFO jepsen.util - 72 :invoke :add 433 INFO jepsen.util - 72 :ok :add 433 INFO jepsen.util - 69 :invoke :add 434 INFO jepsen.util - 69 :ok :add 434 INFO jepsen.util - 63 :invoke :add 435 INFO jepsen.util - 63 :ok :add 435 INFO jepsen.util - 66 :invoke :add 436 INFO jepsen.util - 66 :ok :add 436 INFO jepsen.util - 72 :invoke :add 437 INFO jepsen.util - 72 :ok :add 437 INFO jepsen.util - 69 :invoke :add 438 INFO jepsen.util - 69 :ok :add 438 INFO jepsen.util - 63 :invoke :add 439 INFO jepsen.util - 63 :ok :add 439 INFO jepsen.util - 66 :invoke :add 440 INFO jepsen.util - 66 :ok :add 440 INFO jepsen.util - 69 :invoke :add 441 INFO jepsen.util - 69 :ok :add 441 INFO jepsen.util - 72 :invoke :add 442 INFO jepsen.util - 72 :ok :add 442 INFO jepsen.util - 63 :invoke :add 443 INFO jepsen.util - 63 :ok :add 443 INFO jepsen.util - 66 :invoke :add 444 INFO jepsen.util - 72 :invoke :add 445 INFO jepsen.util - 66 :ok :add 444 INFO jepsen.util - 72 :ok :add 445 INFO jepsen.util - 69 :invoke :add 446 INFO jepsen.util - 69 :ok :add 446 INFO jepsen.util - 63 :invoke :add 447 INFO jepsen.util - 63 :ok :add 447 INFO jepsen.util - 145 :info :add :timed-out INFO jepsen.util - 72 :invoke :add 448 INFO jepsen.util - 72 :ok :add 448 INFO jepsen.util - 66 :invoke :add 449 INFO jepsen.util - 66 :ok :add 449 INFO jepsen.util - 69 :invoke :add 450 INFO jepsen.util - 69 :ok :add 450 INFO jepsen.util - 63 :invoke :add 451 INFO jepsen.util - 63 :ok :add 451 INFO jepsen.util - 150 :invoke :add 452 INFO jepsen.util - 72 :invoke :add 453 INFO jepsen.util - 72 :ok :add 453 INFO jepsen.util - 66 :invoke :add 454 INFO jepsen.util - 66 :ok :add 454 INFO jepsen.util - 69 :invoke :add 455 INFO jepsen.util - 69 :ok :add 455 INFO jepsen.util - 63 :invoke :add 456 INFO jepsen.util - 63 :ok :add 456 INFO jepsen.util - 72 :invoke :add 457 INFO jepsen.util - 66 :invoke :add 458 INFO jepsen.util - 72 :ok :add 457 INFO jepsen.util - 66 :ok :add 458 INFO jepsen.util - 69 :invoke :add 459 INFO jepsen.util - 69 :ok :add 459 INFO jepsen.util - 63 :invoke :add 460 INFO jepsen.util - 63 :ok :add 460 INFO jepsen.util - 72 :invoke :add 461 INFO jepsen.util - 72 :ok :add 461 INFO jepsen.util - 69 :invoke :add 462 INFO jepsen.util - 66 :invoke :add 463 INFO jepsen.util - 69 :ok :add 462 INFO jepsen.util - 66 :ok :add 463 INFO jepsen.util - 63 :invoke :add 464 INFO jepsen.util - 63 :ok :add 464 INFO jepsen.util - 72 :invoke :add 465 INFO jepsen.util - 72 :ok :add 465 INFO jepsen.util - 69 :invoke :add 466 INFO jepsen.util - 69 :ok :add 466 INFO jepsen.util - 66 :invoke :add 467 INFO jepsen.util - 66 :ok :add 467 INFO jepsen.util - 63 :invoke :add 468 INFO jepsen.util - 63 :ok :add 468 INFO jepsen.util - 72 :invoke :add 469 INFO jepsen.util - 72 :ok :add 469 INFO jepsen.util - 69 :invoke :add 470 INFO jepsen.util - 66 :invoke :add 471 INFO jepsen.util - 69 :ok :add 470 INFO jepsen.util - 66 :ok :add 471 INFO jepsen.util - 150 :info :add :timed-out INFO jepsen.util - 63 :invoke :add 472 INFO jepsen.util - 63 :ok :add 472 INFO jepsen.util - 72 :invoke :add 473 INFO jepsen.util - 72 :ok :add 473 INFO jepsen.util - 69 :invoke :add 474 INFO jepsen.util - 66 :invoke :add 475 INFO jepsen.util - 69 :ok :add 474 INFO jepsen.util - 66 :ok :add 475 INFO jepsen.util - 155 :invoke :add 476 INFO jepsen.util - 63 :invoke :add 477 INFO jepsen.util - 63 :ok :add 477 INFO jepsen.util - 72 :invoke :add 478 INFO jepsen.util - 72 :ok :add 478 INFO jepsen.util - 66 :invoke :add 479 INFO jepsen.util - 66 :ok :add 479 INFO jepsen.util - 69 :invoke :add 480 INFO jepsen.util - 69 :ok :add 480 INFO jepsen.util - 63 :invoke :add 481 INFO jepsen.util - 63 :ok :add 481 INFO jepsen.util - 72 :invoke :add 482 INFO jepsen.util - 72 :ok :add 482 INFO jepsen.util - 66 :invoke :add 483 INFO jepsen.util - 66 :ok :add 483 INFO jepsen.util - 69 :invoke :add 484 INFO jepsen.util - 69 :ok :add 484 INFO jepsen.util - 63 :invoke :add 485 INFO jepsen.util - 63 :ok :add 485 INFO jepsen.util - 72 :invoke :add 486 INFO jepsen.util - 72 :ok :add 486 INFO jepsen.util - 66 :invoke :add 487 INFO jepsen.util - 66 :ok :add 487 INFO jepsen.util - 69 :invoke :add 488 INFO jepsen.util - 69 :ok :add 488 INFO jepsen.util - 63 :invoke :add 489 INFO jepsen.util - 63 :ok :add 489 INFO jepsen.util - 72 :invoke :add 490 INFO jepsen.util - 72 :ok :add 490 INFO jepsen.util - 66 :invoke :add 491 INFO jepsen.util - 66 :ok :add 491 INFO jepsen.util - 69 :invoke :add 492 INFO jepsen.util - 69 :ok :add 492 INFO jepsen.util - 63 :invoke :add 493 INFO jepsen.util - 63 :ok :add 493 INFO jepsen.util - 155 :info :add :timed-out INFO jepsen.util - 72 :invoke :add 494 INFO jepsen.util - 72 :ok :add 494 INFO jepsen.util - 66 :invoke :add 495 INFO jepsen.util - 66 :ok :add 495 INFO jepsen.util - 69 :invoke :add 496 INFO jepsen.util - 69 :ok :add 496 INFO jepsen.util - 63 :invoke :add 497 INFO jepsen.util - 63 :ok :add 497 INFO jepsen.util - 160 :invoke :add 498 INFO jepsen.util - 72 :invoke :add 499 INFO jepsen.util - 72 :ok :add 499 INFO jepsen.util - 66 :invoke :add 500 INFO jepsen.util - 66 :ok :add 500 INFO jepsen.util - 69 :invoke :add 501 INFO jepsen.util - 69 :ok :add 501 INFO jepsen.util - 63 :invoke :add 502 INFO jepsen.util - 63 :ok :add 502 INFO jepsen.util - 72 :invoke :add 503 INFO jepsen.util - 72 :ok :add 503 INFO jepsen.util - 69 :invoke :add 504 INFO jepsen.util - 69 :ok :add 504 INFO jepsen.util - 66 :invoke :add 505 INFO jepsen.util - 66 :ok :add 505 INFO jepsen.util - 63 :invoke :add 506 INFO jepsen.util - 63 :ok :add 506 INFO jepsen.util - 72 :invoke :add 507 INFO jepsen.util - 72 :ok :add 507 INFO jepsen.util - 69 :invoke :add 508 INFO jepsen.util - 69 :ok :add 508 INFO jepsen.util - 66 :invoke :add 509 INFO jepsen.util - 66 :ok :add 509 INFO jepsen.util - 63 :invoke :add 510 INFO jepsen.util - 63 :ok :add 510 INFO jepsen.util - 69 :invoke :add 511 INFO jepsen.util - 69 :ok :add 511 INFO jepsen.util - 66 :invoke :add 512 INFO jepsen.util - 72 :invoke :add 513 INFO jepsen.util - 66 :ok :add 512 INFO jepsen.util - 72 :ok :add 513 INFO jepsen.util - :nemesis :info :stop nil INFO jepsen.util - 63 :invoke :add 514 INFO jepsen.util - 63 :ok :add 514 INFO jepsen.util - 69 :invoke :add 515 INFO jepsen.util - 69 :ok :add 515 INFO jepsen.util - 72 :invoke :add 516 INFO jepsen.util - 72 :ok :add 516 INFO jepsen.util - 66 :invoke :add 517 INFO jepsen.util - 66 :ok :add 517 INFO jepsen.util - 160 :info :add :timed-out INFO jepsen.util - 63 :invoke :add 518 INFO jepsen.util - 63 :ok :add 518 INFO jepsen.util - :nemesis :info :stop "fully connected" INFO jepsen.util - :nemesis :info :start nil INFO jepsen.util - 69 :invoke :add 519 INFO jepsen.util - 69 :ok :add 519 INFO jepsen.util - 72 :invoke :add 520 INFO jepsen.util - 72 :ok :add 520 INFO jepsen.util - 66 :invoke :add 521 INFO jepsen.util - 165 :invoke :add 522 INFO jepsen.util - 66 :ok :add 521 INFO jepsen.util - 63 :invoke :add 523 INFO jepsen.util - 63 :ok :add 523 INFO jepsen.util - 69 :invoke :add 524 INFO jepsen.util - 69 :ok :add 524 INFO jepsen.util - 72 :invoke :add 525 INFO jepsen.util - 72 :ok :add 525 INFO jepsen.util - 66 :invoke :add 526 INFO jepsen.util - 66 :ok :add 526 INFO jepsen.util - :nemesis :info :start "Cut off {:n4 #{:n3 :n2 :n5 :n1}, :n1 #{:n3 :n4 :n2 :n5}, :n5 #{:n4 :n1}, :n2 #{:n4 :n1}, :n3 #{:n4 :n1}}" INFO jepsen.util - 63 :invoke :add 527 INFO jepsen.util - 69 :invoke :add 528 INFO jepsen.util - 72 :invoke :add 529 INFO jepsen.util - 72 :ok :add 529 INFO jepsen.util - 66 :invoke :add 530 INFO jepsen.util - 66 :ok :add 530 INFO jepsen.util - 72 :invoke :add 531 INFO jepsen.util - 72 :ok :add 531 INFO jepsen.util - 66 :invoke :add 532 INFO jepsen.util - 72 :invoke :add 533 INFO jepsen.util - 72 :ok :add 533 INFO jepsen.util - 165 :info :add :timed-out INFO jepsen.util - 72 :invoke :add 534 INFO jepsen.util - 170 :invoke :add 535 INFO jepsen.util - 63 :info :add :timed-out INFO jepsen.util - 69 :info :add :timed-out INFO jepsen.util - 68 :invoke :add 536 INFO jepsen.util - 74 :invoke :add 537 INFO jepsen.util - 74 :ok :add 537 INFO jepsen.util - 66 :info :add :timed-out INFO jepsen.util - 74 :invoke :add 538 INFO jepsen.util - 74 :ok :add 538 INFO jepsen.util - 71 :invoke :add 539 INFO jepsen.util - 71 :ok :add 539 INFO jepsen.util - 72 :info :add :timed-out INFO jepsen.util - 74 :invoke :add 540 INFO jepsen.util - 71 :invoke :add 541 INFO jepsen.util - 170 :info :add :timed-out INFO jepsen.util - 77 :invoke :add 542 INFO jepsen.util - 175 :invoke :add 543 INFO jepsen.util - 68 :info :add :timed-out INFO jepsen.util - 73 :invoke :add 544 INFO jepsen.util - 74 :info :add :timed-out INFO jepsen.util - 71 :info :add :timed-out INFO jepsen.util - 79 :invoke :add 545 INFO jepsen.util - 79 :ok :add 545 INFO jepsen.util - 77 :info :add :timed-out INFO jepsen.util - 76 :invoke :add 546 INFO jepsen.util - 175 :info :add :timed-out INFO jepsen.util - 82 :invoke :add 547 INFO jepsen.util - 79 :invoke :add 548 INFO jepsen.util - 180 :invoke :add 549 INFO jepsen.util - 73 :info :add :timed-out INFO jepsen.util - 78 :invoke :add 550 INFO jepsen.util - 76 :info :add :timed-out INFO jepsen.util - 82 :info :add :timed-out INFO jepsen.util - 79 :info :add :timed-out INFO jepsen.util - 81 :invoke :add 551 INFO jepsen.util - 180 :info :add :timed-out INFO jepsen.util - 87 :invoke :add 552 INFO jepsen.util - 87 :ok :add 552 INFO jepsen.util - 84 :invoke :add 553 INFO jepsen.util - 84 :ok :add 553 INFO jepsen.util - 185 :invoke :add 554 INFO jepsen.util - 87 :invoke :add 555 INFO jepsen.util - 84 :invoke :add 556 INFO jepsen.util - 84 :ok :add 556 INFO jepsen.util - 78 :info :add :timed-out INFO jepsen.util - 83 :invoke :add 557 INFO jepsen.util - 84 :invoke :add 558 INFO jepsen.util - 81 :info :add :timed-out INFO jepsen.util - 86 :invoke :add 559 INFO jepsen.util - 185 :info :add :timed-out INFO jepsen.util - 87 :info :add :timed-out INFO jepsen.util - 190 :invoke :add 560 INFO jepsen.util - 92 :invoke :add 561 INFO jepsen.util - 83 :info :add :timed-out INFO jepsen.util - 84 :info :add :timed-out INFO jepsen.util - 88 :invoke :add 562 INFO jepsen.util - 89 :invoke :add 563 INFO jepsen.util - 86 :info :add :timed-out INFO jepsen.util - 91 :invoke :add 564 INFO jepsen.util - 190 :info :add :timed-out INFO jepsen.util - 92 :info :add :timed-out INFO jepsen.util - 195 :invoke :add 565 INFO jepsen.util - 97 :invoke :add 566 INFO jepsen.util - 97 :ok :add 566 INFO jepsen.util - 88 :info :add :timed-out INFO jepsen.util - 89 :info :add :timed-out INFO jepsen.util - 97 :invoke :add 567 INFO jepsen.util - 93 :invoke :add 568 INFO jepsen.util - 94 :invoke :add 569 INFO jepsen.util - 91 :info :add :timed-out INFO jepsen.util - 96 :invoke :add 570 INFO jepsen.util - 195 :info :add :timed-out INFO jepsen.util - 200 :invoke :add 571 INFO jepsen.util - 97 :info :add :timed-out INFO jepsen.util - 93 :info :add :timed-out INFO jepsen.util - 94 :info :add :timed-out INFO jepsen.util - 102 :invoke :add 572 INFO jepsen.util - 102 :ok :add 572 INFO jepsen.util - 98 :invoke :add 573 INFO jepsen.util - 99 :invoke :add 574 INFO jepsen.util - 99 :ok :add 574 INFO jepsen.util - 102 :invoke :add 575 INFO jepsen.util - 102 :ok :add 575 INFO jepsen.util - 99 :invoke :add 576 INFO jepsen.util - 96 :info :add :timed-out INFO jepsen.util - 102 :invoke :add 577 INFO jepsen.util - 101 :invoke :add 578 INFO jepsen.util - 101 :ok :add 578 INFO jepsen.util - 200 :info :add :timed-out INFO jepsen.util - 101 :invoke :add 579 INFO jepsen.util - 205 :invoke :add 580 INFO jepsen.util - 98 :info :add :timed-out INFO jepsen.util - 103 :invoke :add 581 INFO jepsen.util - 99 :info :add :timed-out INFO jepsen.util - 102 :info :add :timed-out INFO jepsen.util - 104 :invoke :add 582 INFO jepsen.util - 107 :invoke :add 583 INFO jepsen.util - 101 :info :add :timed-out INFO jepsen.util - 205 :info :add :timed-out INFO jepsen.util - 106 :invoke :add 584 INFO jepsen.util - 210 :invoke :add 585 INFO jepsen.util - 103 :info :add :timed-out INFO jepsen.util - 108 :invoke :add 586 INFO jepsen.util - 104 :info :add :timed-out INFO jepsen.util - 107 :info :add :timed-out INFO jepsen.util - 109 :invoke :add 587 INFO jepsen.util - 109 :ok :add 587 INFO jepsen.util - 112 :invoke :add 588 INFO jepsen.util - 112 :ok :add 588 INFO jepsen.util - 109 :invoke :add 589 INFO jepsen.util - 112 :invoke :add 590 INFO jepsen.util - 112 :ok :add 590 INFO jepsen.util - 106 :info :add :timed-out INFO jepsen.util - 210 :info :add :timed-out INFO jepsen.util - 112 :invoke :add 591 INFO jepsen.util - 111 :invoke :add 592 INFO jepsen.util - 215 :invoke :add 593 INFO jepsen.util - 108 :info :add :timed-out INFO jepsen.util - 113 :invoke :add 594 INFO jepsen.util - 109 :info :add :timed-out INFO jepsen.util - 114 :invoke :add 595 INFO jepsen.util - 112 :info :add :timed-out INFO jepsen.util - 111 :info :add :timed-out INFO jepsen.util - 215 :info :add :timed-out INFO jepsen.util - 117 :invoke :add 596 INFO jepsen.util - 117 :ok :add 596 INFO jepsen.util - 116 :invoke :add 597 INFO jepsen.util - 220 :invoke :add 598 INFO jepsen.util - 113 :info :add :timed-out INFO jepsen.util - 117 :invoke :add 599 INFO jepsen.util - 118 :invoke :add 600 INFO jepsen.util - 114 :info :add :timed-out INFO jepsen.util - 119 :invoke :add 601 INFO jepsen.util - 116 :info :add :timed-out INFO jepsen.util - 220 :info :add :timed-out INFO jepsen.util - 117 :info :add :timed-out INFO jepsen.util - 121 :invoke :add 602 INFO jepsen.util - 121 :ok :add 602 INFO jepsen.util - 225 :invoke :add 603 INFO jepsen.util - 118 :info :add :timed-out INFO jepsen.util - 122 :invoke :add 604 INFO jepsen.util - 121 :invoke :add 605 INFO jepsen.util - 123 :invoke :add 606 INFO jepsen.util - 119 :info :add :timed-out INFO jepsen.util - 124 :invoke :add 607 INFO jepsen.util - 124 :ok :add 607 INFO jepsen.util - 225 :info :add :timed-out INFO jepsen.util - 124 :invoke :add 608 INFO jepsen.util - 122 :info :add :timed-out INFO jepsen.util - 121 :info :add :timed-out INFO jepsen.util - 230 :invoke :add 609 INFO jepsen.util - 123 :info :add :timed-out INFO jepsen.util - 127 :invoke :add 610 INFO jepsen.util - 127 :ok :add 610 INFO jepsen.util - 126 :invoke :add 611 INFO jepsen.util - 128 :invoke :add 612 INFO jepsen.util - 127 :invoke :add 613 INFO jepsen.util - 127 :ok :add 613 INFO jepsen.util - 127 :invoke :add 614 INFO jepsen.util - 124 :info :add :timed-out INFO jepsen.util - 230 :info :add :timed-out INFO jepsen.util - 129 :invoke :add 615 INFO jepsen.util - 126 :info :add :timed-out INFO jepsen.util - 235 :invoke :add 616 INFO jepsen.util - 128 :info :add :timed-out INFO jepsen.util - 131 :invoke :add 617 INFO jepsen.util - 131 :ok :add 617 INFO jepsen.util - 133 :invoke :add 618 INFO jepsen.util - 127 :info :add :timed-out INFO jepsen.util - 131 :invoke :add 619 INFO jepsen.util - 132 :invoke :add 620 INFO jepsen.util - 129 :info :add :timed-out INFO jepsen.util - 235 :info :add :timed-out INFO jepsen.util - 134 :invoke :add 621 INFO jepsen.util - 240 :invoke :add 622 INFO jepsen.util - 131 :ok :add 619 INFO jepsen.util - 134 :ok :add 621 INFO jepsen.util - 132 :ok :add 620 INFO jepsen.util - 133 :info :add :timed-out INFO jepsen.util - 131 :invoke :add 623 INFO jepsen.util - 131 :ok :add 623 INFO jepsen.util - 134 :invoke :add 624 INFO jepsen.util - 134 :ok :add 624 INFO jepsen.util - 132 :invoke :add 625 INFO jepsen.util - 132 :ok :add 625 INFO jepsen.util - 138 :invoke :add 626 INFO jepsen.util - 131 :invoke :add 627 INFO jepsen.util - 131 :ok :add 627 INFO jepsen.util - 134 :invoke :add 628 INFO jepsen.util - 134 :ok :add 628 INFO jepsen.util - 132 :invoke :add 629 INFO jepsen.util - 132 :ok :add 629 INFO jepsen.util - 131 :invoke :add 630 INFO jepsen.util - 131 :ok :add 630 INFO jepsen.util - 134 :invoke :add 631 INFO jepsen.util - 134 :ok :add 631 INFO jepsen.util - 132 :invoke :add 632 INFO jepsen.util - 132 :ok :add 632 INFO jepsen.util - 131 :invoke :add 633 INFO jepsen.util - 131 :ok :add 633 INFO jepsen.util - 134 :invoke :add 634 INFO jepsen.util - 134 :ok :add 634 INFO jepsen.util - 132 :invoke :add 635 INFO jepsen.util - 132 :ok :add 635 INFO jepsen.util - 240 :info :add :timed-out INFO jepsen.util - 131 :invoke :add 636 INFO jepsen.util - 131 :ok :add 636 INFO jepsen.util - 134 :invoke :add 637 INFO jepsen.util - 134 :ok :add 637 INFO jepsen.util - 138 :info :add :timed-out INFO jepsen.util - :nemesis :info :stop nil INFO jepsen.util - :nemesis :info :stop "fully connected" INFO jepsen.util - :nemesis :info :stop nil INFO jepsen.util - :nemesis :info :stop "fully connected" INFO jepsen.core - nemesis done INFO jepsen.core - Worker 1 done INFO jepsen.util - 132 :invoke :read nil INFO jepsen.core - Worker 4 done INFO jepsen.core - Worker 0 done INFO jepsen.core - Worker 3 done INFO jepsen.system.elasticsearch - Waiting for recovery before read INFO jepsen.system.elasticsearch - Elasticsearch reports green, but it's probably lying, so waiting another 10s INFO jepsen.system.elasticsearch - Recovered; flushing index before read INFO jepsen.util - 132 :ok :read #{0 1 2 3 4 5 7 8 9 10 11 13 15 16 17 18 19 20 22 23 24 26 27 28 30 32 33 34 35 37 39 40 41 42 43 44 46 47 48 49 51 52 53 54 55 57 58 59 60 61 63 64 65 66 67 68 69 70 72 73 74 75 76 77 79 80 81 82 84 85 86 87 88 89 91 92 93 94 96 97 98 99 101 102 103 104 105 106 107 108 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 523 524 525 526 527 529 530 531 533 537 538 539 544 545 548 550 552 553 556 559 563 566 572 574 575 577 578 579 583 584 587 588 589 590 591 596 597 600 602 604 607 610 612 613 615 617 618 621 623 625 627 628 632 635 636 637} INFO jepsen.core - Worker 2 done INFO jepsen.core - Run complete, writing INFO jepsen.core - Analyzing INFO jepsen.core - Analysis complete INFO jepsen.system.elasticsearch - :n5 elasticsearch nuked INFO jepsen.system.elasticsearch - :n3 elasticsearch nuked INFO jepsen.system.elasticsearch - :n1 elasticsearch nuked INFO jepsen.system.elasticsearch - :n2 elasticsearch nuked INFO jepsen.system.elasticsearch - :n4 elasticsearch nuked FAIL in (create-test) (elasticsearch_test.clj:86) expected: (:valid? (:results test)) actual: false {:valid? false, :html {:valid? true}, :set {:valid? false, :lost "#{619..620 624 629..631 633..634}", :recovered "#{7..8 10..11 15 24 26..27 30 32..35 41 43..44 46..49 51 53 55 57 59..61 67..70 72 75..77 79..81 86..87 91..94 96..99 527 544 548 550 559 563 577 579 583..584 589 591 597 600 604 612 615 618}", :ok "#{0..5 7..11 13 15..20 22..24 26..28 30 32..35 37 39..44 46..49 51..55 57..61 63..70 72..77 79..82 84..89 91..94 96..99 101..108 110..131 133..154 156..176 178..200 202..221 223..243 245..267 269..289 291..313 315..337 339..359 361..382 384..405 407..427 429..451 453..475 477..497 499..521 523..527 529..531 533 537..539 544..545 548 550 552..553 556 559 563 566 572 574..575 577..579 583..584 587..591 596..597 600 602 604 607 610 612..613 615 617..618 621 623 625 627..628 632 635..637}", :recovered-frac 3/29, :unexpected-frac 0, :unexpected "#{}", :lost-frac 4/319, :ok-frac 541/638}} Ran 1 tests containing 1 assertions. 1 failures, 0 errors.