Fix commit status index problem (#17061)
* Fix commit status index problem * remove unused functions * Add fixture and test for migration * Fix lint * Fix fixture * Fix lint * Fix test * Fix bug * Fix bugtokarchuk/v1.17
parent
d9e237e3f2
commit
d9c69596ff
@ -0,0 +1,5 @@ |
|||||||
|
- |
||||||
|
id: 1 |
||||||
|
repo_id: 1 |
||||||
|
sha: "1234123412341234123412341234123412341234" |
||||||
|
max_index: 5 |
@ -0,0 +1,47 @@ |
|||||||
|
// Copyright 2021 The Gitea Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a MIT-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package migrations |
||||||
|
|
||||||
|
import ( |
||||||
|
"fmt" |
||||||
|
|
||||||
|
"xorm.io/xorm" |
||||||
|
) |
||||||
|
|
||||||
|
func addTableCommitStatusIndex(x *xorm.Engine) error { |
||||||
|
// CommitStatusIndex represents a table for commit status index
|
||||||
|
type CommitStatusIndex struct { |
||||||
|
ID int64 |
||||||
|
RepoID int64 `xorm:"unique(repo_sha)"` |
||||||
|
SHA string `xorm:"unique(repo_sha)"` |
||||||
|
MaxIndex int64 `xorm:"index"` |
||||||
|
} |
||||||
|
|
||||||
|
if err := x.Sync2(new(CommitStatusIndex)); err != nil { |
||||||
|
return fmt.Errorf("Sync2: %v", err) |
||||||
|
} |
||||||
|
|
||||||
|
sess := x.NewSession() |
||||||
|
defer sess.Close() |
||||||
|
|
||||||
|
if err := sess.Begin(); err != nil { |
||||||
|
return err |
||||||
|
} |
||||||
|
|
||||||
|
// Remove data we're goint to rebuild
|
||||||
|
if _, err := sess.Table("commit_status_index").Where("1=1").Delete(&CommitStatusIndex{}); err != nil { |
||||||
|
return err |
||||||
|
} |
||||||
|
|
||||||
|
// Create current data for all repositories with issues and PRs
|
||||||
|
if _, err := sess.Exec("INSERT INTO commit_status_index (repo_id, sha, max_index) " + |
||||||
|
"SELECT max_data.repo_id, max_data.sha, max_data.max_index " + |
||||||
|
"FROM ( SELECT commit_status.repo_id AS repo_id, commit_status.sha AS sha, max(commit_status.`index`) AS max_index " + |
||||||
|
"FROM commit_status GROUP BY commit_status.repo_id, commit_status.sha) AS max_data"); err != nil { |
||||||
|
return err |
||||||
|
} |
||||||
|
|
||||||
|
return sess.Commit() |
||||||
|
} |
@ -0,0 +1,62 @@ |
|||||||
|
// Copyright 2021 The Gitea Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a MIT-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package migrations |
||||||
|
|
||||||
|
import ( |
||||||
|
"testing" |
||||||
|
|
||||||
|
"github.com/stretchr/testify/assert" |
||||||
|
) |
||||||
|
|
||||||
|
func Test_addTableCommitStatusIndex(t *testing.T) { |
||||||
|
// Create the models used in the migration
|
||||||
|
type CommitStatus struct { |
||||||
|
ID int64 `xorm:"pk autoincr"` |
||||||
|
Index int64 `xorm:"INDEX UNIQUE(repo_sha_index)"` |
||||||
|
RepoID int64 `xorm:"INDEX UNIQUE(repo_sha_index)"` |
||||||
|
SHA string `xorm:"VARCHAR(64) NOT NULL INDEX UNIQUE(repo_sha_index)"` |
||||||
|
} |
||||||
|
|
||||||
|
// Prepare and load the testing database
|
||||||
|
x, deferable := prepareTestEnv(t, 0, new(CommitStatus)) |
||||||
|
if x == nil || t.Failed() { |
||||||
|
defer deferable() |
||||||
|
return |
||||||
|
} |
||||||
|
defer deferable() |
||||||
|
|
||||||
|
// Run the migration
|
||||||
|
if err := addTableCommitStatusIndex(x); err != nil { |
||||||
|
assert.NoError(t, err) |
||||||
|
return |
||||||
|
} |
||||||
|
|
||||||
|
type CommitStatusIndex struct { |
||||||
|
ID int64 |
||||||
|
RepoID int64 `xorm:"unique(repo_sha)"` |
||||||
|
SHA string `xorm:"unique(repo_sha)"` |
||||||
|
MaxIndex int64 `xorm:"index"` |
||||||
|
} |
||||||
|
|
||||||
|
var start = 0 |
||||||
|
const batchSize = 1000 |
||||||
|
for { |
||||||
|
var indexes = make([]CommitStatusIndex, 0, batchSize) |
||||||
|
err := x.Table("commit_status_index").Limit(batchSize, start).Find(&indexes) |
||||||
|
assert.NoError(t, err) |
||||||
|
|
||||||
|
for _, idx := range indexes { |
||||||
|
var maxIndex int |
||||||
|
has, err := x.SQL("SELECT max(`index`) FROM commit_status WHERE repo_id = ? AND sha = ?", idx.RepoID, idx.SHA).Get(&maxIndex) |
||||||
|
assert.NoError(t, err) |
||||||
|
assert.True(t, has) |
||||||
|
assert.EqualValues(t, maxIndex, idx.MaxIndex) |
||||||
|
} |
||||||
|
if len(indexes) < batchSize { |
||||||
|
break |
||||||
|
} |
||||||
|
start += len(indexes) |
||||||
|
} |
||||||
|
} |
Loading…
Reference in new issue