Update migrated repositories' issues/comments/prs poster id if user has a github external user saved (#7751)
* update migrated issues/comments when login as github * add get userid when migrating or login with github oauth2 * fix lint * add migrations for repository service type * fix build * remove unnecessary dependencies on migrations * add cron task to update migrations poster ids and fix posterid when migrating * fix lint * fix lint * improve code * fix lint * improve code * replace releases publish id to actual author id * fix import * fix bug * fix lint * fix rawdata definition * fix some bugs * fix error messagetokarchuk/v1.17
Lunny Xiao
5 years ago
committed by
Lauris BH
parent
ba201aaa44
commit
e3e44a59d0
@ -0,0 +1,83 @@ |
|||||||
|
// Copyright 2019 The Gitea Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a MIT-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package migrations |
||||||
|
|
||||||
|
import ( |
||||||
|
"net/url" |
||||||
|
"strings" |
||||||
|
"time" |
||||||
|
|
||||||
|
"github.com/go-xorm/xorm" |
||||||
|
) |
||||||
|
|
||||||
|
func updateMigrationServiceTypes(x *xorm.Engine) error { |
||||||
|
type Repository struct { |
||||||
|
ID int64 |
||||||
|
OriginalServiceType int `xorm:"index default(0)"` |
||||||
|
OriginalURL string `xorm:"VARCHAR(2048)"` |
||||||
|
} |
||||||
|
|
||||||
|
if err := x.Sync2(new(Repository)); err != nil { |
||||||
|
return err |
||||||
|
} |
||||||
|
|
||||||
|
var last int |
||||||
|
const batchSize = 50 |
||||||
|
for { |
||||||
|
var results = make([]Repository, 0, batchSize) |
||||||
|
err := x.Where("original_url <> '' AND original_url IS NOT NULL"). |
||||||
|
And("original_service_type = 0 OR original_service_type IS NULL"). |
||||||
|
OrderBy("id"). |
||||||
|
Limit(batchSize, last). |
||||||
|
Find(&results) |
||||||
|
if err != nil { |
||||||
|
return err |
||||||
|
} |
||||||
|
if len(results) == 0 { |
||||||
|
break |
||||||
|
} |
||||||
|
last += len(results) |
||||||
|
|
||||||
|
const PlainGitService = 1 // 1 plain git service
|
||||||
|
const GithubService = 2 // 2 github.com
|
||||||
|
|
||||||
|
for _, res := range results { |
||||||
|
u, err := url.Parse(res.OriginalURL) |
||||||
|
if err != nil { |
||||||
|
return err |
||||||
|
} |
||||||
|
var serviceType = PlainGitService |
||||||
|
if strings.EqualFold(u.Host, "github.com") { |
||||||
|
serviceType = GithubService |
||||||
|
} |
||||||
|
_, err = x.Exec("UPDATE repository SET original_service_type = ? WHERE id = ?", serviceType, res.ID) |
||||||
|
if err != nil { |
||||||
|
return err |
||||||
|
} |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
type ExternalLoginUser struct { |
||||||
|
ExternalID string `xorm:"pk NOT NULL"` |
||||||
|
UserID int64 `xorm:"INDEX NOT NULL"` |
||||||
|
LoginSourceID int64 `xorm:"pk NOT NULL"` |
||||||
|
RawData map[string]interface{} `xorm:"TEXT JSON"` |
||||||
|
Provider string `xorm:"index VARCHAR(25)"` |
||||||
|
Email string |
||||||
|
Name string |
||||||
|
FirstName string |
||||||
|
LastName string |
||||||
|
NickName string |
||||||
|
Description string |
||||||
|
AvatarURL string |
||||||
|
Location string |
||||||
|
AccessToken string |
||||||
|
AccessTokenSecret string |
||||||
|
RefreshToken string |
||||||
|
ExpiresAt time.Time |
||||||
|
} |
||||||
|
|
||||||
|
return x.Sync2(new(ExternalLoginUser)) |
||||||
|
} |
||||||
@ -0,0 +1,59 @@ |
|||||||
|
// Copyright 2019 The Gitea Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a MIT-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package migrations |
||||||
|
|
||||||
|
import ( |
||||||
|
"strconv" |
||||||
|
|
||||||
|
"code.gitea.io/gitea/models" |
||||||
|
"code.gitea.io/gitea/modules/log" |
||||||
|
"code.gitea.io/gitea/modules/structs" |
||||||
|
) |
||||||
|
|
||||||
|
// UpdateMigrationPosterID updates all migrated repositories' issues and comments posterID
|
||||||
|
func UpdateMigrationPosterID() { |
||||||
|
for _, gitService := range structs.SupportedFullGitService { |
||||||
|
if err := updateMigrationPosterIDByGitService(gitService); err != nil { |
||||||
|
log.Error("updateMigrationPosterIDByGitService failed: %v", err) |
||||||
|
} |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
func updateMigrationPosterIDByGitService(tp structs.GitServiceType) error { |
||||||
|
provider := tp.Name() |
||||||
|
if len(provider) == 0 { |
||||||
|
return nil |
||||||
|
} |
||||||
|
|
||||||
|
const batchSize = 100 |
||||||
|
var start int |
||||||
|
for { |
||||||
|
users, err := models.FindExternalUsersByProvider(models.FindExternalUserOptions{ |
||||||
|
Provider: provider, |
||||||
|
Start: start, |
||||||
|
Limit: batchSize, |
||||||
|
}) |
||||||
|
if err != nil { |
||||||
|
return err |
||||||
|
} |
||||||
|
|
||||||
|
for _, user := range users { |
||||||
|
externalUserID, err := strconv.ParseInt(user.ExternalID, 10, 64) |
||||||
|
if err != nil { |
||||||
|
log.Warn("Parse externalUser %#v 's userID failed: %v", user, err) |
||||||
|
continue |
||||||
|
} |
||||||
|
if err := models.UpdateMigrationsByType(tp, externalUserID, user.UserID); err != nil { |
||||||
|
log.Error("UpdateMigrationsByType type %s external user id %v to local user id %v failed: %v", tp.Name(), user.ExternalID, user.UserID, err) |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
if len(users) < batchSize { |
||||||
|
break |
||||||
|
} |
||||||
|
start += len(users) |
||||||
|
} |
||||||
|
return nil |
||||||
|
} |
||||||
@ -0,0 +1,66 @@ |
|||||||
|
// Copyright 2019 The Gitea Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a MIT-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package externalaccount |
||||||
|
|
||||||
|
import ( |
||||||
|
"strconv" |
||||||
|
"strings" |
||||||
|
|
||||||
|
"code.gitea.io/gitea/models" |
||||||
|
"code.gitea.io/gitea/modules/structs" |
||||||
|
|
||||||
|
"github.com/markbates/goth" |
||||||
|
) |
||||||
|
|
||||||
|
// LinkAccountToUser link the gothUser to the user
|
||||||
|
func LinkAccountToUser(user *models.User, gothUser goth.User) error { |
||||||
|
loginSource, err := models.GetActiveOAuth2LoginSourceByName(gothUser.Provider) |
||||||
|
if err != nil { |
||||||
|
return err |
||||||
|
} |
||||||
|
|
||||||
|
externalLoginUser := &models.ExternalLoginUser{ |
||||||
|
ExternalID: gothUser.UserID, |
||||||
|
UserID: user.ID, |
||||||
|
LoginSourceID: loginSource.ID, |
||||||
|
RawData: gothUser.RawData, |
||||||
|
Provider: gothUser.Provider, |
||||||
|
Email: gothUser.Email, |
||||||
|
Name: gothUser.Name, |
||||||
|
FirstName: gothUser.FirstName, |
||||||
|
LastName: gothUser.LastName, |
||||||
|
NickName: gothUser.NickName, |
||||||
|
Description: gothUser.Description, |
||||||
|
AvatarURL: gothUser.AvatarURL, |
||||||
|
Location: gothUser.Location, |
||||||
|
AccessToken: gothUser.AccessToken, |
||||||
|
AccessTokenSecret: gothUser.AccessTokenSecret, |
||||||
|
RefreshToken: gothUser.RefreshToken, |
||||||
|
ExpiresAt: gothUser.ExpiresAt, |
||||||
|
} |
||||||
|
|
||||||
|
if err := models.LinkExternalToUser(user, externalLoginUser); err != nil { |
||||||
|
return err |
||||||
|
} |
||||||
|
|
||||||
|
externalID, err := strconv.ParseInt(externalLoginUser.ExternalID, 10, 64) |
||||||
|
if err != nil { |
||||||
|
return err |
||||||
|
} |
||||||
|
|
||||||
|
var tp structs.GitServiceType |
||||||
|
for _, s := range structs.SupportedFullGitService { |
||||||
|
if strings.EqualFold(s.Name(), gothUser.Provider) { |
||||||
|
tp = s |
||||||
|
break |
||||||
|
} |
||||||
|
} |
||||||
|
|
||||||
|
if tp.Name() != "" { |
||||||
|
return models.UpdateMigrationsByType(tp, externalID, user.ID) |
||||||
|
} |
||||||
|
|
||||||
|
return nil |
||||||
|
} |
||||||
Loading…
Reference in new issue